簡單了解AlphaGo 同今日既AI

留名學野

飛已彿

今日上下網睇
先知道原來 AlphaGo 有幾粒叫做 TPU (Tensor processing unit, 張量處理器) 的野, 專門用黎做 machine learning

今日上下網睇
先知道原來 AlphaGo 有幾粒叫做 TPU (Tensor processing unit, 張量處理器) 的野, 專門用黎做 machine learning

TPU 出左2代啦，但唔開放俾公眾，遲d可能有google cloud version

不同計CV野主流唔會用tensorflow

呢種層層classify嘅理論可以從實驗層面就可以證明唔係完全正確。例如一啲講求速度嘅運動，e.g. 乒乓球，羽毛球，劍擊etc .，運動員可以係極短時間內作出反應。依照層層classify嘅理論，見到一個乒乓波飛埋黎要作出反應要經過好多步，例如先要辨別到係一個乒乓波，分辨眼前係現實定電視形像，判斷自己係咪應該打佢，然後估算佢嘅位置同方向，估算自己手嘅位置同方向，計算出手嘅trajectory，判斷呢個trajectory係咪合理，計算各肌肉的用力的比例，然後打出去。如果層層classify,呢度每一個判斷都涉及極複雜的network，而neuron同neuron之間有synaptic delay，速度係上限的，計得黎個波一早就飛走左。但其實研究顯示，對一個task越純熟，大腦就越少activation。大腦會自動調節去specialize一個task, 唔係一定要層層去classify.

而天才都有好多種，全能型天才都有。達文西就工程畫畫樣樣精，愛因斯坦都好有音樂天份，亦唔見佢有咩其他明顯缺陷。人腦並唔係over-generalize,而係佢本身有個好靈活嘅架構，令到佢可以適應唔同嘅環境。世上有好多超乎常人嘅運動家，音樂家，數學家，呢啲都係人可以specialize嘅證明。有缺陷嘅天才好多只係因為佢地被報道得多，其實果啲缺陷唔係天才都一樣會有，亦有好多天才一生正正常常。因為就大概而論話人腦over-generalize未必太過武斷。

synaptic delay does not exist in electrotonic transmission. 所以你例子不成立
不過唔再講太technical 啦, 廢事班初學者睇到一舊舊

你要睇係真係天才定係後天努力既"天才"
假如個腦本身構造已經係特化左, 一定係幾歲就顯現到出黎,依呢D 基本上好大部份都係有缺陷
genius 同austim 係positive correlation 係已經Proof 左
而後天既天才, 佢地只係train 佢地既network train 得好好, 而唔係佢個network 本身就特化左
所以佢地其他能力普遍都同其他人相若

我都有諗過electrical synapse, 但electrical synapse係冇gain, 即係無辦法做複雜運算，佢主要係用黎synchronize一堆post-synaptic neurons. 人腦大部份都係chemical synapse.

好多神童都好正常喎，Mozart同Terence Tao 呢？其實autism中間天才好少，有研究指出大部份都有智力問題，只有3%係above average:
https://www.ncbi.nlm.nih.gov/pubmed/21272389

關於事實性的錯誤，我覺得自己有責任指出，唔想有人誤會。

To其他巴打：
我都知自己hijack左個post嫁啦，各位巴打對唔住！只係一時興起所以多口左。多有得罪唔好意思 繼續潛水做番CD-ROM...

omfg ,
我同你講a=>b ，你答我b=>a 既機會都唔大黎反證我?你科logic 101係個腦到delete 左?

如果我咁又人身攻擊左你，係到講句唔好意思先

呢種層層classify嘅理論可以從實驗層面就可以證明唔係完全正確。例如一啲講求速度嘅運動，e.g. 乒乓球，羽毛球，劍擊etc .，運動員可以係極短時間內作出反應。依照層層classify嘅理論，見到一個乒乓波飛埋黎要作出反應要經過好多步，例如先要辨別到係一個乒乓波，分辨眼前係現實定電視形像，判斷自己係咪應該打佢，然後估算佢嘅位置同方向，估算自己手嘅位置同方向，計算出手嘅trajectory，判斷呢個trajectory係咪合理，計算各肌肉的用力的比例，然後打出去。如果層層classify,呢度每一個判斷都涉及極複雜的network，而neuron同neuron之間有synaptic delay，速度係上限的，計得黎個波一早就飛走左。但其實研究顯示，對一個task越純熟，大腦就越少activation。大腦會自動調節去specialize一個task, 唔係一定要層層去classify.

而天才都有好多種，全能型天才都有。達文西就工程畫畫樣樣精，愛因斯坦都好有音樂天份，亦唔見佢有咩其他明顯缺陷。人腦並唔係over-generalize,而係佢本身有個好靈活嘅架構，令到佢可以適應唔同嘅環境。世上有好多超乎常人嘅運動家，音樂家，數學家，呢啲都係人可以specialize嘅證明。有缺陷嘅天才好多只係因為佢地被報道得多，其實果啲缺陷唔係天才都一樣會有，亦有好多天才一生正正常常。因為就大概而論話人腦over-generalize未必太過武斷。

synaptic delay does not exist in electrotonic transmission. 所以你例子不成立
不過唔再講太technical 啦, 廢事班初學者睇到一舊舊

你要睇係真係天才定係後天努力既"天才"
假如個腦本身構造已經係特化左, 一定係幾歲就顯現到出黎,依呢D 基本上好大部份都係有缺陷
genius 同austim 係positive correlation 係已經Proof 左
而後天既天才, 佢地只係train 佢地既network train 得好好, 而唔係佢個network 本身就特化左
所以佢地其他能力普遍都同其他人相若

我都有諗過electrical synapse, 但electrical synapse係冇gain, 即係無辦法做複雜運算，佢主要係用黎synchronize一堆post-synaptic neurons. 人腦大部份都係chemical synapse.

好多神童都好正常喎，Mozart同Terence Tao 呢？其實autism中間天才好少，有研究指出大部份都有智力問題，只有3%係above average:
https://www.ncbi.nlm.nih.gov/pubmed/21272389

關於事實性的錯誤，我覺得自己有責任指出，唔想有人誤會。

To其他巴打：
我都知自己hijack左個post嫁啦，各位巴打對唔住！只係一時興起所以多口左。多有得罪唔好意思 繼續潛水做番CD-ROM...

omfg ,
我同你講a=>b ，你答我b=>a 既機會都唔大黎反證我?你科logic 101係個腦到delete 左?

如果我咁又人身攻擊左你，係到講句唔好意思先

俾個例子D logic101 都未學既初學者
我話鑽石其實係碳, 只不過係粒子特別排列左
而佢既反證竟然係係碳之中其實得0.00000001% 係鑽石.....

趁星期日得閒少少，upload 少少computer vision嘅例子圖比大家睇，唔講理論，只用laymen語言，等大家知道下係咩嚟，另外各位巴打見到有錯請指正

通常要整一個 system（system 呢個字好 abstract），個flow都係咁：
task -> design architecture -> training -> testing
testing 個 accuracy 未如理想就由 design再loop過

好，假設我而家嘅目的係係一堆圖入邊，我要將佢哋分成 5 個種類（呢樣嘢要話比電腦知），然後我整咗個 CNN 去做呢個 "classification" problem。

我個 CNN 有好多層 layer，同以下呢個好相似（呢個係一個好出名嘅 archietecture，叫 VGG19）：


如果你問咩叫 2d convolution，最laymen嚟講就係每一粒 output pixel 係kernel 同 input 嘅 linear combination（當係乘數都同加數） 嘅結果。例如：



你會見到 kernel 係 3x3，佢同 input convolute，3x3 最終會變返 1x1，而output嘅每一粒 pixel 都係咁嚟。上面vgg19嗰啲 CONV 其實就係 convolution layer。

咁我而家 design完，要開始訓練個 system，咁點樣做呢？就係input一啲已經知道答案嘅圖比佢，例如：
image class
image1.jpg 1
image2.jpg 5
image3.jpg 4
...如此類推

training 即係我要搵一個 function 去將 Input map 去 output 個 5 個 class
training嘅同時其實我哋係 minimize 緊一個 loss function, loss function其目的係估計我哋 train 出嚟嘅 "mapping function" 嘅prediction output 同真實 output 不一致嘅程度。所以 Minimize 佢即係 maximize 我哋最終嘅 accruacy。

未完待續，嚟緊我會 post 返我做呢個 task 所訓練出嚟嘅 result。

趁星期日得閒少少，upload 少少computer vision嘅例子圖比大家睇，唔講理論，只用laymen語言，等大家知道下係咩嚟，另外各位巴打見到有錯請指正

通常要整一個 system（system 呢個字好 abstract），個flow都係咁：
task -> design architecture -> training -> testing
testing 個 accuracy 未如理想就由 design再loop過

好，假設我而家嘅目的係係一堆圖入邊，我要將佢哋分成 5 個種類（呢樣嘢要話比電腦知），然後我整咗個 CNN 去做呢個 "classification" problem。

我個 CNN 有好多層 layer，同以下呢個好相似（呢個係一個好出名嘅 archietecture，叫 VGG19）：


如果你問咩叫 2d convolution，最laymen嚟講就係每一粒 output pixel 係kernel 同 input 嘅 linear combination（當係乘數都同加數） 嘅結果。例如：



你會見到 kernel 係 3x3，佢同 input convolute，3x3 最終會變返 1x1，而output嘅每一粒 pixel 都係咁嚟。上面vgg19嗰啲 CONV 其實就係 convolution layer。

咁我而家 design完，要開始訓練個 system，咁點樣做呢？就係input一啲已經知道答案嘅圖比佢，例如：
image class
image1.jpg 1
image2.jpg 5
image3.jpg 4
...如此類推

training 即係我要搵一個 function 去將 Input map 去 output 個 5 個 class
training嘅同時其實我哋係 minimize 緊一個 loss function, loss function其目的係估計我哋 train 出嚟嘅 "mapping function" 嘅prediction output 同真實 output 不一致嘅程度。所以 Minimize 佢即係 maximize 我哋最終嘅 accruacy。

未完待續，嚟緊我會 post 返我做呢個 task 所訓練出嚟嘅 result。

between係convolve唔係convolute

其實pooling 都可以算convolution的一類

VGG 設計就係不停repeat pooling，conv，conv 呢個組合，跟住不停加大深度，當中每層layer的depth就係net的設計重點，跟住有人就extend到百幾層的VGG

有人發現用隨機方法去決定每層間的neuron進唔進行activation,發現有效降低training時間(即係有部份layer pixel會隨機選擇用定唔用)

另外CV的ai 主要有兩個output, 一係classification,另一種係deconcolution後的probabilistic image (alphago, segmentation等)

RNN 就唔多熟

其實pooling 都可以算convolution的一類

VGG 設計就係不停repeat pooling，conv，conv 呢個組合，跟住不停加大深度，當中每層layer的depth就係net的設計重點，跟住有人就extend到百幾層的VGG

有人發現用隨機方法去決定每層間的neuron進唔進行activation,發現有效降低training時間(即係有部份layer pixel會隨機選擇用定唔用)

另外CV的ai 主要有兩個output, 一係classification,另一種係deconcolution後的probabilistic image (alphago, segmentation等)

RNN 就唔多熟

pooling 其實仲容易理解 但我會覺得佢似 sampling 多過 convolution

預左比人插

成班唔知懶係勁定真係勁既人係度鬥深入討論騎劫人個Post，利申我就真係乜都唔識，諗住入黎睇下，點知一班專家係度簡單討論，覺得有D咩唔啱你講完，自己開個Post放條Link係度未得囉，你係有料啱既D人自然入你個Post嫁啦。

成班係一個人地講明話係簡單了解既Post入面鬥勁

同乞衣鬥有錢有咩分別，讀完咁多書仲係咁On9

BTW其實樓主你講到最新果個，其實已經好深，冇讀過既人已經冇咩興趣睇

一來本身好多專業名詞，二來又冇咩現實類比既例子好難明

希望樓主繼續努力，唔好比D死On9打擊

少有正經post

其實pooling 都可以算convolution的一類

VGG 設計就係不停repeat pooling，conv，conv 呢個組合，跟住不停加大深度，當中每層layer的depth就係net的設計重點，跟住有人就extend到百幾層的VGG

有人發現用隨機方法去決定每層間的neuron進唔進行activation,發現有效降低training時間(即係有部份layer pixel會隨機選擇用定唔用)

另外CV的ai 主要有兩個output, 一係classification,另一種係deconcolution後的probabilistic image (alphago, segmentation等)

RNN 就唔多熟

pooling 其實仲容易理解 但我會覺得佢似 sampling 多過 convolution

Sampling 會𢵧
Pooling 係summarize

有冇巴打可以講吓back propagation,k-nearest neighbor,support vector machine同decision tree,我ee仔冇ml background但依幾日要知佢做緊乜

有冇巴打可以講吓back propagation,k-nearest neighbor,support vector machine同decision tree,我ee仔冇ml background但依幾日要知佢做緊乜

Backpropagation即係一個Algorithm去計 neural network入面parameter，原理係用network output result個error 去層層逆推計parameter以達致最適error，行完結果係得到一個neural network，我諗做分類
k-nearest neighbor (K-means)做data分類，原理係每粒data附近k粒最近既data應該大部分係同類，行完結果係一堆分好類既data
Support vector machine (SVM)做data分類，原理係用data投影喺條界上既位置計距離，行完結果係得到一條界cut係兩邊data既正中間
Decision tree我諗指分類 learning嗰隻，原理係逐個feature起個條件分類，得到一個跟條件既分類法，例子如下: 你身高夠唔夠180cm? 夠>你會考有無30分? 有>你賓周有無30cm長? 有>...諸如此類...>你係高登仔


利申: 其實我唔太識，係上網自學，我都無background，不過見好似無人答你先講兩句，有咩唔明大家研究下，下面係一啲舊年上coursera堂送既reference

Backpropagation Algorithm
http://ufldl.stanford.edu/wiki/index.php/Backpropagation_Algorithm
An Idiot’s guide to Support vector machines (SVMs)
http://web.mit.edu/6.034/wwwbob/svm-notes-long-08.pdf

Bp講緊由錯誤中學習 用自定既error measure(最簡單就係euclidean distance)去improve返neural network, 如果高既learning rate就會學曬呢一次既野 而冇左好多以前學左既野

本意係minimize error, geometrically 睇就係要去到error curve既minimum point, 所以涉及patial d去搵呢個pt, 好似dse curve sketching搵minimum pt咁

如果你有d numerical analysis底就可以理解為step size太大 去唔到optimal point
As a signal黎講就係sample得太疏 唔會知道真正既最低點（唔係100%岩 只係類近d既講法）

K-mean多數係做clustering 將最近(呢個distance又係要自己define, 多數係euclidean)既痴埋一齊

SVM多數係用黎做classification 要睇你本身用咩kernel, 冇就係linear, 搵一條optimal既直線分開兩個group

有冇巴打可以講吓back propagation,k-nearest neighbor,support vector machine同decision tree,我ee仔冇ml background但依幾日要知佢做緊乜

Backpropagation即係一個Algorithm去計 neural network入面parameter，原理係用network output result個error 去層層逆推計parameter以達致最適error，行完結果係得到一個neural network，我諗做分類
k-nearest neighbor (K-means)做data分類，原理係每粒data附近k粒最近既data應該大部分係同類，行完結果係一堆分好類既data
Support vector machine (SVM)做data分類，原理係用data投影喺條界上既位置計距離，行完結果係得到一條界cut係兩邊data既正中間
Decision tree我諗指分類 learning嗰隻，原理係逐個feature起個條件分類，得到一個跟條件既分類法，例子如下: 你身高夠唔夠180cm? 夠>你會考有無30分? 有>你賓周有無30cm長? 有>...諸如此類...>你係高登仔


利申: 其實我唔太識，係上網自學，我都無background，不過見好似無人答你先講兩句，有咩唔明大家研究下，下面係一啲舊年上coursera堂送既reference

Backpropagation Algorithm
http://ufldl.stanford.edu/wiki/index.php/Backpropagation_Algorithm
An Idiot’s guide to Support vector machines (SVMs)
http://web.mit.edu/6.034/wwwbob/svm-notes-long-08.pdf

Bp講緊由錯誤中學習 用自定既error measure(最簡單就係euclidean distance)去improve返neural network, 如果高既learning rate就會學曬呢一次既野 而冇左好多以前學左既野

本意係minimize error, geometrically 睇就係要去到error curve既minimum point, 所以涉及patial d去搵呢個pt, 好似dse curve sketching搵minimum pt咁

如果你有d numerical analysis底就可以理解為step size太大 去唔到optimal point
As a signal黎講就係sample得太疏 唔會知道真正既最低點（唔係100%岩 只係類近d既講法）

K-mean多數係做clustering 將最近(呢個distance又係要自己define, 多數係euclidean)既痴埋一齊

SVM多數係用黎做classification 要睇你本身用咩kernel, 冇就係linear, 搵一條optimal既直線分開兩個group

係喎，我係咪都叫分類，講得唔清楚
分類有分有監督同無監督，有監即係手頭上既sample一早已經知邊個打邊類，用現有預估將來，無監即係而家唔知邊個打邊個，靠估分返一群群

巴打可唔可以講埋Decision tree learning

Decision tree我所知就差唔多

巴打禮拜六都起到身，我都想乘機問下euclidean distance係咪即係L2 norm? 一時一個名好混亂，幾時用邊個名?

係
norm係linear algebra入面嘅concept
其實用邊個都無所謂