簡單了解AlphaGo 同今日既AI

太長，唔quote 無夢人
一。你會唔會太睇高左人腦呢？其實人腦好多時都好唔efficient,要分玩具車，真車，漫畫車係咪真係幾張相就得呢？你可以試下俾一個細佬仔去分，依家d 日日對住部iPad 既細佬除時分唔到現實同二次元，你作為一個成年人能夠輕易分辨到係因為你已經係過去睇過無數既真車，玩具車，漫畫車，而且唔止係咁，你仲睇過好多真船，玩具船，漫畫船，真實環境，玩具場境，漫畫背景,etc
你有非常多既feature 去分辨真，玩具，漫畫，而且仲係以年為單位既training data
人腦既強大之處係在於其實每次input 都係將五感所感受到既野同時輸入，而且仲會對前後場景同時作出分析，預估完先會對現在呢一刻既問題作出回答，所有種類既問題都係同一個neural network 作出回答。 唔知你有無試過突然聽唔到人地講野成句句子入面既某一個詞語，對方重覆幾次都仲係聽唔到，呢種情況特別容易發生係你唔熟悉既topic。因為人腦唔單單係聽果個詞語既音頻黎分析，重會跟對象，前文後理黎判斷。所以當對方講一個唔係你expect 範圍內既詞語你會突然理解不能(雖然果個詞語單獨黎講你係識既)

人腦其實係一個極典型under fitting 既例子，所以人腦對一d noise 極少甚至無noise 既問題 efficiency 係極低(e.g. 數學運算)

而人腦真正強大既係power efficiency, 用極少能量已經可以做到極大量計算

人腦同ai 各有好處，無乜必要去誇大人腦既強項

上面問學人巴打已經答過你數據量問題，我就唔再多講啦。即使退一萬步講，我真係睇過好多真，玩具，漫畫，但都唔代表我睇嘅係車相關嘅圖。咁即係話，人腦係transfer learning 好強。而家人面識別嘅ANN唔可以用黎分狗嘅品種，因為AI未做到好好嘅transfer learning. 呢樣野係AI 仍然需要一段時間研究。

而你所講嘅context sensitive 推論，其實就係bayesian brain. 用probablistic graphical model 可以簡單摸擬到，反而用ANN會好複雜。

而另外，underfitting 問題。可能我理解錯你講法啦，underfitting 係因為model複雜度低所以 accuracy 低，同數據本身noise多唔多，速度快唔快冇乜關係。overfit先同noise有關。一般人係鋼琴學彈小星星不出十五分鐘，佢可能只係睇過老師彈過一兩次，但結果可以係八成似。如果咁都叫underfit未必太誇張。

另外，就以數學推算為例，其實極多極複雜數學理論都係人腦推論出黎。人腦係arithmatics 唔夠電腦黎只係因為人腦係parallel computing, 唔夠電腦運轉得快，同埋人腦working memory有限，唔似電腦勁多memory 儲住啲intermediate results。

人腦唔單只係power efficient, 仲有驚人嘅transfer learning能力。呢啲唔單止network architecture 唔同，而係可能根本用緊唔用algorithm做野。例如neuron啲action potential 係digital, 但firing rate 又係analog. 人腦可能係一部 digital/analog 混算機。

我嘅立場唔係話電腦一定比唔上人腦，因為事實上alphago而家咪贏晒人類。我只係講，人腦比我地想像中複雜，唔係單用ANN就可以解釋晒。而人工智能而家亦唔係天下無敵，只係係某幾個領域做得比較好，離真正strong AI仲有好遠一條路。

另外，deep learning overfit之強，由adversial examples可以見到

https://blog.openai.com/adversarial-example-research/

太長，唔quote 無夢人
一。你會唔會太睇高左人腦呢？其實人腦好多時都好唔efficient,要分玩具車，真車，漫畫車係咪真係幾張相就得呢？你可以試下俾一個細佬仔去分，依家d 日日對住部iPad 既細佬除時分唔到現實同二次元，你作為一個成年人能夠輕易分辨到係因為你已經係過去睇過無數既真車，玩具車，漫畫車，而且唔止係咁，你仲睇過好多真船，玩具船，漫畫船，真實環境，玩具場境，漫畫背景,etc
你有非常多既feature 去分辨真，玩具，漫畫，而且仲係以年為單位既training data
人腦既強大之處係在於其實每次input 都係將五感所感受到既野同時輸入，而且仲會對前後場景同時作出分析，預估完先會對現在呢一刻既問題作出回答，所有種類既問題都係同一個neural network 作出回答。 唔知你有無試過突然聽唔到人地講野成句句子入面既某一個詞語，對方重覆幾次都仲係聽唔到，呢種情況特別容易發生係你唔熟悉既topic。因為人腦唔單單係聽果個詞語既音頻黎分析，重會跟對象，前文後理黎判斷。所以當對方講一個唔係你expect 範圍內既詞語你會突然理解不能(雖然果個詞語單獨黎講你係識既)

人腦其實係一個極典型under fitting 既例子，所以人腦對一d noise 極少甚至無noise 既問題 efficiency 係極低(e.g. 數學運算)

而人腦真正強大既係power efficiency, 用極少能量已經可以做到極大量計算

人腦同ai 各有好處，無乜必要去誇大人腦既強項

上面問學人巴打已經答過你數據量問題，我就唔再多講啦。即使退一萬步講，我真係睇過好多真，玩具，漫畫，但都唔代表我睇嘅係車相關嘅圖。咁即係話，人腦係transfer learning 好強。而家人面識別嘅ANN唔可以用黎分狗嘅品種，因為AI未做到好好嘅transfer learning. 呢樣野係AI 仍然需要一段時間研究。

而你所講嘅context sensitive 推論，其實就係bayesian brain. 用probablistic graphical model 可以簡單摸擬到，反而用ANN會好複雜。

而另外，underfitting 問題。可能我理解錯你講法啦，underfitting 係因為model複雜度低所以 accuracy 低，同數據本身noise多唔多，速度快唔快冇乜關係。overfit先同noise有關。一般人係鋼琴學彈小星星不出十五分鐘，佢可能只係睇過老師彈過一兩次，但結果可以係八成似。如果咁都叫underfit未必太誇張。

另外，就以數學推算為例，其實極多極複雜數學理論都係人腦推論出黎。人腦係arithmatics 唔夠電腦黎只係因為人腦係parallel computing, 唔夠電腦運轉得快，同埋人腦working memory有限，唔似電腦勁多memory 儲住啲intermediate results。

人腦唔單只係power efficient, 仲有驚人嘅transfer learning能力。呢啲唔單止network architecture 唔同，而係可能根本用緊唔用algorithm做野。例如neuron啲action potential 係digital, 但firing rate 又係analog. 人腦可能係一部 digital/analog 混算機。

我嘅立場唔係話電腦一定比唔上人腦，因為事實上alphago而家咪贏晒人類。我只係講，人腦比我地想像中複雜，唔係單用ANN就可以解釋晒。而人工智能而家亦唔係天下無敵，只係係某幾個領域做得比較好，離真正strong AI仲有好遠一條路。

仲有人腦隨時有能力form新既neural pathway，老左又可以將某啲functions由frontal 轉去parietal

太長，唔quote 無夢人
一。你會唔會太睇高左人腦呢？其實人腦好多時都好唔efficient,要分玩具車，真車，漫畫車係咪真係幾張相就得呢？你可以試下俾一個細佬仔去分，依家d 日日對住部iPad 既細佬除時分唔到現實同二次元，你作為一個成年人能夠輕易分辨到係因為你已經係過去睇過無數既真車，玩具車，漫畫車，而且唔止係咁，你仲睇過好多真船，玩具船，漫畫船，真實環境，玩具場境，漫畫背景,etc
你有非常多既feature 去分辨真，玩具，漫畫，而且仲係以年為單位既training data
人腦既強大之處係在於其實每次input 都係將五感所感受到既野同時輸入，而且仲會對前後場景同時作出分析，預估完先會對現在呢一刻既問題作出回答，所有種類既問題都係同一個neural network 作出回答。 唔知你有無試過突然聽唔到人地講野成句句子入面既某一個詞語，對方重覆幾次都仲係聽唔到，呢種情況特別容易發生係你唔熟悉既topic。因為人腦唔單單係聽果個詞語既音頻黎分析，重會跟對象，前文後理黎判斷。所以當對方講一個唔係你expect 範圍內既詞語你會突然理解不能(雖然果個詞語單獨黎講你係識既)

人腦其實係一個極典型under fitting 既例子，所以人腦對一d noise 極少甚至無noise 既問題 efficiency 係極低(e.g. 數學運算)

而人腦真正強大既係power efficiency, 用極少能量已經可以做到極大量計算

人腦同ai 各有好處，無乜必要去誇大人腦既強項

上面問學人巴打已經答過你數據量問題，我就唔再多講啦。即使退一萬步講，我真係睇過好多真，玩具，漫畫，但都唔代表我睇嘅係車相關嘅圖。咁即係話，人腦係transfer learning 好強。而家人面識別嘅ANN唔可以用黎分狗嘅品種，因為AI未做到好好嘅transfer learning. 呢樣野係AI 仍然需要一段時間研究。

而你所講嘅context sensitive 推論，其實就係bayesian brain. 用probablistic graphical model 可以簡單摸擬到，反而用ANN會好複雜。

而另外，underfitting 問題。可能我理解錯你講法啦，underfitting 係因為model複雜度低所以 accuracy 低，同數據本身noise多唔多，速度快唔快冇乜關係。overfit先同noise有關。一般人係鋼琴學彈小星星不出十五分鐘，佢可能只係睇過老師彈過一兩次，但結果可以係八成似。如果咁都叫underfit未必太誇張。

另外，就以數學推算為例，其實極多極複雜數學理論都係人腦推論出黎。人腦係arithmatics 唔夠電腦黎只係因為人腦係parallel computing, 唔夠電腦運轉得快，同埋人腦working memory有限，唔似電腦勁多memory 儲住啲intermediate results。

人腦唔單只係power efficient, 仲有驚人嘅transfer learning能力。呢啲唔單止network architecture 唔同，而係可能根本用緊唔用algorithm做野。例如neuron啲action potential 係digital, 但firing rate 又係analog. 人腦可能係一部 digital/analog 混算機。

我嘅立場唔係話電腦一定比唔上人腦，因為事實上alphago而家咪贏晒人類。我只係講，人腦比我地想像中複雜，唔係單用ANN就可以解釋晒。而人工智能而家亦唔係天下無敵，只係係某幾個領域做得比較好，離真正strong AI仲有好遠一條路。

仲有人腦隨時有能力form新既neural pathway，老左又可以將某啲functions由frontal 轉去parietal

仲有一個人如果盲左，visual cortex會被轉去俾觸覺用，好癲 ....

Lm

仲有人腦隨時有能力form新既neural pathway，老左又可以將某啲functions由frontal 轉去parietal

仲有一個人如果盲左，visual cortex會被轉去俾觸覺用，好癲 ....

仲有一樣我都覺得神奇既係手語activate既brain region同speech係極度相似

巴打讀neuro但又了解咁多neural network野

留名

留名學嘢

Lm

太長，唔quote 無夢人
一。你會唔會太睇高左人腦呢？其實人腦好多時都好唔efficient,要分玩具車，真車，漫畫車係咪真係幾張相就得呢？你可以試下俾一個細佬仔去分，依家d 日日對住部iPad 既細佬除時分唔到現實同二次元，你作為一個成年人能夠輕易分辨到係因為你已經係過去睇過無數既真車，玩具車，漫畫車，而且唔止係咁，你仲睇過好多真船，玩具船，漫畫船，真實環境，玩具場境，漫畫背景,etc
你有非常多既feature 去分辨真，玩具，漫畫，而且仲係以年為單位既training data
人腦既強大之處係在於其實每次input 都係將五感所感受到既野同時輸入，而且仲會對前後場景同時作出分析，預估完先會對現在呢一刻既問題作出回答，所有種類既問題都係同一個neural network 作出回答。 唔知你有無試過突然聽唔到人地講野成句句子入面既某一個詞語，對方重覆幾次都仲係聽唔到，呢種情況特別容易發生係你唔熟悉既topic。因為人腦唔單單係聽果個詞語既音頻黎分析，重會跟對象，前文後理黎判斷。所以當對方講一個唔係你expect 範圍內既詞語你會突然理解不能(雖然果個詞語單獨黎講你係識既)

人腦其實係一個極典型under fitting 既例子，所以人腦對一d noise 極少甚至無noise 既問題 efficiency 係極低(e.g. 數學運算)

而人腦真正強大既係power efficiency, 用極少能量已經可以做到極大量計算

人腦同ai 各有好處，無乜必要去誇大人腦既強項

上面問學人巴打已經答過你數據量問題，我就唔再多講啦。即使退一萬步講，我真係睇過好多真，玩具，漫畫，但都唔代表我睇嘅係車相關嘅圖。咁即係話，人腦係transfer learning 好強。而家人面識別嘅ANN唔可以用黎分狗嘅品種，因為AI未做到好好嘅transfer learning. 呢樣野係AI 仍然需要一段時間研究。

而你所講嘅context sensitive 推論，其實就係bayesian brain. 用probablistic graphical model 可以簡單摸擬到，反而用ANN會好複雜。

而另外，underfitting 問題。可能我理解錯你講法啦，underfitting 係因為model複雜度低所以 accuracy 低，同數據本身noise多唔多，速度快唔快冇乜關係。overfit先同noise有關。一般人係鋼琴學彈小星星不出十五分鐘，佢可能只係睇過老師彈過一兩次，但結果可以係八成似。如果咁都叫underfit未必太誇張。

另外，就以數學推算為例，其實極多極複雜數學理論都係人腦推論出黎。人腦係arithmatics 唔夠電腦黎只係因為人腦係parallel computing, 唔夠電腦運轉得快，同埋人腦working memory有限，唔似電腦勁多memory 儲住啲intermediate results。

人腦唔單只係power efficient, 仲有驚人嘅transfer learning能力。呢啲唔單止network architecture 唔同，而係可能根本用緊唔用algorithm做野。例如neuron啲action potential 係digital, 但firing rate 又係analog. 人腦可能係一部 digital/analog 混算機。

我嘅立場唔係話電腦一定比唔上人腦，因為事實上alphago而家咪贏晒人類。我只係講，人腦比我地想像中複雜，唔係單用ANN就可以解釋晒。而人工智能而家亦唔係天下無敵，只係係某幾個領域做得比較好，離真正strong AI仲有好遠一條路。

數據量問題其實我已經答左你, 人腦收集左好多數據而不自知, 而果D 數據正正就係人腦能夠加上少量supervised learning 既sample 之後就能夠得到高accuracy 既原因, 詳細你可以睇下One-shot learning 既相關資料
你講既分狗既品種, 依家CNN 係咪做唔到呢? 其實又唔係, 而且仲準過人, 不過事先你輸入既要過濾清晒一定全部都係狗, 人腦既強大之處係generalized problem solving

人腦你可以想像佢係chain of cluster of nodes.而每組cluster 所做既野都唔同, 呢野大把paper 講過,至於分到幾細就未有人知, 呢D 等科學家去研究
但佢地研究到之前我地係咪就唔能夠作出一D 大膽既假設呢?
點解你覺得bayesian brain/probabilistic graphical model 唔係AI 呢?
AI 點解唔可以係neural network of value evaluation nodes/cluster of nodes, 而個value evaluation method 點解要局限左係ANN/CNN, regression?bayesian brain/probabilistic graphical model, arithmetic equation一樣可以係其中一種value evaluation 既方法
而因為人腦既neural 數目實在係太多,其實佢係一次過chain 埋左classification, value evaluation, inference, prediction而且好可能係每樣都反覆咁做N 次,所以佢先可以咁generalized
AI 係咪做唔到呢?依家所有puzzle 都有齊, 之不過係有無咁多computing power 姐....

underfitting not necessary 係因為complexity 太低, 你諗野太practical,退後D 睇
underfitting 係因為對問題/答案over generalization

留名學野

數據量問題其實我已經答左你, 人腦收集左好多數據而不自知, 而果D 數據正正就係人腦能夠加上少量supervised learning 既sample 之後就能夠得到高accuracy 既原因, 詳細你可以睇下One-shot learning 既相關資料
你講既分狗既品種, 依家CNN 係咪做唔到呢? 其實又唔係, 而且仲準過人, 不過事先你輸入既要過濾清晒一定全部都係狗, 人腦既強大之處係generalized problem solving

人腦你可以想像佢係chain of cluster of nodes.而每組cluster 所做既野都唔同, 呢野大把paper 講過,至於分到幾細就未有人知, 呢D 等科學家去研究
但佢地研究到之前我地係咪就唔能夠作出一D 大膽既假設呢?
點解你覺得bayesian brain/probabilistic graphical model 唔係AI 呢?
AI 點解唔可以係neural network of value evaluation nodes/cluster of nodes, 而個value evaluation method 點解要局限左係ANN/CNN, regression?bayesian brain/probabilistic graphical model, arithmetic equation一樣可以係其中一種value evaluation 既方法
而因為人腦既neural 數目實在係太多,其實佢係一次過chain 埋左classification, value evaluation, inference, prediction而且好可能係每樣都反覆咁做N 次,所以佢先可以咁generalized
AI 係咪做唔到呢?依家所有puzzle 都有齊, 之不過係有無咁多computing power 姐....

underfitting not necessary 係因為complexity 太低, 你諗野太practical,退後D 睇
underfitting 係因為對問題/答案over generalization

簡單講其實即係 train 好多個唔同嘅network group埋一齊？而家都有啲類似做法。

如果話人腦係 underfitting 咁其實個原因係因為人腦即使得好少data都可以 generally apply去其他地方？其實唔係好明你嘅意思，可否解釋下？如果得好少data而去做一啲task，over generalization 似乎係必然結果？

留名學野

Lm

留名

（咁遟先出真係唔好意思 ）

神經元所接收訊號之強弱可以有所調節，而兩個神經元之間所傳遞信號之強度叫做 Synaptic Weight。
生物最簡單既「記億」，可以係兩個神經元之間搵到。如果兩個神經元之間既 Synaptic Weight 基於某種 Pattern 而不斷增強，呢種現像就叫做 Long Term Potentiation (LTP)。LTP 係腦部既海馬體尤其明顯，被認為係學習同記憶既主要機理。擴展至一個神經元既網絡，唔同既 Synaptic Weight 形成複雜既路徑，用以重構相關既 Pattern，Synaptic Weight 越大，路徑越暢順，Pattern 越明顯。從呢個角度可以理解為何我地對啲重覆出現既事物有比較深既印象。

講到呢度好簡單咁介紹左生物既神經網絡 (Biological Neural Network) 既一啲特質。呢個應用係人類身上既精密設計，啓發左人類利用呢啲特質去創造出人工神經網絡 (Artificial Neural Network / ANN)。

ANN 相對於生物神經網絡可以話被超級簡化左（就算超級簡化左之後所建立既系統一般都相當複雜），其單位係人工神經元(Artificial Neuron)。佢完全係一個由數學 function 組成既模型。睇下以下幅圖：



呢個就係最簡單既人工神經元模型既樣。而呢個模型可以做既野就係：當 S 所接收既信息(Input) 大於門檻(Threshold / 圖中希臘之母 theta)，咁佢既狀態(State) 就係 1，否則就係 0。

我地又可以設定一個模型既各項參數，去令到個模型進行一啲運算。



上圖展示左分別設定神經元 x 既 weight (模擬生物神經元既 Synaptic Weight), 神經元 y 既 weight，同埋門檻值 theta, 可以用黎做電腦既基本邏輯 AND, OR, NOT 既計算。

係計算 AND 既模型裡面，將神經元 x 同 y 既 weight 設定為 1，而神經元 S 既門檻 (theta) 設定為 3/2。當 x 同 y 所接收既信號係 0 既時候，因為 0 + 0 < 3/2, 所以 S 係 0，同電腦既運算結果一樣。

我一直好想知點解non-linear化要用relu 同sigmoid, 點解做呢個過程會令fitting有效d

lm

留名學野

我一直好想知點解non-linear化要用relu 同sigmoid, 點解做呢個過程會令fitting有效d

你用identity function 整幾多層都係linear

同埋唔一定要relu, sigmoid只係呢兩種比多常用啫

點解有效啲你當啲input同outcome個關係係曲線/面, 如果你容許non-linearity, 咁個prediction既hyper plane咪可以描述個關係好d

其實我都只係識少少, 等其他巴打再補充

lm