簡單了解AlphaGo 同今日既AI

LM

https://adeshpande3.github.io/adeshpande3.github.io/A-Beginner's-Guide-To-Understanding-Convolutional-Neural-Networks/

睇呢篇好似明明地

CNN 我就唔熟
不過ANN 以前都玩過下其實係好難做得好嘅嘢嚟

人工神經網絡嘅設計重點至少有幾個
一係網絡嘅結構
有幾多個神經元有幾多個節點分幾個層級
每個層級又點分配
唔係愈深愈廣就一定好
結構不當會出然過度學習變成只懂得做 mapping 嘅數據庫

二係神經元入面嘅方程
CNN 從名嚟睇我估係用convolution formula 去做比對
但因應唔同需可能要放唔同方程入去
唔係所有事情都可以有效地用比對去學習

三係學習嘅數據同分析點
數據必需龐大而有代表性
如果參考一個傻人嘅數據出嚟嘅 AI 都會傻
好似人工對話
開發嘅人一生加埋講嘅句子可能都唔夠教
但倚賴向普通受眾學又會學埋啲錯嘢衰嘢返嚟
講到呢度你就會發覺真人嘅學習能力其實仍然高好多好多

但有一啲嘢我地只知解決方向但唔知實際辦法同答案嘅時候 AI 就非常幫得手

我試過用 Genetic algorithm 去解 travelling salesman problem 係極快極輕易就得到優質答案
用人腦去諗諗到頭到爆都唔掂

CNN 我就唔熟
不過ANN 以前都玩過下其實係好難做得好嘅嘢嚟

人工神經網絡嘅設計重點至少有幾個
一係網絡嘅結構
有幾多個神經元有幾多個節點分幾個層級
每個層級又點分配
唔係愈深愈廣就一定好
結構不當會出然過度學習變成只懂得做 mapping 嘅數據庫

二係神經元入面嘅方程
CNN 從名嚟睇我估係用convolution formula 去做比對
但因應唔同需可能要放唔同方程入去
唔係所有事情都可以有效地用比對去學習

三係學習嘅數據同分析點
數據必需龐大而有代表性
如果參考一個傻人嘅數據出嚟嘅 AI 都會傻
好似人工對話
開發嘅人一生加埋講嘅句子可能都唔夠教
但倚賴向普通受眾學又會學埋啲錯嘢衰嘢返嚟
講到呢度你就會發覺真人嘅學習能力其實仍然高好多好多

但有一啲嘢我地只知解決方向但唔知實際辦法同答案嘅時候 AI 就非常幫得手

我試過用 Genetic algorithm 去解 travelling salesman problem 係極快極輕易就得到優質答案
用人腦去諗諗到頭到爆都唔掂

如果你跟住個algorithm人手solve sales佬問題都得架
不過唔會有人想人手做

CNN 我就唔熟
不過ANN 以前都玩過下其實係好難做得好嘅嘢嚟

人工神經網絡嘅設計重點至少有幾個
一係網絡嘅結構
有幾多個神經元有幾多個節點分幾個層級
每個層級又點分配
唔係愈深愈廣就一定好
結構不當會出然過度學習變成只懂得做 mapping 嘅數據庫

二係神經元入面嘅方程
CNN 從名嚟睇我估係用convolution formula 去做比對
但因應唔同需可能要放唔同方程入去
唔係所有事情都可以有效地用比對去學習

三係學習嘅數據同分析點
數據必需龐大而有代表性
如果參考一個傻人嘅數據出嚟嘅 AI 都會傻
好似人工對話
開發嘅人一生加埋講嘅句子可能都唔夠教
但倚賴向普通受眾學又會學埋啲錯嘢衰嘢返嚟
講到呢度你就會發覺真人嘅學習能力其實仍然高好多好多

但有一啲嘢我地只知解決方向但唔知實際辦法同答案嘅時候 AI 就非常幫得手

我試過用 Genetic algorithm 去解 travelling salesman problem 係極快極輕易就得到優質答案
用人腦去諗諗到頭到爆都唔掂

中文唔好，想問咩叫優質答案

CNN 我就唔熟
不過ANN 以前都玩過下其實係好難做得好嘅嘢嚟

人工神經網絡嘅設計重點至少有幾個
一係網絡嘅結構
有幾多個神經元有幾多個節點分幾個層級
每個層級又點分配
唔係愈深愈廣就一定好
結構不當會出然過度學習變成只懂得做 mapping 嘅數據庫

二係神經元入面嘅方程
CNN 從名嚟睇我估係用convolution formula 去做比對
但因應唔同需可能要放唔同方程入去
唔係所有事情都可以有效地用比對去學習

三係學習嘅數據同分析點
數據必需龐大而有代表性
如果參考一個傻人嘅數據出嚟嘅 AI 都會傻
好似人工對話
開發嘅人一生加埋講嘅句子可能都唔夠教
但倚賴向普通受眾學又會學埋啲錯嘢衰嘢返嚟
講到呢度你就會發覺真人嘅學習能力其實仍然高好多好多

但有一啲嘢我地只知解決方向但唔知實際辦法同答案嘅時候 AI 就非常幫得手

我試過用 Genetic algorithm 去解 travelling salesman problem 係極快極輕易就得到優質答案
用人腦去諗諗到頭到爆都唔掂

中文唔好，想問咩叫優質答案

Good answer
唔知係咪答到你

對於一啲無或者唔知準確答案嘅問題
一個可接受範圍內嘅答案就係 Good answer

以自動駕駛為例
幾時開始剎制停車要準確計算需要好多不可能即時得到嘅數據
人係憑經驗直覺同即時修正去判斷
只要做到指定位置範圍停到就合格都稱為Good answer

或者有學術名稱
不過太耐以前嘅嘢已經無乜印象

數據量問題其實我已經答左你, 人腦收集左好多數據而不自知, 而果D 數據正正就係人腦能夠加上少量supervised learning 既sample 之後就能夠得到高accuracy 既原因, 詳細你可以睇下One-shot learning 既相關資料
你講既分狗既品種, 依家CNN 係咪做唔到呢? 其實又唔係, 而且仲準過人, 不過事先你輸入既要過濾清晒一定全部都係狗, 人腦既強大之處係generalized problem solving

人腦你可以想像佢係chain of cluster of nodes.而每組cluster 所做既野都唔同, 呢野大把paper 講過,至於分到幾細就未有人知, 呢D 等科學家去研究
但佢地研究到之前我地係咪就唔能夠作出一D 大膽既假設呢?
點解你覺得bayesian brain/probabilistic graphical model 唔係AI 呢?
AI 點解唔可以係neural network of value evaluation nodes/cluster of nodes, 而個value evaluation method 點解要局限左係ANN/CNN, regression?bayesian brain/probabilistic graphical model, arithmetic equation一樣可以係其中一種value evaluation 既方法
而因為人腦既neural 數目實在係太多,其實佢係一次過chain 埋左classification, value evaluation, inference, prediction而且好可能係每樣都反覆咁做N 次,所以佢先可以咁generalized
AI 係咪做唔到呢?依家所有puzzle 都有齊, 之不過係有無咁多computing power 姐....

underfitting not necessary 係因為complexity 太低, 你諗野太practical,退後D 睇
underfitting 係因為對問題/答案over generalization

簡單講其實即係 train 好多個唔同嘅network group埋一齊？而家都有啲類似做法。

如果話人腦係 underfitting 咁其實個原因係因為人腦即使得好少data都可以 generally apply去其他地方？其實唔係好明你嘅意思，可否解釋下？如果得好少data而去做一啲task，over generalization 似乎係必然結果？

係，你可以想像係首先有一個classification 既network 去分類問題，不過呢個classification 好大機會都唔係我地平時用開得0/1既classification, 而係weighted probability, 然後依照個weight 去相應地加權response 既rating, 最後依rating決定答案
例如一個簡化到極端既例子，“1+1”，首先要做既就係分類到式呢個係普通算式運算定係number theory，一般人會可能有0.9weight 分類去計數，即係答案係2, 而0.1 weight 係諗點prove1+1=2
然後個weighted 既答案又會feedback 番落去semantic analysis前文後理得出“2”先係“正確答案”

要做到人腦咁generalized 既problem solving 似乎係無可避免地 over generalized, 至少人類進化左幾千年都未解決到呢個問題
你見到某d 領域既天才其本上就係dna 選擇去特化果個領域既結果，而可惜地呢d 天才多數地係其他方面都有一d 缺陷
generalized/ accuracy 係specific problem 似乎係無辦法公存既

數據量問題其實我已經答左你, 人腦收集左好多數據而不自知, 而果D 數據正正就係人腦能夠加上少量supervised learning 既sample 之後就能夠得到高accuracy 既原因, 詳細你可以睇下One-shot learning 既相關資料
你講既分狗既品種, 依家CNN 係咪做唔到呢? 其實又唔係, 而且仲準過人, 不過事先你輸入既要過濾清晒一定全部都係狗, 人腦既強大之處係generalized problem solving

人腦你可以想像佢係chain of cluster of nodes.而每組cluster 所做既野都唔同, 呢野大把paper 講過,至於分到幾細就未有人知, 呢D 等科學家去研究
但佢地研究到之前我地係咪就唔能夠作出一D 大膽既假設呢?
點解你覺得bayesian brain/probabilistic graphical model 唔係AI 呢?
AI 點解唔可以係neural network of value evaluation nodes/cluster of nodes, 而個value evaluation method 點解要局限左係ANN/CNN, regression?bayesian brain/probabilistic graphical model, arithmetic equation一樣可以係其中一種value evaluation 既方法
而因為人腦既neural 數目實在係太多,其實佢係一次過chain 埋左classification, value evaluation, inference, prediction而且好可能係每樣都反覆咁做N 次,所以佢先可以咁generalized
AI 係咪做唔到呢?依家所有puzzle 都有齊, 之不過係有無咁多computing power 姐....

underfitting not necessary 係因為complexity 太低, 你諗野太practical,退後D 睇
underfitting 係因為對問題/答案over generalization

簡單講其實即係 train 好多個唔同嘅network group埋一齊？而家都有啲類似做法。

如果話人腦係 underfitting 咁其實個原因係因為人腦即使得好少data都可以 generally apply去其他地方？其實唔係好明你嘅意思，可否解釋下？如果得好少data而去做一啲task，over generalization 似乎係必然結果？

係，你可以想像係首先有一個classification 既network 去分類問題，不過呢個classification 好大機會都唔係我地平時用開得0/1既classification, 而係weighted probability, 然後依照個weight 去相應地加權response 既rating, 最後依rating決定答案
例如一個簡化到極端既例子，“1+1”，首先要做既就係分類到式呢個係普通算式運算定係number theory，一般人會可能有0.9weight 分類去計數，即係答案係2, 而0.1 weight 係諗點prove1+1=2
然後個weighted 既答案又會feedback 番落去semantic analysis前文後理得出“2”先係“正確答案”

要做到人腦咁generalized 既problem solving 似乎係無可避免地 over generalized, 至少人類進化左幾千年都未解決到呢個問題
你見到某d 領域既天才其本上就係dna 選擇去特化果個領域既結果，而可惜地呢d 天才多數地係其他方面都有一d 缺陷
generalized/ accuracy 係specific problem 似乎係無辦法公存既

除咗解決問題嘅能力本身
人有想像力
可以超乎現實、經驗同理解範圍
呢個係自學啟發嘅關鍵

一個人就算打坐瞓覺痾屎都可以悟出道理辦法
然後透過實證去確立再延伸學習

今日嘅AI 充其量只有記憶運算同驗證能力
要啟發都只可循某固定模式或者更多係以隨機方法
要好似牛頓從見到蘋果落地悟出地心吸力近乎係無可能嘅事

數據量問題其實我已經答左你, 人腦收集左好多數據而不自知, 而果D 數據正正就係人腦能夠加上少量supervised learning 既sample 之後就能夠得到高accuracy 既原因, 詳細你可以睇下One-shot learning 既相關資料
你講既分狗既品種, 依家CNN 係咪做唔到呢? 其實又唔係, 而且仲準過人, 不過事先你輸入既要過濾清晒一定全部都係狗, 人腦既強大之處係generalized problem solving

人腦你可以想像佢係chain of cluster of nodes.而每組cluster 所做既野都唔同, 呢野大把paper 講過,至於分到幾細就未有人知, 呢D 等科學家去研究
但佢地研究到之前我地係咪就唔能夠作出一D 大膽既假設呢?
點解你覺得bayesian brain/probabilistic graphical model 唔係AI 呢?
AI 點解唔可以係neural network of value evaluation nodes/cluster of nodes, 而個value evaluation method 點解要局限左係ANN/CNN, regression?bayesian brain/probabilistic graphical model, arithmetic equation一樣可以係其中一種value evaluation 既方法
而因為人腦既neural 數目實在係太多,其實佢係一次過chain 埋左classification, value evaluation, inference, prediction而且好可能係每樣都反覆咁做N 次,所以佢先可以咁generalized
AI 係咪做唔到呢?依家所有puzzle 都有齊, 之不過係有無咁多computing power 姐....

underfitting not necessary 係因為complexity 太低, 你諗野太practical,退後D 睇
underfitting 係因為對問題/答案over generalization

如果話人黎講少sample都高accuracy因為我地不自覺間收集到好左好多數據。咁即係話人類高accuracy 係都係因為多sample, 但連deepmind 而家做one-shot都唔洗多sample 喎。咁即係話多sample唔係accuracy高嘅必然條件，係同個architecture有關。仲有我唔係話CNN分唔到狗嘅品種，我係話train左黎識別人面嘅唔可以同時用黎分辨狗嘅品種，ANN而家transfer learning仲係好差。呢個係architectural 層次問題。

其實我邊度有講過graphical model 唔係AI 我由頭到尾只係講ANN唔可以完全解釋人腦，intelligence system有好多種，ANN只係其中一種。ANN係一個數學模型，唔係描述人腦嘅模型。

你所謂cluster of nodes理論有一個致命問題，就係假設左node同node之間係冇重疊的。但人腦就正正相反，同一個neuron係唔同task底下都有可能被activate。而且如果每個task都有一個cluster, 咁係咪用手拎杯一個cluster, 拎碟一個cluster, 拎波又另一個cluster呢，世事何其多，要幾多個cluster先夠...而train新cluster又要幾多時間？學識拎杯嘅人，亦會好快學識拎茶壺，咁又點理解呢？再者，大腦構造係可以靈活改變。盲人visual cortex可以repurpose做聽覺，觸覺，visual同聽覺根本需要唔同architecture, 前者CNN後者RNN，點解同一個node可以變得咁快？

Over-generalize 同複雜度唔夠其實咪同一樣野？咁都可以話下人諗野太practical... 其實我地都係純粹學術討論，點解最後都要加句人身攻擊呢...

屌
又話簡單了解
愈講愈唔知你地up 乜

成班係到鬥反駁，show quali
寫野又無structure

入撚錯post on99

數據量問題其實我已經答左你, 人腦收集左好多數據而不自知, 而果D 數據正正就係人腦能夠加上少量supervised learning 既sample 之後就能夠得到高accuracy 既原因, 詳細你可以睇下One-shot learning 既相關資料
你講既分狗既品種, 依家CNN 係咪做唔到呢? 其實又唔係, 而且仲準過人, 不過事先你輸入既要過濾清晒一定全部都係狗, 人腦既強大之處係generalized problem solving

人腦你可以想像佢係chain of cluster of nodes.而每組cluster 所做既野都唔同, 呢野大把paper 講過,至於分到幾細就未有人知, 呢D 等科學家去研究
但佢地研究到之前我地係咪就唔能夠作出一D 大膽既假設呢?
點解你覺得bayesian brain/probabilistic graphical model 唔係AI 呢?
AI 點解唔可以係neural network of value evaluation nodes/cluster of nodes, 而個value evaluation method 點解要局限左係ANN/CNN, regression?bayesian brain/probabilistic graphical model, arithmetic equation一樣可以係其中一種value evaluation 既方法
而因為人腦既neural 數目實在係太多,其實佢係一次過chain 埋左classification, value evaluation, inference, prediction而且好可能係每樣都反覆咁做N 次,所以佢先可以咁generalized
AI 係咪做唔到呢?依家所有puzzle 都有齊, 之不過係有無咁多computing power 姐....

underfitting not necessary 係因為complexity 太低, 你諗野太practical,退後D 睇
underfitting 係因為對問題/答案over generalization

簡單講其實即係 train 好多個唔同嘅network group埋一齊？而家都有啲類似做法。

如果話人腦係 underfitting 咁其實個原因係因為人腦即使得好少data都可以 generally apply去其他地方？其實唔係好明你嘅意思，可否解釋下？如果得好少data而去做一啲task，over generalization 似乎係必然結果？

係，你可以想像係首先有一個classification 既network 去分類問題，不過呢個classification 好大機會都唔係我地平時用開得0/1既classification, 而係weighted probability, 然後依照個weight 去相應地加權response 既rating, 最後依rating決定答案
例如一個簡化到極端既例子，“1+1”，首先要做既就係分類到式呢個係普通算式運算定係number theory，一般人會可能有0.9weight 分類去計數，即係答案係2, 而0.1 weight 係諗點prove1+1=2
然後個weighted 既答案又會feedback 番落去semantic analysis前文後理得出“2”先係“正確答案”

要做到人腦咁generalized 既problem solving 似乎係無可避免地 over generalized, 至少人類進化左幾千年都未解決到呢個問題
你見到某d 領域既天才其本上就係dna 選擇去特化果個領域既結果，而可惜地呢d 天才多數地係其他方面都有一d 缺陷
generalized/ accuracy 係specific problem 似乎係無辦法公存既

呢種層層classify嘅理論可以從實驗層面就可以證明唔係完全正確。例如一啲講求速度嘅運動，e.g. 乒乓球，羽毛球，劍擊etc .，運動員可以係極短時間內作出反應。依照層層classify嘅理論，見到一個乒乓波飛埋黎要作出反應要經過好多步，例如先要辨別到係一個乒乓波，分辨眼前係現實定電視形像，判斷自己係咪應該打佢，然後估算佢嘅位置同方向，估算自己手嘅位置同方向，計算出手嘅trajectory，判斷呢個trajectory係咪合理，計算各肌肉的用力的比例，然後打出去。如果層層classify,呢度每一個判斷都涉及極複雜的network，而neuron同neuron之間有synaptic delay，速度係上限的，計得黎個波一早就飛走左。但其實研究顯示，對一個task越純熟，大腦就越少activation。大腦會自動調節去specialize一個task, 唔係一定要層層去classify.

而天才都有好多種，全能型天才都有。達文西就工程畫畫樣樣精，愛因斯坦都好有音樂天份，亦唔見佢有咩其他明顯缺陷。人腦並唔係over-generalize,而係佢本身有個好靈活嘅架構，令到佢可以適應唔同嘅環境。世上有好多超乎常人嘅運動家，音樂家，數學家，呢啲都係人可以specialize嘅證明。有缺陷嘅天才好多只係因為佢地被報道得多，其實果啲缺陷唔係天才都一樣會有，亦有好多天才一生正正常常。因為就大概而論話人腦over-generalize未必太過武斷。

我一直好想知點解non-linear化要用relu 同sigmoid, 點解做呢個過程會令fitting有效d

可能其中一個原因係唔想某個weight dominate晒成個network.

而ReLU好似係同解決vanishing gradient 有關...

高質 post LM

仲有人腦隨時有能力form新既neural pathway，老左又可以將某啲functions由frontal 轉去parietal

仲有一個人如果盲左，visual cortex會被轉去俾觸覺用，好癲 ....

仲有一樣我都覺得神奇既係手語activate既brain region同speech係極度相似

巴打讀neuro但又了解咁多neural network野

只係因為研究同neural coding有啲關係，所以都係成日同machine learning呀，information theory ar打交道...

想當年我岩岩開始做research時根本冇乜人會用ANN, 個個都覺得佢又慢又廢，估唔到而家時移世易

有無可能用低運算能力去做得返大概alpha go 個學習能力

lm

屌
又話簡單了解
愈講愈唔知你地up 乜

成班係到鬥反駁，show quali
寫野又無structure

入撚錯post on99

係
樓主去左邊

仲有人腦隨時有能力form新既neural pathway，老左又可以將某啲functions由frontal 轉去parietal

仲有一個人如果盲左，visual cortex會被轉去俾觸覺用，好癲 ....

仲有一樣我都覺得神奇既係手語activate既brain region同speech係極度相似

巴打讀neuro但又了解咁多neural network野

只係因為研究同neural coding有啲關係，所以都係成日同machine learning呀，information theory ar打交道...

想當年我岩岩開始做research時根本冇乜人會用ANN, 個個都覺得佢又慢又廢，估唔到而家時移世易

好多年前鐵路 auto pilot 好似已經係 ANN + fuzzy logic 咁做
又唔講得上又慢又廢
只係搞一舖嘢就只係識做一件事好多時都唔值得所以唔係咁多機會用

電子撚留名

高質post

仲有人腦隨時有能力form新既neural pathway，老左又可以將某啲functions由frontal 轉去parietal

仲有一個人如果盲左，visual cortex會被轉去俾觸覺用，好癲 ....

仲有一樣我都覺得神奇既係手語activate既brain region同speech係極度相似

巴打讀neuro但又了解咁多neural network野

只係因為研究同neural coding有啲關係，所以都係成日同machine learning呀，information theory ar打交道...

想當年我岩岩開始做research時根本冇乜人會用ANN, 個個都覺得佢又慢又廢，估唔到而家時移世易

好多年前鐵路 auto pilot 好似已經係 ANN + fuzzy logic 咁做
又唔講得上又慢又廢
只係搞一舖嘢就只係識做一件事好多時都唔值得所以唔係咁多機會用

fuzzy logic

splm

留明