香港做ai有咩好做?
睇andrew ng coursera & deep learning 睇左幾個月，都無咩呢d 工
自己搞又無咩data
香港做ai有咩好做?
睇andrew ng coursera & deep learning 睇左幾個月，都無咩呢d 工
自己搞又無咩data
香港無，過日本，好多唔洗識日文都請
香港有,但9成都係中資background
有冇留意咩行業? 我去angelist / linkedin睇又唔覺喎
我做緊機械人, 其實而家medical, ecommerce都好需要人, 科學園有一間叫sensetime,算係香港最大既AI公司,但係中資來
如果你想入外國公司,去外國啦,香港本土d人你同佢講樓上堆野好多都當你痴線佬又搵唔到錢
去到呢步想講下data randomization既少量技巧,其實有N咁多種,呢度講下如果大家都用ANN,點樣排d data會有效少少
拎返MNIST做例子,點樣先係最易入曬d data去train一次呢?
無錯就係由頭到尾順序run一次啦
最少既工夫做最多既野,咁當然result未必會好,因為前後既次序(前面多d 1後面少d 1)會影響訓練精度
又由於電腦ram有限(CPU又好GPU又好),所以呢55000個data係無可能一次放曬入去度train,所以就要分batch, 變左d 28*28*100咁樣既小batch入去個ANN度訓練
每loop完所有data一次就叫一個episode (epoch)
而每個epoch既data前後排列,我地有會隨機化左佢,呢個過程叫shuffle
仲有原生data仲可以分為training同evaluation/testing兩部份
由於你用同一組data去train,你之後放返同一set的data入去evaluate/inference,結果一定係fit得好架
ML既重點,就係由有限既data set,對未知的data進行預測, 所以我地訓練之時,要保留一部份data唔可以俾個machine見過,之後再拎d未見過的data俾去佢試一下預估準確度,呢個先係valid的準確度
至於點分呢兩set data,內裡大有學問
實際上我去train的時間就係random揀training:evaluation 8:2既分類就算
香港做ai有咩好做?
睇andrew ng coursera & deep learning 睇左幾個月，都無咩呢d 工
自己搞又無咩data
香港係 financial centre
逢親同金融有關的東西，都應該有得撈
應該有工 develop ai for 預測金融行情
不過多數都比左外國或內地做
大學有位同學，FYP就係寫program預測股票，佢後來自己玩，用幾萬蚊本，贏左幾百萬。
另外MIT有人寫左個 AI 預測 bitcoin價格。
個algorithm係1秒預測未來十秒的價格，所以係玩高頻交易。
香港做ai有咩好做?
睇andrew ng coursera & deep learning 睇左幾個月，都無咩呢d 工
自己搞又無咩data
香港係 financial centre
逢親同金融有關的東西，都應該有得撈
應該有工 develop ai for 預測金融行情
不過多數都比左外國或內地做
大學有位同學，FYP就係寫program預測股票，佢後來自己玩，用幾萬蚊本，贏左幾百萬。
另外MIT有人寫左個 AI 預測 bitcoin價格。
個algorithm係1秒預測未來十秒的價格，所以係玩高頻交易。
香港做ai有咩好做?
睇andrew ng coursera & deep learning 睇左幾個月，都無咩呢d 工
自己搞又無咩data
香港係 financial centre
逢親同金融有關的東西，都應該有得撈
應該有工 develop ai for 預測金融行情
不過多數都比左外國或內地做
大學有位同學，FYP就係寫program預測股票，佢後來自己玩，用幾萬蚊本，贏左幾百萬。
另外MIT有人寫左個 AI 預測 bitcoin價格。
個algorithm係1秒預測未來十秒的價格，所以係玩高頻交易。
幾萬去到幾百萬要幾耐？
香港做ai有咩好做?
睇andrew ng coursera & deep learning 睇左幾個月，都無咩呢d 工
自己搞又無咩data
香港係 financial centre
逢親同金融有關的東西，都應該有得撈
應該有工 develop ai for 預測金融行情
不過多數都比左外國或內地做
大學有位同學，FYP就係寫program預測股票，佢後來自己玩，用幾萬蚊本，贏左幾百萬。
另外MIT有人寫左個 AI 預測 bitcoin價格。
個algorithm係1秒預測未來十秒的價格，所以係玩高頻交易。
幾萬去到幾百萬要幾耐？
用左幾年，佢玩洐生工具先咁快
當時200x年，佢主要投資中資股
用 relu 係因為可以有效解決vanishing gradient 既問題
用 relu 係因為可以有效解決vanishing gradient 既問題
啱啱睇到vanshing gradient
CNN無乜點講，RNN先有提到，但都係無講明ReLU係其中一個解決方法，淨係叫加residual同用LSTM
睇哂 但最後有d 唔明 有無例子?
例如, 我做一個決定有好多唔同既parameters
當我lunch買飯食 影響既因素有價錢,好唔好食,距離等等
而呢d 因素可以歸納做理性 or 感性
AI 有咩方法去learn 一個感性既parameters 呢??
捉棋就比較容易判斷一個決定係岩定錯 因為係純粹理性既判斷 最後輸嬴黎做reinforce就得
但現實上好多決定都有感性既因素 結果亦唔係輸同嬴既區別
咁d AI 可以點learn 到?
感性因素而家日本隻pepper有個情感機制
人類情感有一part係由大腦既hormone chemicals控制,最簡單例子係多巴胺,你個腦多左呢d物質會令你覺得開心,仲有幾十隻唔同的chemcial去做一個平衡
machine learning就係將呢d chemical composition量化左,個output就係人類既情感,pepper對眼會sense其他人既面部表情去知道當時佢既digital hormone level應該有咩情感
暫時情感AI呢樣野仲係起步階段,可能好快會有更新既算法出來
之前RTHK有條片拍pepper同人捉棋,pepper捉輸左,佢之前既algo preset左輸係會感到不快樂,但係佢見到d人就算輸左都好開心,佢就理解為雖然捉棋結果係輸左,但係捉棋既過程先係愉悅既所在點,之後佢就學識左enjoy捉棋呢個活動
深度人工網路
大家可能已經聽過deep learning深度學習呢隻字,其實呢樣野好簡單,就係多過一層的ANN架構,已經可以叫做深度人工網路
好多人會覺得,如果你層數愈多,咁個network咪愈準?
世上無免費的午餐,雖然大體上概念真係愈多層,預測真係會愈準,但係實際執行上,會有好多既問題出現
單睇一層既ANN架構,如果input係m咁多個,有k咁多個人工神經元,輸出返n咁多個output,咁總連結數就係m*n*k咁多個組合,係咁既情況之下,就算ANN幾十年前已經被design出來,就算去到今日既大型電腦,都唔係好計算到咁大既量級data
樓上呢個連接方式,又叫全連接(Fully Connect), 係現代既DL架構入面,一般只係classifier最後一層先會用。由於呢個過程相等於vector martix既inner product,所以又有人叫inner product layer。成個DL既架構又有人會叫Fully Connected Neural Network (FNN)
有另一隻neural network又係叫FNN, 全名係Feedforward Neural Network, 但係Convolution Neural Network都係後者之一, 所以FNN呢隻字都較為少見,又或者有人叫FC-ANN, fully connected artificial neural network,不過都只係名來的
呢種最簡單既ANN有個好大的問題,就係input layer既大小唔可以改變,咁樣對於唔同大小既影像/矩陣輸入就會好有侷限性
網路深度增加時的問題
傳統ANN最大既問題,就係深度增加時,除左訓練時間會增加之外,仲有一個好大的問題就係梯度消失問題(Vanishing Gradient Problem)同Overfitting問題
梯度消失
幾個chapter之前講過,ANN既訓練係靠SGD等反向傳遞去做optimization,而SGD既計算實際上係每一個neuron output得出誤差值後,用條activation function同hidden layer的微分值去得出修正值
淺層既ANN還好, SGD後去返input layer個修正數字仲有返咁上下大細,但深度達到N層既ANN架構,做反向傳遞就要微分N次咁多,即係話,有可能去到一半果陣個gradient 就會變曬0,成個network根本就訓練唔到
vanshing gradient可以用ReLU呢條activation function去改善,因為呢條function個微分值會大過sigmoid function係同一位置既微分值,不過深度增加後仍然有同樣問題出現
過擬合
Overfitting問題係指我地拎data訓練時,由於過度既訓練,導致訓練結果有偏差
利用過分深層既ANN做訓練,如果相應既training set 唔夠大的話,你好容易就會fit過龍
簡單的例子:
如果你要電腦學一張紙既特徵,但你得10張相,你又係咁叫部電腦自己係呢10張相中搵出"紙"既特徵,佢好有可能連張紙旁邊既筆呀間尺呀人呀都學埋入去個Network度
而點樣可以避免overfitting問題,之後講residual block果陣會講下新既NN有咩方式處理
深度人工網路
大家可能已經聽過deep learning深度學習呢隻字,其實呢樣野好簡單,就係多過一層的ANN架構,已經可以叫做深度人工網路
好多人會覺得,如果你層數愈多,咁個network咪愈準?
世上無免費的午餐,雖然大體上概念真係愈多層,預測真係會愈準,但係實際執行上,會有好多既問題出現
單睇一層既ANN架構,如果input係m咁多個,有k咁多個人工神經元,輸出返n咁多個output,咁總連結數就係m*n*k咁多個組合,係咁既情況之下,就算ANN幾十年前已經被design出來,就算去到今日既大型電腦,都唔係好計算到咁大既量級data
樓上呢個連接方式,又叫全連接(Fully Connect), 係現代既DL架構入面,一般只係classifier最後一層先會用。由於呢個過程相等於vector martix既inner product,所以又有人叫inner product layer。成個DL既架構又有人會叫Fully Connected Neural Network (FNN)
有另一隻neural network又係叫FNN, 全名係Feedforward Neural Network, 但係Convolution Neural Network都係後者之一, 所以FNN呢隻字都較為少見,又或者有人叫FC-ANN, fully connected artificial neural network,不過都只係名來的
呢種最簡單既ANN有個好大的問題,就係input layer既大小唔可以改變,咁樣對於唔同大小既影像/矩陣輸入就會好有侷限性
網路深度增加時的問題
傳統ANN最大既問題,就係深度增加時,除左訓練時間會增加之外,仲有一個好大的問題就係梯度消失問題(Vanishing Gradient Problem)同Overfitting問題
梯度消失
幾個chapter之前講過,ANN既訓練係靠SGD等反向傳遞去做optimization,而SGD既計算實際上係每一個neuron output得出誤差值後,用條activation function同hidden layer的微分值去得出修正值
淺層既ANN還好, SGD後去返input layer個修正數字仲有返咁上下大細,但深度達到N層既ANN架構,做反向傳遞就要微分N次咁多,即係話,有可能去到一半果陣個gradient 就會變曬0,成個network根本就訓練唔到
vanshing gradient可以用ReLU呢條activation function去改善,因為呢條function個微分值會大過sigmoid function係同一位置既微分值,不過深度增加後仍然有同樣問題出現
過擬合
Overfitting問題係指我地拎data訓練時,由於過度既訓練,導致訓練結果有偏差
利用過分深層既ANN做訓練,如果相應既training set 唔夠大的話,你好容易就會fit過龍
簡單的例子:
如果你要電腦學一張紙既特徵,但你得10張相,你又係咁叫部電腦自己係呢10張相中搵出"紙"既特徵,佢好有可能連張紙旁邊既筆呀間尺呀人呀都學埋入去個Network度
而點樣可以避免overfitting問題,之後講residual block果陣會講下新既NN有咩方式處理
實際操作上，要幾多data起底，先叫有得開個頭玩下?
香港做ai有咩好做?
睇andrew ng coursera & deep learning 睇左幾個月，都無咩呢d 工
自己搞又無咩data
香港無，過日本，好多唔洗識日文都請
香港有,但9成都係中資background
有冇留意咩行業? 我去angelist / linkedin睇又唔覺喎
我做緊機械人, 其實而家medical, ecommerce都好需要人, 科學園有一間叫sensetime,算係香港最大既AI公司,但係中資來
如果你想入外國公司,去外國啦,香港本土d人你同佢講樓上堆野好多都當你痴線佬又搵唔到錢
想走都要走到先得架，美國要visa, 大陸又要接到地氣，唯一出路其實係自己造有用既攞去賣，build product仲實際
我自己目標係想做saas收月費儲客，但係呢排又無咩idea，之前就做過唔同範疇
點睇 cozmo依隻野？
算唔算AI?
點睇 cozmo依隻野？
算唔算AI?
圖靈測試
呢個測試好簡單,你blind左咁去問一部機器,如果你無方法去分佢究竟係真人定係唔係,咁呢部機器就已經pass左圖靈測試,亦被認為係真正擁有人工智能
而家係無一部機器係成功通過圖靈測試,最近睇左一套電影,對圖靈測試有更深入既探究,講緊係究竟只係語言上通過圖靈測試是否真係可以被證明為有人工智能:
https://www.youtube.com/watch?v=15RZg4kp6qI
Ex_Machina 智能叛侶, netflix同google play都有,劇情一般但係就對咩係AI有比較深入既探討
係電腦岩岩發明既年代,所有同電算有關既基礎theory都好快速咁發展,當中最出名既要數人工智能之父約翰.麥卡錫1956年係第一次達特矛斯會議提出左「人工智能」一詞。佢既諗法同圖靈都係差唔多:
人工智能就是要讓機器的行為看起來就像是人所表現出的智能行為一樣。
但咁樣係咪就係真正既人工智能呢? 係哲學上又有另一個思想實驗,令唯心論同唯物論者對人工智能有唔同既理解
中文房間
如果麥卡錫同圖靈都係人工智能既唯物論派,咁約翰·希爾勒就應該係唯心論既代表人物
佢提出左中文房間呢個問題,呢個問題係關乎宇宙同人類既本質問題,不過呢樣野太複雜,呢度唔多講,介紹返個實驗先:
一個對漢語一竅不通，只說英語的人關在一間只有一個開口的封閉房間中。房間裏有一本用英文寫成的手冊，指示該如何處理收到的漢語訊息及如何以漢語相應地回覆。房外的人不斷向房間內遞進用中文寫成的問題。房內的人便按照手冊的說明，尋找到合適的指示，將相應的中文字元組合成對問題的解答，並將答案遞出房間。
事實上,房入面既人係完全唔識中文,佢只係按一d規律去達成「智能」既假像,而家既google/ siri 之類軟件好大程度都係做緊類似既野,係人工智能定義上,呢兩派仍然係爭論不休。不過,哲學問題通常都係知道左都唔會影響世界運作既野,咁我地focus返去d solid d既AI題目上面
高汁, 評已正圖靈測試
呢個測試好簡單,你blind左咁去問一部機器,如果你無方法去分佢究竟係真人定係唔係,咁呢部機器就已經pass左圖靈測試,亦被認為係真正擁有人工智能
而家係無一部機器係成功通過圖靈測試,最近睇左一套電影,對圖靈測試有更深入既探究,講緊係究竟只係語言上通過圖靈測試是否真係可以被證明為有人工智能:
https://www.youtube.com/watch?v=15RZg4kp6qI
Ex_Machina 智能叛侶, netflix同google play都有,劇情一般但係就對咩係AI有比較深入既探討
係電腦岩岩發明既年代,所有同電算有關既基礎theory都好快速咁發展,當中最出名既要數人工智能之父約翰.麥卡錫1956年係第一次達特矛斯會議提出左「人工智能」一詞。佢既諗法同圖靈都係差唔多:
人工智能就是要讓機器的行為看起來就像是人所表現出的智能行為一樣。
但咁樣係咪就係真正既人工智能呢? 係哲學上又有另一個思想實驗,令唯心論同唯物論者對人工智能有唔同既理解
中文房間
如果麥卡錫同圖靈都係人工智能既唯物論派,咁約翰·希爾勒就應該係唯心論既代表人物
佢提出左中文房間呢個問題,呢個問題係關乎宇宙同人類既本質問題,不過呢樣野太複雜,呢度唔多講,介紹返個實驗先:
一個對漢語一竅不通，只說英語的人關在一間只有一個開口的封閉房間中。房間裏有一本用英文寫成的手冊，指示該如何處理收到的漢語訊息及如何以漢語相應地回覆。房外的人不斷向房間內遞進用中文寫成的問題。房內的人便按照手冊的說明，尋找到合適的指示，將相應的中文字元組合成對問題的解答，並將答案遞出房間。
事實上,房入面既人係完全唔識中文,佢只係按一d規律去達成「智能」既假像,而家既google/ siri 之類軟件好大程度都係做緊類似既野,係人工智能定義上,呢兩派仍然係爭論不休。不過,哲學問題通常都係知道左都唔會影響世界運作既野,咁我地focus返去d solid d既AI題目上面
留名支持學術討論
樓主個Post好高質
其實Turing Test同Chinese Room Argument想講嘅嘢唔係咁簡單
Turing test個Setting 係:
你坐係一間房入面, 另外一樣你唔知係咩嘅嘢坐咗係另外一間房入面
你係睇唔到對面做緊啲咩
唯一可以溝通嘅就係你問佢問題
佢會答返你一啲嘢
如果經過一段時間嘅對答
你分得出佢同你唔一樣
咁對面嘅物種就同你唔一樣
但係如果你完全分唔出有咩分別
咁姐係話
你同對面嘅物種係冇分別
套用返係人工智能層面上
如果你分唔出佢係人工智能
咁你亦都冇辦法證明你唔係人工智能
因為事實上你同人工智能冇分別
但係Chinese Room Argument反駁嘅地方係指
你之所以識中文
係因為你本身識中文
但係人工智能好似識中文
係因為其實佢只係根住本手冊對譯回覆
事實上人工智能本身並唔識得中文
Chinese Room Argument其實係某程度上係想嘗試區分人同人工智能嘅分別
就係人係有意識 (consciousness) 嘅
咁但係Chinese Room Argument其實有不足嘅地方
就係事實上如果你唔打開間房
你係永遠都唔會知道人工智能本身並唔識得中文
咁但係你唔打開間房就唔會知道人工智能本身並唔識得中文
咁你又點證明你本身識得中文
意思姐係話
既然你打開個腦都唔會證明到你係本身識得中文
你又點證明你本身識得中文
而且
你又點證明你本身係有意識(consciousness)呢?
之後我會嘗試幫樓主解釋ANN嘅原理
樓主加油
利申: Psychology year 4