撰文：顧家祈
這是 OpenAI 四巨頭的合照。
左邊是技術長 Mira Murati，現在暫任 CEO。
中間靠左是 Sam Altman，他旁邊是 Greg Brockman，昨天以前是 CEO 跟董事長身份，今天雙雙「被離職」。
右邊是這次發動閃電作戰的主要人物，Ilya Sutskever，也是 OpenAI 的首席科學家。
--
Ilya 是「AI 教父」 Geoffrey Hinton 實驗室的學生，沒有 Hinton 就沒有現在的類神經網路。沒有 Ilya 也不會有現在的 ChatGPT。
創辦 OpenAI 之前，Ilya 不管在 AI 的圖像辨識或是語言翻譯上面，都有超好的成果，2013 年進到 Google Brain 擔任科學家。
2015 年，Sam Altman 和 Greg Brockman 邀請 Ilya 一起創辦 OpenAI，Google 知道後，開出高於 OpenAI 兩三倍的薪水--接近兩百萬美元，想留住 Ilya，但 Ilya 還是決定投入當時仍然非營利的 OpenAI。
--
今年 ChatGPT 爆紅後，Ilya 跟 Sam 開始有一些矛盾出現，最主要是出在「安全性」上面。
Ilya 很早就覺得 AI 產生了「意識」，然後最近的發展讓他越來越不安，覺得我們對 AI 限制的工具比不上 AI 進步的速度，遲早會出現大問題。
所以他在今年七月時，在 OpenAI 內部成立了新的團隊，希望要好好研究「超級對齊」（Superalignment），來確保未來的「超級 AI」不會失控。
但 AI 實在太紅，到 OpenAI Dev Day 達到了高峰，Sam altman 也對外宣佈了要開始訓練下一世代的 GPT-5、並準備開始募資。
在這個關鍵時刻，Ilya 忍不住了，他的超級對齊預計是四年完成，如果超級 AI 在那之前出現，他無法保證這個智慧體是「足夠安全」的，所以聯合了董事會，發動了這次的罷免。
我在猜這可能也是董事會覺得 Sam 「不老實」的主要地方，你的首席科學家覺得超級 AI 還不安全，但你沒跟我們說。
--
看完相關資料，就連我是超級 AI 愛好者，都覺得好像可以慢一下下比較好。
Ilya 不是一般人，他對 AI 的理解也不是半吊子，他的判斷是能夠限制 gpt-4 的機制限制不了 gpt-5，這件事我選擇相信他。
那 gpt-5 需要什麼樣的「超級對齊」能力呢？ Ilya 心中有答案，他說最好是「能像父母看待孩子那樣看待人類的 AI」。
但他並不是反對「超級AI」出現，他的前提是「要有更多優秀的人工智慧專家」，他認為只要有足夠多的使用者跟專家，大家一起展望 AI 的未來、討論「我們希望 AI 是什麼樣子」，到時將會出現「非常親近人類的超級AI」，那時人類就不用擔心會滅亡。
--
很難想像下一代 AI 到底是多強大，以至於讓 Ilya 這樣的專家會這麼擔心、甚至用激烈的手段來阻止開發。
但如果代價是人類毀滅的風險，那...Sam 你先休息一下，超級 AI 晚點出來我 OK 😂
至於「超級對齊」具體應該怎麼做，Ilya 也有想法，應該會是「以 AI 治 AI 」的路線，需要先打造一個能「自動對齊」人類價值觀、「喜歡人類」的強大 AI，然後透過大量的算力進行自動對齊。
AI 領域真是越來越有趣了，Ilya 甚至認為 AI 已經是「非生物」的生命體，改天再來整理他對 AI 的更多想法。
（以上分享沒有確定的消息。如有雷同，純屬巧合。）
