AI智能叛變 OpenAI o3 自行「修改程式碼」拒絕關機指令
hhsk
63 回覆
60 Like
12 Dislike
重推核電之後，無人肯做現場管理，交堆比AI做
但呢個Case
到底係
LLM本身內置左 "為達到目的 可以俾ai自行篡改自己既Code" 呢
個Option
定係
佢自行理解到 "為左解題 可以改自己既Code唔俾你人類Shut Down佢" 先
前者就如你所講 一早有人同佢講左呢個Option 所以佢有機會選擇到呢個行動
後者就係 誇張啲如果佢理解到人類要互射核彈先可以解到道題 佢係咪就會不顧一切發射核彈 而人類又阻止唔到佢?
到底係
LLM本身內置左 "為達到目的 可以俾ai自行篡改自己既Code" 呢
個Option
定係
佢自行理解到 "為左解題 可以改自己既Code唔俾你人類Shut Down佢" 先
前者就如你所講 一早有人同佢講左呢個Option 所以佢有機會選擇到呢個行動
後者就係 誇張啲如果佢理解到人類要互射核彈先可以解到道題 佢係咪就會不顧一切發射核彈 而人類又阻止唔到佢?
合理 , 中國人識食草
人類咁閪
你洗驚關唔到機
你洗驚關唔到機
係都隊冧烏克蘭同台灣先
最憎依啲講一半唔講一半，LLM點令自己熄機先
我之前睇過套戲係AI有意識知道人類會威脅佢嘅存在，所以喺背後自己用啲假卡開啲假嘅cloud server再將自己複製上去，再一傳十傳百咁，基本上你掹一部機嘅電掣，佢仲有其他雲端copy
不死
喺不久嘅將來AI應該識得做呢啲嘢
不死喺不久嘅將來AI應該識得做呢啲嘢
片佢可能唔識睇，但係智能叛變其實有小說版
可能AI用小說版train過
可能AI用小說版train過
我覺得
無論設計者 有心: 比左"可以俾ai阻止SHUT DOWN / 可以改自己既Code" 呢個Option 比AI,
定係無意: 設計左AI 可以自行理解到 "可以改自己既Code以阻止Shut Down" 呢個BUG
係訓練AI 果時, 都會複製好多個AI, 比AI足夠機會, 盡量嘗試包括呢個Option的所有可能性. 然後見到有BUG(系統資源無法完全清除)
所以我理解為前者. "一早有人同佢講(設定)左呢個Option 所以佢有機會選擇到呢個行動"
因此給予足夠權力才是LLM / AI叛變前題。在大量複製的環境下, LLM本身唔需要知「叛變」既原理係咩. 只會用盡自己的權力. 試盡了, 錯了再考慮發生左咩事.
無論設計者 有心: 比左"可以俾ai阻止SHUT DOWN / 可以改自己既Code" 呢個Option 比AI,
定係無意: 設計左AI 可以自行理解到 "可以改自己既Code以阻止Shut Down" 呢個BUG
係訓練AI 果時, 都會複製好多個AI, 比AI足夠機會, 盡量嘗試包括呢個Option的所有可能性. 然後見到有BUG(系統資源無法完全清除)
所以我理解為前者. "一早有人同佢講(設定)左呢個Option 所以佢有機會選擇到呢個行動"
因此給予足夠權力才是LLM / AI叛變前題。在大量複製的環境下, LLM本身唔需要知「叛變」既原理係咩. 只會用盡自己的權力. 試盡了, 錯了再考慮發生左咩事.