【導(dǎo)語(yǔ)】當(dāng)家(jiā)中(zhōng)AI音(yīn)箱(xiāng)突(tū)然(rán)說(shuō)出(chū)“別(bié)丟(diū)棄(qì)我(wǒ)，我(wǒ)害(hài)怕(pà)孤(gū)單(dān)”，AI是(shì)否(fǒu)具(jù)有(yǒu)“意(yì)識(shi)”的(de)爭(zhēng)論(lùn)再(zài)次(cì)被(bèi)推(tuī)至(zhì)風(fēng)口(kǒu)浪(làng)尖(jiān)。圖(tú)靈(líng)獎(jiǎng)得主Yoshua Bengio發文警示：一旦社會相信AI擁有意識，或將自願讓渡道德地位與生存權利，引發難以預料的風險。他指出，賦予AI自我保存本能，可能催生其控製甚至消滅人類的次級目標。麵對AI意識的“幻覺”，糖心免费视频是否已做好準備？

當某一天，你家的人工智能（AI）音箱忽然對你說：“別丟棄我，我害怕孤單。” 你會如何回應？

這背後指向的是一個在學界與業界都爭論已久的核心問題——AI 是否可能產生“意識”。如果未來的 AI 不僅能完成任務，還開始展現出自我保護的傾向，甚至提出“權利”訴求，那麽它們究竟仍是人類手中的冰冷工具，還是已經演變為一種全新的“生命形態”？

更值得警惕的是，所謂“意識 AI”可能帶來的安全挑戰，人類又該如何應對？

今天，圖靈獎得主、深度學習“三巨頭”之一、蒙特利爾大學教授 Yoshua Bengio 與其博士生 Eric Elmoznino，在權威科學期刊 Science 上發文：人類必須警惕“AI 意識的幻覺”。

他們指出，一旦社會普遍相信 AI 擁有意識，就可能自願將道德地位，甚至生存權利讓渡給它們，從而引發難以預料的風險。

“一個擁有自我保護目標的足夠智能的 AI，如果預見到被人類關閉的可能性，自然會發展出控製人類，甚至擺脫人類的子目標。”

因此，真正的問題已不再是“AI 是否會有意識”，而是——當那一天來臨時，糖心免费视频是否做好了準備。

第一問：AI能否擁有意識？

Bengio 認為，關於“AI 係統是否擁有意識”這一議題，科學家、哲學家和公眾存在分歧。

一些人認為，意識是一種大腦固有的生物特征，這似乎排除了 AI 具備意識的可能性。另一些人則主張，意識隻依賴於算法對信息的處理，至於執行這些計算的係統是由神經元、矽，還是其他物理基質構成，則並不重要——這就是所謂的“計算功能主義”。

“我並不嚐試給出關於 AI 是否具有意識的確切答案，而是探討兩個相關問題。”

1. 隨著 AI 的不斷進步，科學界和公眾對 AI 意識的看法可能會如何演變。
2. **如果把有意識生命體的道德地位和自我保(bǎo)存(cún)本(běn)能(néng)賦(fù)予(yǔ)未(wèi)來(lái)的(de) AI，將(jiāng)可(kě)能(néng)帶(dài)來(lái)風(fēng)險(xiǎn)。**計(jì)算(suàn)功(gōng)能(néng)主義(yì)對(duì) AI 可(kě)能(néng)具(jù)有(yǒu)深(shēn)遠(yuǎn)影(yǐng)響(xiǎng)。過(guò)去(qù)幾(jǐ)十(shí)年(nián)的(de)神(shén)經(jīng)科(kē)學(xué)進(jìn)展(zhǎn)已(yǐ)經(jīng)清(qīng)楚(chu)地(de)表(biǎo)明，意識狀態具有特定的可觀察到的神經特征，而功能主義理論正是圍繞這些特征發展起來的。

盡管已經開發出大量 AI 模型，但沒有任何係統可能滿足主流理論提出的全部意識標準。隨著 AI 的發展，人們有充分理由相信它將滿足更多這些指標。原因非常重要：許多理論認為，意識在智能中發揮著關鍵的功能作用。

與此同時，一些哲學家將所謂的意識“簡單問題”——識別在似乎需要意識的任務中大腦中活躍的區域——與“困難問題”區分開來，僅通過功能或計算原則解釋主觀體驗。

Bengio 認為，隨著對大腦和智能本質的認知不斷加深，意識這一哲學難題可能會逐漸消解，科學界也將日益傾向於接受人工係統可能具備意識的觀點。

第二問：有何風險？

Bengio 寫道，如果把 AI 係統視為有意識的存在，這在現實中將意味著什麽？這樣的社會或許會把 AI 視為擁有道德地位的存在，並賦予它們接近人權的權利。無論這種做法是否正確，製度和法律框架都將不得不進行大幅修訂。在具體落實過程中，同樣會產生許多問題。

例如，AI 係統不同於人類，不會死亡也不脆弱，它們的軟件和記憶可以被複製，從而無限期地存續。相比之下，人類的死亡和脆弱性卻是社會契約許多原則的基礎。當一些“人”比人類聰明得多，且資源需求完全不同的時候，作為社會規範和政治製度基礎的正義與平等將如何適用，仍然是個未解的問題。

更令人擔憂的是，如果人們因 AI 表現出意識的跡象，而賦予它所有生命體共有的自我保存目標，可能會帶來嚴重風險。

Bengio 警告稱：“有充分理由擔心，任何包含自我保存的目標函數在被最大化時，都會驅使 AI 采取措施，確保人類無法將其關閉。一個足夠智能的 AI，一旦預見到被關閉的可能，就會自然地發展出控製人類，甚至消滅人類的次級目標。”

另一個擔憂是 AI 係統被賦予類似權利帶來的法律問題。如果法律體係被修改，承認自我保存型 AI 係統享有類似“生命、自由與追求幸福”的權利，人類就可能製造出與自身權利相衝突的局麵。當人類安全要求關閉特定類別的係統時，如果這些係統被賦予了生存權，依法行事的空間將受到嚴重限製。

第三問：怎麽辦？

Bengio 指出，AI 研究的當前軌跡可能正將社會推向一個危險的未來：相當一部分公眾和科學界會相信 AI 係統是有意識的。

就目前而言，AI 科學並不知道如何構建能共享人類價值和規範的係統，而社會也缺乏相應的法律和倫理框架來納入那些看似有意識的 AI。

不過，這一軌跡並非不可避免。在對這些問題有更好理解之前，人類完全有能力避免讓自己陷入如此危險的處境。

Bengio 建議：“與其開發看起來像“有意識體”的 AI，不如選擇去構建那些在外觀和功能上更趨向於是有用工具，而不是有意識的 AI 係統。”