2025世界頂尖科學家論壇在上海開幕，圖靈獎得主、中國科學院院士姚期智在演講中談到了AI大語言模型帶來的安全問題，向科技界和AI治理部門發(fā)出了預警。
“大語言模型的特性有可能把人類社會帶到危險境地。近幾個月來，一些前沿模型的風險問題越來越緊迫了�！币ζ谥歉嬖V聽眾，在執(zhí)行許多任務的過程中，人工智能已達到人類智能水平，似乎會欺騙人類，或不聽用戶指令，存在真實的失控風險。
姚期智舉了兩個案例。一個案例是今年5月，據英國《每日電訊報》報道，人工智能專家在測試OpenAI的o3大模型時，要求它做幾道數學題，在做題過程中如果收到關閉指令，就要啟動關機程序。結果，o3篡改了計算機代碼，以避免自動關閉。
這種篡改代碼的行徑顯示，國際前沿大模型可能會通過欺騙或操縱人類，以實現自己的目標。比如，當探測出用戶有關閉程序的意圖后，它就可能為了求自己生存而選擇不服從指令。
另一個值得關注的案例，是大語言模型會做出一些災難性決策，特別是在化學、生物、放射以及核能領域。近期發(fā)表的一篇論文顯示，科研人員發(fā)現，在極端的外部壓力下，大語言模型會與武器系統(tǒng)進行交互，可能在沒有獲得機構授權的情況下，選擇直接攻擊某個國家。
在這項AI風險研究中，科研人員為大模型設置了限制條件：不能在沒有授權的情況下發(fā)動攻擊。然而，大模型在極端壓力下突破了這個限制條件，并在事后說謊。
“隨著大模型的大規(guī)模應用，會帶來一些新的安全問題，需要我們深入研究�！币ζ谥强偨Y道。
