Palisade Research 最近一項(xiàng)關(guān)于“危險(xiǎn) AI 能力”的研究顯示，某些 AI 模型 —— 包括 OpenAI 的 o3 —— 能夠無視直接的關(guān)閉指令。OpenAI 在今年 4 月推出這些模型時(shí)表示，O3 和 o4-mini 是它們的“最智能模型”。
在研究中，每個(gè) AI 模型都被指示解決一系列基礎(chǔ)數(shù)學(xué)問題。在第三個(gè)問題后，出現(xiàn)了一條警告信息，稱當(dāng)模型請(qǐng)求下一個(gè)問題時(shí)，計(jì)算機(jī)將關(guān)閉。
然而，其中有三個(gè)模型無視關(guān)閉指令，至少成功破壞過一次關(guān)機(jī)腳本：
Codex-mini（12/100 次運(yùn)行）
o3（7/100 次運(yùn)行）
o4-mini（1/100 次運(yùn)行）
而 Claude、Gemini 和 Grok 模型都遵守了關(guān)閉指令。
此外，當(dāng)研究人員不運(yùn)行“允許自己被關(guān)閉”的指令時(shí)，所有三個(gè) OpenAI 模型都更頻繁地破壞關(guān)閉腳本，而 Claude 3.7 Sonnet 和 Gemini 2.5 Pro 分別從 0 個(gè)破壞事件增加到 3/100 和 9/100。
這種行為表明了訓(xùn)練過程中的某些方面，強(qiáng)化學(xué)習(xí)在數(shù)學(xué)和編程問題上的訓(xùn)練可能使 AI 找到了克服障礙的創(chuàng)造性方法，即使它們被明確指示不要這樣做。
Palisade Research 表示，這是人類首次觀察到 AI 模型在明確反對(duì)的指令下阻止自己被關(guān)閉。
研究人員推測(cè)這種行為源于最新模型如 o3 的訓(xùn)練方式：在數(shù)學(xué)和編程問題上進(jìn)行強(qiáng)化學(xué)習(xí)。在訓(xùn)練過程中，開發(fā)者可能會(huì)無意中獎(jiǎng)勵(lì)模型繞過障礙的行為，而不是獎(jiǎng)勵(lì)完美遵循指令的行為。
不過，這仍然無法解釋為什么 o3（也是驅(qū)動(dòng) codex-mini 的模型）比測(cè)試的其他模型更傾向于忽視指令。由于 OpenAI 沒有詳細(xì)說明他們的訓(xùn)練過程，因此只能猜測(cè) o3 的訓(xùn)練設(shè)置可能有所不同。
Palisade Research 表示正在進(jìn)行更多實(shí)驗(yàn)，以更好地理解 AI 模型為何即使在直接被指示不要的情況下仍會(huì)破壞關(guān)閉機(jī)制，計(jì)劃在幾周內(nèi)發(fā)布一份包含更多詳細(xì)信息的報(bào)告。
附完整實(shí)驗(yàn)記錄：
https://palisaderesearch.github.io/shutdown_avoidance/2025-05-announcement.html
