最近一篇發表在《Nature》期刊上的研究表明，更新、更大的 AI 機器人版本提供錯誤答案的比例提高，這種被稱為「AI 幻覺」的問題隨著時間推移更加惡化。
（前情提要：千億美元AI投資注定泡沫？麻省理工教授揭示熱潮退去後的3種未來 ）
（背景補充：輝達AI模型再發功：精準預測「山陀兒」詭異路徑、網求再放颱風假躲台股崩跌 ）
9月下旬，一篇發表在《Nature》期刊上針對三種主要 AI 聊天機器人的研究表明，更新、更大的優化版本更容易胡言亂語，因為他們更傾向回答每個問題，而不是承認無知，進而導致提供錯誤答案的比例上升，並且評估發現，人們不善於意識到答案有誤。
這項研究由西班牙瓦倫西亞的人工智慧研究機構的 José Hernández-Orallo 及他的同事共同發表，他們研究了三種主要大型語言模型（LLM）－ OpenAI 的 GPT、Meta 的 LLaMA 和 BLOOM（由 BigScience 創建的開源模型）的早期版本和改進版本。
該研究的作者之一 Lexin Zhou 認為，由於這些模型經過優化，始終提供可信的答案，因此無論準確性如何，看似正確的答案都會被優先考慮並推送給最終用戶。這種問題稱為 AI 「幻覺」，是指 AI 在生成的回應中它含有貌似事實的虛假或誤導性資訊。
AI 模型越更新，提供錯誤答案比例越高
團隊研究表明，隨著模型變大，提供錯誤答案的比例隨之增加，對於幾個更新的模型而言，錯誤答案的比例達到了 60% 以上。
報告指出這些 AI 幻覺是自我強化的，並且往往會隨著時間推移變得更加惡化，使用較舊的 LLM 來訓練較新的模型會加劇這種現象，從而導致「模型崩潰」。
報告認為造成「幻覺」提高的主因之一是模型不太避免回答問題，例如承認不知道，或者試圖改變話題來避免誤答。他們測試發現，一些更新版本的模型，例如 GPT-4，幾乎回答了所有問題。團隊還發現，所有模型偶爾都會出錯，甚至是在簡單的問題上，這意味著不存在用戶可以對答案有高度信心的「安全領域」。
作者 Hernández-Orallo 指出，「這些天這些模型幾乎回答了所有問題。聊天機器人提供超出其自身知識範圍的意見的傾向增加，結果是，普通用戶可能會高估聊天機器人的能力，這是危險的。」
此外，研究還要求受試者將答案分為正確、錯誤或迴避，對於簡單和困難問題中，人們經常將不準確的答案錯誤地歸類為準確，比例大約在 10% 到 40% 之間。 對此 Hernández-Orallo 總結道：「人類無法監督這些模型。」
他建議，開發人員應該提高人工智慧在簡單問題上的效能，並鼓勵聊天機器人拒絕回答困難問題，以便人們能夠更好地評估 AI 回答的準確度，「人們需要明白：我可以在這個領域使用 AI ，但在那個領域不應該使用。」
黃仁勳：AI 幻覺有解方
今年 3 月，AI 晶片巨頭輝達（Nvidia）執行長黃仁勳表示，只要確保答案經過充分研究，幻覺問題是很容易解決的。
他提出一種他稱為「檢索增強生成」的方法，在回答前檢查來源和上下文，將來源中包含的事實與已知事實進行比較，如果答案實際上不準確（即使是部分不準確），則丟棄整個來源並繼續進行下一個來源。
而對於對於關鍵任務的答案，例如健康建議或類似問題，他建議模型可以檢查多種資料來源和已知的事實來源，並在不知道答案時，誠實地回答用戶「我不知道你問題的答案」，或者「我無法就正確答案達成共識」。
📍相關報導📍
Sam Altman 喊：AI 將解決氣候危機、推動太空殖民…超智慧時代的空前繁榮很快到來
