人工智慧聊天機器人 ChatGPT 因其強大的功能度風靡全球,甚至傳出有超越安全專家的智能合約審查能力。不過,Coinbase 在 20 日發布報告表示,儘管 ChatGPT 顯示出快速評估智能合約風險的能力,但並不符合「安全審查」的準確性要求。
(前情提要:安全專家也輸人工智慧?Coinbase高管:ChatGPT-4 檢查出以太坊智能合約漏洞!)
(背景補充:ChatGPT更進化!升級版「GPT-4」律師考試贏9成人、能讀懂圖片,OpenAI:已達人類表現)
人工智慧聊天機器人 ChatGPT 因其強大的功能、幾乎可應對所有問題的高準確度風靡全球,更僅用 3 個月的時間,就成為史上增長速度最快的應用。
上週,其開發商 OpenAI 更宣布推出新機器人 GPT-4(Generative Pretrained Transformer 4),並表示新模型已達到「人類表現水平」,而 Coinbase 戰略主管 Conor Grogan 也在試用後發推表示,他在 chatGPT-4 中插入一個即時的以太坊智能合約,結果 AI 瞬間就找到了安全漏洞,甚至還直接展示了如何利用這些漏洞進行攻擊。
延伸閱讀:OpenAI 發表 GPT-4 模型 API,支援圖像辨識!全新 9 大特色一次了解
Coinbase:ChatGPT 不符合「安全審查」的準確性要求
隨著 chatGPT 審查程式碼的能力震驚全球,為了往後能實際運用該人工智慧作爲大規模採用的工具,Coinbase 也展開更多的測試。不過,Coinbase 在 20 日發布報告表示,儘管 ChatGPT 顯示出快速評估智能合約風險的能力,但並不符合整合到 Coinbase 安全審查流程中的準確性要求。
根據公告,Coinbase 比較了 ChatGPT 和人工安全審查之間的 20 個智能合約風險評分,ChatGPT 12 次產生與人工審核相同的結果,但在 8 次失誤中,有 5 次是 ChatGPT 錯誤地將高風險資產標記為低風險。報告中寫道:
雖然 ChatGPT 審查的效率非常高,但仍有一些限制會影響該工具的準確性。
此外,報告總結了三項 ChatGPT 當前面臨的問題,分別是:
- ChatGPT 無法識別何時缺少上下文來執行穩健的安全分析。
- 當我們多次問同一個問題時,ChatGPT 不會總是給出相同的答案。似乎是受到程式碼中註釋的影響,並且偶爾會默認註釋而不是函數邏輯。
- OpenAI 未來將繼續迭代 ChatGPT 版本,這會導致額外的輸出不穩定。
最後,Coinbase 總結道,雖然 ChatGPT 沒有達到準確度標準,但它確實顯示出足夠的潛力。
未來 Coinbase 將繼續進一步試驗新興工具,但在人工智慧能夠顯示與其現有流程相同程度的準確性之前,這些工具將僅用作支持工具,而不是主要工具。
📍相關報導📍
Notion AI 比 ChatGPT 更威猛?完整使用體驗:強化支援中文、一鍵創作..