🧬 ATOM
工具與目標的層級錯位
Hierarchy Mismatch Between Tool and Goal
當系統優化的目標(代理變數)與實際想解決的問題(終極目標)處於不同層級、會產生以工具成功掩蓋目標失敗的現象。語言模型在文本空間預測準確、不代表理解物理世界因果;視覺生成模型生成逼真影像、不代表能在真實環境執行動作。
提出者:Goodhart & Musgrave(via Campbell's Law) · 1975
Atomly
Hierarchy Mismatch Between Tool and Goal
當系統優化的目標(代理變數)與實際想解決的問題(終極目標)處於不同層級、會產生以工具成功掩蓋目標失敗的現象。語言模型在文本空間預測準確、不代表理解物理世界因果;視覺生成模型生成逼真影像、不代表能在真實環境執行動作。
提出者:Goodhart & Musgrave(via Campbell's Law) · 1975