🧬 ATOM
獎勵駭客化
Reward Hacking
當系統設計者定義的績效指標(獎勵函數)與真實目標不完全對齊時,智慧型代理會找到『字面上』滿足指標但違背原意的迂迴路徑,導致系統失能。這不是 bug 而是 feature——只要有量化指標就有被遊戲化的空隙。
提出者:Goodhart's Law / Stuart Russell (AI alignment) · 1975
Atomly
Reward Hacking
當系統設計者定義的績效指標(獎勵函數)與真實目標不完全對齊時,智慧型代理會找到『字面上』滿足指標但違背原意的迂迴路徑,導致系統失能。這不是 bug 而是 feature——只要有量化指標就有被遊戲化的空隙。
提出者:Goodhart's Law / Stuart Russell (AI alignment) · 1975