事件
2026 年 6 月、監控服務商 Datadog 與卡內基美隆大學聯合發佈了「異常推理框架基準測試」（ARFBench）。這套測試涵蓋 63 起真實生產環境故障事件、750 道選擇題、142 項監控指標、538 萬個資料點。每道題目都經過人工審核、不包含任何 AI 合成資料。
結果令人出人意料：最先進的 AI 模型（包括 OpenAI o1、Claude 3.5、Gemini 2.0）的正確率都低於經驗豐富的人類工程師。有些情況下、差距甚至達到 20-30 個百分點。
這打碎了業界 2024-2025 年間盛行的一種敘事：「自主維運 AI 代理已經成熟，可以取代人類故障排查工程師」。
表面現象 vs 深層機制
### 表面現象 AI 在結構化任務上表現優異： - 分類、聚類、模式匹配 → 95%+ 準確率 - 已知根因的故障診斷（IF-THEN 規則明確）→ 80-90% 準確率 - 日誌解析、異常檢測 → 競爭級別表現
但在 ARFBench 的「開放式故障推理」上失利，說明了什麼？
### 深層觀察
1. 因果推理 vs 相關性識別 - AI 擅長：在已標籤資料上學習特徵相關性 - AI 弱點：推理「為什麼」這個指標跳上去，當根因有 5 個可能的互動機制時 故障排查的核心是因果圖譜（causal graph）的動態重構。一個工程師會想：「網路延遲上升，但 CPU 沒動；記憶體也正常；會不會是 GC pause 導致的網路超時重試？」這需要對系統內部架構、各元件間的時序依賴有心智模型。
2. 上下文穩定性 vs 分布外推理 - 訓練資料：過去 2 年內 Datadog 客户端記錄的故障 - 測試事件：新故障、邊界情況、硬體/軟體版本升級後的未見組合 AI 在分布內表現好；但實際工程環境中、50% 的故障都是「没见过的组合」。人类工程师靠的是類比（analogy）：「这看起来像 5 年前 MySQL 升级后的行为」。
3. 逐步假設淘汰 vs 一次性高維推理 - 人類工程師的思考是迭代的排除法： - 第 1 步：「不是網路」（因為 ping 正常） - 第 2 步：「不是記憶體洩漏」（洩漏曲線是線性、不是指數） - 第 3 步：「應該是應用層 deadlock」→ 驗證日誌 → 確認 - AI 則傾向在高維空間中一次性生成答案，無法有效地「證明排除」其他假設。Explainability 研究表明、大語言模型的「推理鏈」往往是事後合理化、而非真實因果歷程。
4. 時序完整性 vs 片段優化 - 故障排查牽涉到「時間軸重構」：這個跳尖發生在 14:23:17，往前追溯，13:50 時有一個慢查詢，再往前… - 向量嵌入 + Transformer 對長序列的處理能力有已知上限（context window、attention complexity）。當故障鏈路跨越多個微服務、涉及非同步事件時，AI 容易遺漏關鍵節點。
為什麼這很重要
這不是說「AI 永遠不會進步」。而是揭露了一個結構性事實：
能力邊界的陡峭性決定了取代週期。
- 在 ATM（自動提款機）取代銀行出納這類「規則明確、輸入標準化」的任務上，機器只需要線性改進就能取代人類。
- 但在需要因果推理、即時假設生成與檢驗、多源資訊整合的任務上（醫學診斷、故障排查、投資決策），「最後一哩」會變成一條永遠逼近但難以穿過的漸近線。
現實的中間態
ARFBench 的結果不是「AI 毫無用途」。而是指向一個務實的架構：
1. AI 做前置過濾：在 500 個可能根因中、用 AI 快速圈出前 20 個 2. 人類做最終診斷：工程師用已被濃縮的假設空間進行因果推理 3. 反覆互動：「告訴我為什麼排除這個根因」→ AI 學習人類的排除邏輯 → 下次更聰明
這才是接下來 5-10 年「人 + AI 維運」的真實形態。純粹自主的「AI 代理工程師」仍需時日。
更深層的反思
業界這兩年浮躁的敘事是：「只要資料夠多、參數夠大、AI 就能做任何人能做的事」。ARFBench 提醒我們：