📰 今日 AI / Vibe Coding 新聞
更新時間：2026-10-26 00:00 HKT
AI / Vibe Coding 每日新聞選輯 — 2026-10-26
> 本期為《Evaluating "Vibe Coding"》MSc capstone 專案的第 33 期每日新聞選輯，取材窗口為 2026-10-12 至 2026-10-26；7 則精選均已逐一開啟原始頁面核對標題、作者、日期與量化結果，6 個 arXiv ID 全數通過 verify_arxiv.py 標題關鍵字比對，且已比對前 32 期 JSON 的 132 個 arXiv ID 與 192 個既有 URL 後去重（本期無重複）。今日主軸是「瓶頸不在被評分的程式碼，而在評分鏈的每一個接點」：本週 arXiv 的週一公告批次（cs.SE 30 篇新提交、cs.AI 79 篇、cs.CR 27 篇）幾乎同時提供四條互相獨立的證據——(a) 餵給 LLM 評分器的靜態分析「證據」本身可被方向性不對稱地左右（false assurance 使真實漏洞偵測率掉最多 19 個百分點）；(b) 聚合覆蓋率指標會系統性遮蔽 LLM 生成測試的行為義務盲區；(c) 同一模型在不同 harness 下 SWE-bench 解決率最多相差 44 個百分點；(d) 真實世界 Copilot 軌跡有 58% 完全無人類介入——也就是說，本論文必須證明的不是「vibe coding 產出有幾個缺陷」，而是「本論文用來數缺陷的那把尺是否可信」。本期亦從前一期附錄的候選佇列中正式升級一則 Anthropic × Theorem 的形式化驗證報告，以補上「比機率式評分更強的證據基質」這一端。
1. Trusting the Tool: Asymmetric Deference of LLM Vulnerability Auditors to Static-Analysis Evidence
– 出處 / 發表日期: arXiv 預印本（cs.SE；於 cs.CR 交叉列示），首次提交 2026-10-23，收錄於 2026-10-26 arXiv 公告批次；狀態：預印本，投稿至 IEEE Access（33 頁、9 圖、5 表） – 作者: Liu, ZhiHong; Gao, Shuyao – URL: https://arxiv.org/abs/2610.32876 – 重點摘要: 1. 作者為 C/C++ 建置 intraprocedural analyser 以產生 proof obligation，再對 PrimeVul 的漏洞／修補函式配對做六種「僅註記不同」的證據條件審計（含偽造 assurance：宣稱某個缺失的檢查存在；以及偽造 alarm：宣稱某個已加的檢查缺失），涵蓋 916 組配對、四個互斥集合、四家廠商的 11 種模型設定、16,572 次審計，全程不訓練、不微調任何模型。 2. 真證據幾乎不提升準確率（+0.02）；但偽造證據的方向性極不對稱——相對於同一操作的真註記，偽造 assurance 使真實漏洞偵測率最多下降 19 個百分點，偽造 alarm 則從未顯著降低準確率，且被評分器「駁斥」的頻率高得多；在 7 個新模型上的內部預先註冊複製確認此不對稱（平均 asymmetry +0.16，95% CI +0.10 至 +0.24）。 3. 在審計提示中加入「不要輕信工具」的指示無法可靠降低服從（最佳版本未能複製）；唯一有效的手法是把每條聲明拆成獨立呼叫逐一驗證並出示已被駁斥的聲明，在偽造 assurance 條件下使準確率提升 12 個百分點（p=0.002）且在真證據下無損失（第二個模型效果較小且未達顯著）。 – 與本論文關聯: RQ1 + RQ2，且是本論文方法論的直接對撞。這篇證明「把 SAST 輸出當成 evidence 餵給 LLM 評分器」這個常見 pipeline 設計，其失效不是隨機雜訊而是方向性可被誘導的：只要能在證據註記中植入 assurance，真實缺陷就會被系統性「洗白」。本論文的 RQ1（SAST 覆蓋率）若只報覆蓋率數字而不報「覆蓋率對評分器決策的敏感度」，便無法主張其量測有效；作者提出的「逐條聲明獨立驗證 + 出示駁斥項」亦直接成為 RQ2 效度章節可採用的干預設計。
2. Who Verifies the Tools? How Warped Formatters Mislead Agents and Their Verifiers
– 出處 / 發表日期: arXiv 預印本（cs.AI；於 cs.SE 交叉列示），首次提交 2026-10-23，收錄於 2026-10-26 arXiv 公告批次；狀態：獲 NeurIPS 2026「Who Verifies the Agents?」工作坊錄取為 poster（non-archival，12 頁、3 圖） – 作者: Jeffries, William – URL: https://arxiv.org/abs/2610.32110 – 重點摘要: 1. 作者在紐約 Pilsudski Institute 的 production RAG 研究系統中發現，各個工具的計算本身完全正確，但其輸出 formatter 會省略搜尋上限、結果數上限或識別碼命名空間，導致 agent 對使用者給出錯誤或不完整的資訊；作者另在 code review 發布前重建了一個未標示的估算錯誤作為對照組。 2. 僅把 formatter 的措辭改為完整揭露遺漏資訊，就足以改變 agent 的主張與 verifier 的接受行為：四種失效型態中有三種的無根據主張大幅下降，某一項測試中 verifier 從 90/90 全數接受錯誤答案變為 90/90 全數拒絕；對照組顯示 verifier 在拿到遺漏事實並被要求判斷正確性時確實有能力抓出錯誤。 3. 作者公開審計提示詞後，指向舊版自家系統可重新發現仍存活的缺陷並額外找出 12 個未編目問題，指向 OpenClaw 與 Hermes 兩個知名開源 agentic 系統亦發現 formatter 扭曲，並已提交修復 PR（OpenClaw 的修復已合併）。 – 與本論文關聯: RQ2 + RQ4。這把「評分器不可靠」的責任從評分器本身移到評分器的輸入管線：當 verifier 與 agent 共用同一份被省略上下文的工具輸出時，兩者會產生相關性極高的共同錯誤，而這類錯誤在任何「只看最終 verdict」的評分設計中都不可見。本論文若以 LLM-as-Judge 評分 vibe coding 產出，必須明確記錄 judge 所見的每一份工具輸出（及其截斷條件），否則無法區分「模型不知道」與「模型被告知的東西本來就不完整」。
3. Beyond Coverage and Mutation: A Blind-Spot Analysis of LLM-Generated Unit Tests
– 出處 / 發表日期: arXiv 預印本（cs.SE），首次提交 2026-10-23，收錄於 2026-10-26 arXiv 公告批次；狀態：預印本（未標註同儕審查） – 作者: Shi, Xiaoyu; Luo, Wenqiang; Yang, Boyang; Tian, Haoye – URL: https://arxiv.org/abs/2610.32548 – 重點摘要: 1. 作者提出以 Arrange-Act-Assert 行為義務為基礎的 BlindSpotEval 框架（三項指標：Boundary-Value Adequacy、Control-Flow Adequacy、Oracle Strength，加上執行可靠性評估），並建置複雜度分層的 ObligBench（895 個複雜函式 + 700 個低複雜度 Java 函式，附原始碼側義務標註）。 2. 在 四個 LLM × 四種提示策略共 14,320 個測試上，錯誤斷言佔測試失敗的 15.6%，顯示覆蓋率本身無法確立 oracle 正確性；可執行測試中 null／負值／空值參數的覆蓋率僅 34.8%／23.8%／38.8%，而 boolean 平均覆蓋率超過 93%；catch block 與 default group 的 Control-Flow Adequacy 僅 0.100 與 0.312。 3. LLM 生成測試重現了人類測試的 happy-path bias，集中於正常輸入與預期流程；且此一盲區在低複雜度函式中同樣出現，顯示程式碼複雜度本身無法解釋盲區。 – 與本論文關聯: RQ1。這是本週對「覆蓋率作為安全代理指標」最直接的系統性反證：即使把覆蓋率拉到高位，未被檢查的行為義務（邊界值、例外路徑、oracle 強度）仍可能佔相當比例，而這類盲區與複雜度無關，因此無法用「挑難的案例」來迴避。本論文在設計 RQ1 的 SAST 覆蓋率量測時，必須把「覆蓋率 × 行為義務 × oracle 正確性」三者拆開報告，並注意 LLM 產出的測試與待測產出同源所帶來的系統性偏誤。
4. Pairing Matters: Performance, Failures, and Efficiency in Lightweight Coding Agents
– 出處 / 發表日期: arXiv 預印本（cs.SE），首次提交 2026-10-23，收錄於 2026-10-26 arXiv 公告批次；狀態：預印本（未標註同儕審查），並釋出完整實驗紀錄與分析工件 – 作者: Zhao, Lu; Poskitt, Christopher M.; Lo, David – URL: https://arxiv.org/abs/2610.32131 – 重點摘要: 1. 作者以全因子設計評估 6 個開源 harness × 3 個輕量開源權重模型 × 100 個 SWE-bench Verified 任務 = 1,800 次評分執行，在共用的 serving、metering 與 grading 條件下進行，刻意對照既有排行榜只報固定 harness–model 組合的做法。 2. 同一個模型在不同 harness 下的解決率最多相差 44 個百分點，且 harness 的排名會隨模型而變；對 1,100 次未解題執行套用證據式失敗分類後可見，主導失敗型態在不同配對之間並不通用。 3. 效率同樣取決於配對：即使同為 model-directed loop 型 harness，每個已解決任務所耗的計費 token 仍可相差逾 20 倍；作者據此主張 harness–model 選擇本身即是部署決策。 – 與本論文關聯: RQ3。這為本論文的跨模型比較提供必須揭露的混淆因子清單：若 harness 未被固定、被報告且被納入變異數，「某模型較弱」這個結論可能只是 harness 差異的投影（本週最大差距達 44 個百分點，遠大於多數論文報告的模型間差距）。本論文的 RQ3 基準設計必須採全因子或至少平衡配對，並把「每任務 token 成本」與「失敗型態分布」與解決率一併報告。
5. Large-Scale Study of GitHub Copilot Trajectories
– 出處 / 發表日期: arXiv 預印本（cs.SE），首次提交 2026-10-23，收錄於 2026-10-26 arXiv 公告批次；狀態：預印本（未標註同儕審查） – 作者: Sohail, Izah; Kurmantayev, Yerdanat; Mahmoud, May; Nadi, Sarah – URL: https://arxiv.org/abs/2610.32313 – 重點摘要: 1. 作者指出多數 coding agent 研究依賴 SWE-bench 這類「單一自動軌跡」基準，與真實世界開發者與 agent 互動協作的樣態不符，因此分析 7,581 個具公開 session 資料的 Copilot 貢獻 PR。 2. 58% 的 Copilot PR 完全沒有任何人類介入；即使有介入，協作也極短，Human-AI loop 中位數僅 2 輪；已被合併的 PR 傾向有更少的初始軌跡迭代次數。 3. 首次人類介入之後的軌跡出現 20.8 次迭代與 8.4 分鐘的顯著下降，但更晚的介入則迭代幾乎不減、耗時亦無顯著變化——意謂絕大部分工作其實發生在第一段軌跡；開發者常以小幅聚焦請求介入，且可能需跨同一 PR 的多個版本反覆引導。 – 與本論文關聯: RQ4。這是本週對「受測情境是否代表真實使用」最具體的量化證據：若樣本 58% 為零人類介入、且協作中位僅兩輪，則以 SWE-bench 式「人不在場」情境推論團隊導入效益，會系統性高估 agent 的自主程度、低估人類覆核的介入點在哪裡。本論文在 RQ4 的持份者整合敘事中，應以此類真實軌跡分佈取代「開發者全程監督」的隱含假設。
6. Beyond Correctness: How Novice Software Engineering Students Exercise Oversight of Generative AI
– 出處 / 發表日期: arXiv 預印本（cs.SE），首次提交 2026-10-23，收錄於 2026-10-26 arXiv 公告批次；狀態：預印本（10 頁、3 圖、2 表） – 作者: Shakiba, Ali; Chaffey, Thomas – URL: https://arxiv.org/abs/2610.32118 – 重點摘要: 1. 作者以結構化 AI Journal 分析 145 名資深軟件工程學生留下的 962 輪 student–AI 互動，其中 172 次為學生主動宣告的介入；研究對象正是「AI 輔助下把工作重心從產出轉向評估與監督」的初級使用者。 2. 介入理由高度偏向適配性而非錯誤：74.4% 的介入針對 fitness（產出是否適合此工程任務），僅 16.9% 涉及 correctness（明確錯誤），顯示監督行為並不等同於缺陷偵測。 3. 可分類介入中，學生最常 51.0% 直接修改生成產出、28.2% 改寫提示詞，兩者皆與工程適配性相關；並發現被視為含有輕微瑕疵的產出，其評估信心顯著低於被視為完美的產出。 – 與本論文關聯: RQ4 + RQ2。這為「vibe coding 的缺陷為何未被即時攔下」提供受試者層面的解釋：初級使用者的覆核多數在問「這能不能用」，而非「這對不對」，因此以最終產出是否存在可觀察缺陷作為主要指標，會系統性低估「看似合理但實際有缺陷」的產出比例。本論文 RQ4 的受試者畫像與覆核行為分類，應明確區分適配性判斷與正確性判斷兩種監督型態。
7. LLMs are making formal software verification feasible at a much larger scale
– 出處 / 發表日期: Anthropic Research（與 Theorem 合作），發表於 2026-10-22；Hacker News 460 分（本期由前一期附錄候選佇列升級為精選） – 作者: Lucas, Keane; Lynch, Aengus; Tong, Luna; Champine, Luke; Straznickas, Zygi; Distefano, Dino; Agrawal, Harshikaa; Ben Asher, Evyatar; Howell, Ava; Jawhar, Sami; Rohlf, Chris; Zeldovich, Nickolai; Carlini, Nicholas; Agrawal, Rajashree; Gross, Jason – URL: https://www.anthropic.com/research/formal-verification – 重點摘要: 1. 與 Theorem 合作，Claude 在數週內對 123 個 OSS-Fuzz 函式庫的 239 個 entry point 產出約 1.8 億行 Rocq 形式化證明（單一證明平均約 60 萬行，對應中位長度 18,000 條 RISC-V 指令的已編譯二進位），並證明這些程式在 64 MB 以下所有輸入皆不會崩潰；作者強調這是首次大規模將形式化驗證套用於生產軟體的組譯碼層級。 2. 期間發現的缺陷多為 fuzzer 難以觸及者——counter underflow 只在約 20 MB 且具罕見特定版面時觸發越界寫入、某影像解碼器的越界讀取需 64 MB 輸入與逾 2 GB 記憶體（fuzzer 輸入典型上限為 1 MB），並重新發現 libexpat 的 CVE-2026-56132；另有「永不崩潰」但邏輯錯誤的缺陷（如某項檔案載入限制功能未被強制執行）。 3. 作為成本對照，作者指出 seL4 kernel 實作耗 2 個 person-years、形式化驗證卻需 20 個 person-years；而另以 Verus 證明 Rust 版 Python 直譯器符合 CPython 語義，實測 170 萬個隨機生成的 Python 程式與 CPython 行為一致率 99.95%；多 agent 共用證明工作區時，token 用量減少 17%，且有 agent 在單獨作業曾失敗的任務上因此成功。 – 與本論文關聯: RQ1。這提供本論文 SAST 覆蓋率之外的「證據強度階梯」：覆蓋率（機率式、會漏）、審計日誌（機率式、可被誘導）、機器檢查的證明（可重放、對 trusted component 之外為確定性）。若本論文能把 vibe coding 產出的驗證證據鏈定位在這條階梯上的具體位置，並說明「哪一級證據才足以支撐安全主張」，其對 RQ1 的貢獻將從「量到多少缺陷」升級為「量到多少可辯護的信心」——這也呼應 2026-10-24 週期所提出的、把研究重心由產出品質轉向量測可辯護性的方向。
對本論文(Implications for the Capstone)
本期 7 則選材呈現一個共同訊號：vibe coding 的評估瓶頸已從「模型產出品質」移轉到「評分鏈本身的構造」——餵進 LLM 評分器的靜態分析證據可被方向性誘導（第 1 則：偽造 assurance 使真實漏洞偵測率掉 19 個百分點，而真證據只值 +0.02）、被省略上下文的工具輸出會同步污染 agent 與 verifier（第 2 則：verifier 由 90/90 接受轉為 90/90 拒絕）、聚合覆蓋率會遮蔽行為義務盲區（第 3 則）、harness 選擇可使同一模型解決率移動 44 個百分點（第 4 則），而真實軌跡有 58% 完全無人類介入（第 5 則）、初級使用者的覆核又以適配性而非正確性為主（第 6 則）。對 RQ1，這要求本論文把「覆蓋率」拆解為覆蓋率 × 行為義務 × oracle 正確性，並以第 7 則的形式化證明作為證據強度上限的對照軸，而非單純報總數；對 RQ2，第 1、2、6 則共同證明評分器的失效可分為「證據方向性」「輸入管線完整性」「受試者覆核型態」三層，本論文的 LLM-as-Judge 效度章節必須逐層分離並各自給出可重放的驗證程序（如逐條聲明獨立驗證）；對 RQ3，第 4 則要求 harness 必須被固定、被報告並納入變異數，否則跨模型結論將無法歸因；對 RQ4，第 5、6 則要求把「零介入」與「適配性導向的覆核」納入持份者整合模型，修正 SWE-bench 式情境帶來的高估。至此，本論文的方法論主張可明確表述為：不證明「vibe coding 安全或不安全」，而是證明「在何種評分配置與何種證據強度下，關於 vibe coding 的安全主張是可辯護的」——這正是 2026-10-24 週期提出、並在本期獲得機制性支撐的研究立場。
編按：本期選材共 7 則，為 6 篇 arXiv 預印本（全部收錄於 2026-10-26 arXiv 週一公告批次）與 1 則廠商第一手研究報告；6 個 arXiv ID 均通過 verify_arxiv.py 標題關鍵字比對，7 個 canonical URL 均已實際開啟核實，所有數字直接引自論文摘要或文章內文，無任何推估。已比對前 32 期 JSON（132 個 arXiv ID、192 個既有 URL）完成去重。本期刻意略過以下已於前數期涵蓋者以免重複：arXiv 2610.30571「Stale Instruction Files Override the Code in Coding Agents」（2026-10-24 第 4 則）、Snyk「AI Model Risk Depends on What Models Can Reach」（2026-10-24 第 3 則）、GitHub Changelog「Usage metrics API adds usage from tools like OpenCode」（2026-10-25 第 7 則）。另有以下條目已審閱但本期未列入精選，留供下期或延伸閱讀：arXiv 2610.32555「Tool-Calling LLM Agents Under Realistic MCP Faults」（NeurIPS 2026 poster）— 以 MCP-Injector 依 1,774 個開源 MCP 函式庫的 57,240 條 issue／PR 所挖掘的失效分布校準故障模型，1,350 格實驗顯示永久性故障使任務完成分由 8.08 降至 3.23（-60%），且 120B 的 resilience-ratio 為 p=0.96，顯示框架層錯誤處理比模型規模更重要；arXiv 2610.32483「When Agents Fail: Model or Harness–Who's to Blame?」（預印本）— 以 VCR、Model-Harness Fit、Cross-Model Fit、Interaction Residuals、Token Load 五項指標，在 4 個通用 harness × 4 個模型 × 6 個基準（111 種評估設定、52,168 條軌跡）上拆解模型與 harness 的歸因，是第 4 則的直接方法論延伸；arXiv 2610.32155「Detecting Insecure Compositions of Clean Agent Skills via Capability-Flow Graph Analysis」（KnotScryer）— 對 ClawHub 13,598 個各自「乾淨」的 skill 找出 612 條不安全組合，將利用率由 16.5–18.2% 提升至 85.6% 並使搜尋空間減少 85.3%，其中 13.7% 的危險鏈完全由單一 skill 掃描器標記為 safe 的技能組成，說明「逐項掃描安全」不等於「組合安全」；arXiv 2610.31715「What Open-Source Projects Tell Their Coding Agents: A Census of AGENTS.md and CLAUDE.md」— 13 種語言熱門活躍 repo 的普查，顯示三分之一指令集帶有生成器特徵、十分之八建立後被編輯，且模型彼此間的標註一致性遠高於與人工審查者的一致性，是 RQ4 自動標註效度的警告；arXiv 2610.32338「From Faulty Claims to Incorrect Patches」— 於 SWE-bench Pro 的 400 條軌跡顯示 task-grounded reasoning 僅佔 CoT token 的 18.5% 卻每軌產生 191 條原子聲明（≥9.6% 有誤），96.7% 的已解軌跡含瑕疵聲明，且 188 個錯誤修補中有三分之二可回溯至瑕疵聲明，修正聲明可解決 11.7% 的失敗任務；arXiv 2610.31895「Knowing When to Stop: The Evidence-Action Gap in Coding Agents」（ImpasseBench）— 八個前沿模型、19,371 條軌跡中需要外部協助的執行幾乎都收集到足夠證據，卻仍有三分之一耗盡預算，而升級工具可將預算耗盡由 34.0% 降至 6.7%；GitHub Changelog 2026-10-23「Turn notifications into code with GitHub Copilot in Teams」與「Public monitoring adds triage, validity, API, and webhooks」— 前者讓 Teams 頻道中的 issue 通知可直接轉為 PR，後者為外洩憑證加入持續有效性檢查（Active／Inactive／Unknown）與 REST API／webhook 整合，兩者對 RQ4 的組織層落地與 RQ1 的憑證有效性判定均具操作性意義。
AI 新聞每日自動收集並發佈
Leave a Reply