所以，寫了四萬多字講 AI 安全有多怪、有多難之後⋯⋯我覺得人類解決這個問題的機會如何？

⋯⋯其實相當樂觀！

不，真的！

也許只是自我安慰。但在我看來，如果這就是全部問題空間：

那麼：雖然沒有單一解法能蓋住整個空間，但整個問題空間都被一個（或多個）有希望的解法蓋住了：

我們不需要一個完美解法；可以把好幾個不完美的解法疊起來！這很像風險分析裡的瑞士乳酪模型——每一層防禦都有洞，但層夠多、洞又開在不同位置時，風險就穿不過去：

（: 🧀 附加章節：為什麼瑞士乳酪模型在 AI 安全圈裡很有爭議 ← 選讀：看到虛線底線的段落，都可以點開！）

這不代表 AI 安全已經 100% 解決——我們還得把這些提案再三核對，也得讓工程師／政策制定者先知道有這些解法，更別說真的去實作。不過目前我會說：「要做的還很多，但很有希望的起點也不少」！

先複習一下，我們是這樣拆 AI 與 AI 安全的主要問題的：

所以在這第三章，我們會看每個問題區塊裡最有希望的解法，也會老實談它們的好處、壞處，以及還不知道的事：

🤖 AI 中的問題：

• 可擴展監督：就算 AI 比我們先進得多，要怎麼安全地檢查它們？↪
• 解決 AI 邏輯：AI 該瞄準我們的「未來人生」（Future Lives）↪，並帶著不確定性來學我們的價值觀 ↪。
• 解決 AI「直覺」：AI 該好讀懂、也好改寫↪、夠穩健 ↪，並用因果關係思考。↪

😬 人類中的問題：

• 人道價值觀：該把哪些價值觀、誰的價值觀放進 AI，又怎麼放？↪
• AI 治理：人類要怎麼協調起來管理 AI——由上而下，和／或由下而上？↪

🌀 繞過問題：

• AGI 的替代方案：乾脆別蓋那個折磨裝置，如何？↪
• 賽博格主義：打不過就加入！↪

（想跳著看的話， 目錄在右邊！👉 你也可以 改這頁樣式，以及 看還剩多少閱讀量。）

順便一提：這最終的第三章，2025 年 12 月才發布，本來該在 12 個月前就上。但因為一堆我不想細說的個人鳥事，拖了。抱歉讓你們等了一年才看到結局！好處是，這段時間這領域又多了不少進展與研究，所以我也很興奮能跟你們分享。

好，開始吧！不必再多介紹，也不必再講牛仔貓男的怪故事，我們直接——

:x Swiss Cheese

風險分析裡著名的瑞士乳酪模型告訴我們：你不需要一個完美解法，可以把好幾個不完美的解法疊起來。

這個模型用在每一個安全攸關的領域：航空、資安、疫情防護都有。不完美的解法會有「洞」，很容易穿過去。但層疊夠多、洞又開在不同位置，就幾乎繞不過。

可是瑞士乳酪模型在 AI 安全圈裡特別有爭議。所以來看看幾個批評：

1. 有人說瑞士乳酪模型不適用於有智慧的對手。例如，機器智慧研究院（MIRI）的 Nate Soares 這樣說：

「如果你做出一個東西，它就是想穿過你所有瑞士乳酪到另一邊，那它只要沿著洞走，其實沒那麼難。」

我會回：「這是比喻，不是同構（isomorphism）。」瑞士乳酪模型在資安裡用得很勤，而那邊我們常常要防比自己強的對手。例如：夠強又唯一的密碼 + 多重驗證 + 基本防詐意識 = 普通人也能擋住更強的網軍。

不過，對瑞士乳酪模型還有更狠的批評，而且它正好打在超智慧 AI 上：

2. 瑞士乳酪模型只有在每一層防禦都不共享同一個洞時才有效。可是如果你採取「防住所有我能想到的風險」這套策略，就會有一個共同的洞：這些防禦只能擋你想得到的風險。但依定義，比人類更聰明的 AI，一定找得到我們想不到的風險。

打個比方：如果我這個西洋棋新手硬要跟世界冠軍馬格努斯·卡爾森（Magnus Carlsen）下棋，「防住所有我能想到的攻擊」鐵定會輸，因為馬格努斯想得到我想不到的攻擊。（感謝 Robert Miles 提供這個比喻。）另一個比方：我這個資安新手擋得住大多數普通網軍，但若被國家級對手鎖定，他們能用我甚至聽不懂的手法駭進來。

總之：瑞士乳酪模型只在對手比你稍微強一點、而不是強超多時才管用。

就算這樣，也不是沒救。有兩條路可以處理：

一條是可擴展監督（Scalable Oversight）（本頁稍後會細講）。如果我能驗證只比我聰明 10% 的 AI，就能用那個 AI 幫我驗證聰明 20% 的，再用它幫我驗證聰明 30% 的，一路推到任意等級。這套策略在有限場景裡已經有效：我們做出過能用數學驗證更大程式正確性的程式。（不過目前能驗證的程式種類還很有限。）

另一條（互補的）策略是「乾脆」一開始就別做出對手。這可不簡單——因為古德哈特定律，幾乎任何你寫進程式、要 AI 最大化的指標或分數，都可能導向對抗性結果。不過本文稍後會看到怎麼處理，例如間接規範性（indirect normativity）與帶不確定性的價值學習（value learning with uncertainty）。

• 💖➡️💖 遞迴獎勵建模（Recursive Reward Modeling）：不只用第 N 層機器人在事後檢查、控制第 (N+1) 層，而是一開始就訓練它內在的「目標與慾望」。具體來說，每個機器人都會協助你訓練下一個。（細節：^[1]）正如 AI 研究員 Jan Leike 所說：「別想著把怪物關起來，去造你真正信得過的東西！」
  • 這也有助於防止價值漂移（value drift），以免「價值是脆弱的（value is fragile）」。預設下，你把價值觀傳給第一個機器人，它再傳給第二個，一路傳下去就像傳話遊戲，第 N 個會拿到扭曲版。但在遞迴獎勵建模裡，每個機器人都直接協助你訓練下一個。所以機器人越強，就越能學好你的價值觀！
• 📈 可擴展監督的縮放定律（Scaling Laws For Scalable Oversight）：定量量出你需要多少監督層級／步驟，才能把監督成功率拉到最高。令人振奮的是，就像先前「多餵算力，AI 怎麼變強」的縮放定律一樣，這些「可擴展監督的縮放定律」似乎也可預測、可量測。Terekhov & Liu 等人 2025 還更進一步，用美元算出各種 AI 攻防的「控制稅」。
• 🕵️🦹 GPT-3.5 抓得到更強的 GPT-4 寫出的狡猾、微妙有害的程式碼。
• 🕵️🥷 證明者–驗證者遊戲（Prover-Verifier Games）：讓弱小的「數學證明驗證者」AI 對上兩個更強的 AI：一個「有幫助的證明者」給真證明，一個「狡猾的證明者」給看起來真的假證明。在這遊戲上訓練的結果：弱驗證者可以練到能分辨真假證明，而強的狡猾證明者長期贏不了。讚！
• 🪜 弱到強泛化（Weak-to-Strong Generalization）：發現 GPT-2 監督、訓練 GPT-4 其實還挺行。（後者比它大好幾個數量級）
• 💬💬 辯論（Debate）：略有不同。不是弱 AI 監督強 AI，而是讓兩個同樣強的 AI 互辯、拆對方的邏輯。只要真理比謬誤更經得起檢視，真理就會贏。（好吧，也許。^[2]）
• ☕️ 超級過濾（Superfiltering）：用小型開源 AI 過濾拿去訓練更大 AI 的資料！這有助於確保大 AI 不只在高品質寫作上訓練（而不是網上的垃圾文），也不會學到怎麼越獄自己或監督者、怎麼在評估基準上作弊，或學到做炸彈、生物武器這類危險能力。
  • （嚴格說不算監督，但仍是迭代、可擴展的做法！）
• 👯‍♀️ 迭代蒸餾與放大（Iterated Distillation & Amplification, IDA）：更安全——不是監督比你稍聰明的 AI，而是監督嚴格比你弱的 AI。那這樣怎麼還能拿到超人智慧？非常粗略地說：在 IDA 裡，你變成一家公司的 CEO，員工全是被訓練來模仿你的 AI！每個 AI 都模仿你，你又是整套系統的 CEO，所以整體對齊你的價值觀——同時也放大你的能力。
  • （: 更多關於 IDA，以及對它的批評）
• 🤓 形式化驗證（Formal Verification）：其實比現代 AI 還早。平常寫程式，我們靠塞一堆輸入來測，但總可能漏掉會爆 Bug 的那組。形式化驗證則是對程式在所有可能輸入下的行為做數學證明。跟可擴展監督的關係：我們可以（而且已經！）設計小型程式，協助人類驗證更大程式可不可信！^[3]

不過，保持健康的懷疑還是好的。這裡有些監控大型語言模型（LLM，像 ChatGPT、Claude）的近期「令人沮喪」發現：若你用能讀思維鏈的監控器太用力訓練 LLM，它會學會連自己的「思想」裡都把邪惡計畫藏起來。(Baker & Huizinga 2025)。而且，在天真的監督手法下，LLM 其實很容易越獄自己的監控器——畢竟 LLM 已經存在夠久，越獄相關資訊就在它們自己的訓練資料裡。(Terekhov, Panfilov & Dzenhaliou 2025)

但就算這些監督手法都失敗，還有很多別的！（後面可解釋性與引導章節會看到）。整體來說，我仍樂觀。再說一次：我們不需要一個完美解法，可以把很多不完美的解法疊起來。

所以：如果我們能對齊比我們稍聰明的 AI，那麼靠可擴展監督，就能對齊遠更先進的 AI。

⋯⋯可是現在，我們連對齊比我們笨的 AI 都還做不到。

接下來幾個提案，就是要處理這個！不過先⋯⋯

:x Robust Chain Math

首先假設：監督者的失敗在各層級相同，且彼此完全獨立。不過只要失敗不是 100% 相關，你改一下下面的數學，論點的精神還是成立。

總之：假設每層有 $k$ 個監督者，共 $N$ 層。也就是鏈條長 $N$ 環、寬 $k$ 環。任一監督者失敗機率是 $p$，且彼此獨立／不相關。

只要任何一層失敗，整條鏈就失敗。但是！一層只有在所有並行監督者都失敗時才會垮。

一層裡所有並行監督者都失敗的機率是 $p^k$。

為了方便，把一層不失敗的機率叫做 $q$。$q = 1 - p^k$

任一層失敗的機率，是 1 減去「沒有任何一層失敗」的機率。$N$ 層都不失敗的機率是 $q^N$，所以任一層失敗的機率是 $1 - q^N$。代入 $q = 1 - p^k$，於是「沒有任何一層失敗」、可擴展監督成功的機率是 $1 - (1-p^k)^N$。公式到手！🎉

現在代入上面例子的數字：失敗機率 $p = 0.05$，鏈深 $N = 20$ 層，失敗機率是⋯⋯

• 對貼於 $k=1$ 條鏈：$1 - (1-0.05^1)^{20} \approx 0.64 \approx 64%$
• 對於 $k = 2$ 條編織鏈：$1 - (1-0.05^2)^{20} \approx 0.049 \approx 5%$
• 對於 $k = 3$ 條編織鏈：$1 - (1-0.05^3)^{20} \approx 0.0025 \approx 0.2%$
• 對於 $k = 4$ 條編織鏈：$1 - (1-0.05^4)^{20} \approx 0.00012 \approx 0.01%$
• 對於 $k = 5$ 條編織鏈：$1 - (1-0.05^5)^{20} \approx 0.0000062 \approx 0.0006%$

注意：你每多加一條備用鏈，失敗機率就指數級往下掉！這是非常划算的「對齊稅」。

:x Scalable Oversight Extras

一些塞不進主文的額外概念與吐槽：

「對齊稅」：要讓整套系統保持對齊、可控，得多花多少開銷？如果「稅」太重，公司就有動機偷工減料，去冒 AI 失調的險。那這「稅」有多重？

在上面的喵迪例子裡，要監督速度為 $X$ 的機器人：因為每個機器人都能監督比自己快 2 倍的那個，你需要額外 $log_2(X)$ 個機器人才控得住。（若還想用 $k$ 條交織並行鏈加穩健性，就再加 $k*log_2(X)$ 個。）

一般來說，正如可擴展監督的縮放定律論文所示：對任何給定任務，機器人通常能監督比自己「好」某個固定比例的機器人。若是如此，要監督能力為 $X$ 的機器人，你只需要對數級數量的額外機器人來做可擴展監督。

對數是指數的反函式；指數長得超快，對數就長得超慢。這很振奮：表示我們對強大 AI 的「對齊稅」開銷長得很慢，負擔得起！

如果 P = NP 怎麼辦？

可擴展監督這套典範假設：驗證解法總是比找出解法容易——這就是弱 AI 怎麼驗證強 AI 行動安不安全／正不正確。例如：解魔方或數獨很難，但檢查有沒有解對幾乎是小事一樁。

不過：資訊科學裡還有一道懸案，還掛著一百萬美元獎金：P = NP？簡單說，它問的是：所有容易檢查的問題，是不是其實也容易解決？直覺上不像（多數資訊科學家相信答案是否，也就是 P ≠ NP），但還沒被證明。就我們所知，P = NP 有可能為真，那每個容易檢查的問題也就容易解決。

這是不是說，一旦 P=NP，可擴展監督這套典範就垮了？不！因為 P = NP「只」代表找解法不會比檢查解法指數級更難。（講精確一點：頂多「多項式」更難，也就是「P」跟「NP」裡的那個「P」。）但找解法還是比較難，只是難不到指數級。

兩個例子，我們已經證明了最優解決方案需要多少時間 ⤵（注意：$\mathcal{O}(\text{公式})$ 意味著「從長遠來看，這個過程花費的時間與這個公式成正比。」）

• 排序列表的最優作法要 $\mathcal{O}(n\log{}n)$ 時間，檢查列表有沒有排好只要 $\mathcal{O}(n)$。
• 在量子電腦上找黑盒問題的解最優要 $\mathcal{O}(\sqrt{n})$ 時間，檢查那個解卻只要常數 $\mathcal{O}(1)$。

所以就算 P = NP，只要找解法仍比檢查更難，可擴展監督就還行得通。（只是對齊稅會更高）

對齊 vs 控制：

對齊 = AI 的「目標」跟我們一樣。

控制 = 我們可以，嗯，控制 AI。可以調它、帶它。

下面有些論文來自「AI 控制」子領域：就算 AI 失調了，我們要怎麼還控得住？（就像警長喵迪的例子：機器人一旦失控就會把他射殺。所以它們是失調的。）

講清楚：AI 控制圈的人也知道這不是「理想」解法——正如 AI 研究員 Jan Leike 所說，「別想把怪物關起來，去造你真正信得過的東西！」——但它仍值得當多一層安全網。

有趣的是，也可能有沒有控制的對齊：你可以想像一個 AI 正確地學會了人道價值觀、以及所有有情眾生怎樣才算興盛，然後以仁慈獨裁者的身分接管世界。它懂我們交出控制權會不舒服，但覺得為了世界和平值得，於是仁慈地統治。（再說，你們九成的人一直在幻想活在國王皇后的國度裡，承認吧，你們人類就是想被獨裁者管。／半開玩笑）

急轉彎：

可擴展監督也仰賴能力平滑往上長。而不是「你讓這 AI 聰明 1%，它就突然長出全新能力，連只弱它 1% 的 AI 都能被它輾壓。」

這聽起來很扯，但物理學裡有突然跳躍的「相變」先例：略低於 0°C，水結冰；略高於 0°C，水是液體。那智慧系統裡會不會也有這種「相變」、一次「急轉彎」？

也許？但是：

1. 就算在物理例子裡，冰也不會瞬間結完；你感覺得到它變冷，還有好幾小時或好幾天可以在全凍住之前反應。所以就算「聰明 1% 的 AI」長出全新能力，「笨 1% 的監督者」可能還有時間注意到並阻止它。

2. 正如你稍後會看到，有一個可擴展監督提案叫迭代蒸餾與放大：監督者只監督嚴格「更笨」的 AI，但系統整體仍可以更聰明！往下讀就知道。

價值脆弱與價值漂移：

預設情況下，如果你把價值觀傳給第一個機器人，它再試著傳給第二個，一路傳下去，就像傳話遊戲，第 N 個機器人拿到的會是扭曲版。

解法之一是遞迴獎勵建模——（本節稍後會簡述）——每個機器人直接協助你訓練下一個。於是機器人越強，就越能學好你的價值觀！

所以，即使「價值是脆弱的」，遞迴獎勵建模（或類似做法）仍能讓我們得到可監督的機器人，而且它們會越來越擅長為我們真正的價值觀建模。

不過老實說，我不同意「價值是脆弱的」。連結那篇文章裡的例子，要嘛：

• 太刻意：作者舉「如果我們忘了指定主觀意識經驗怎麼辦？」——可是連「增加快樂」這種笨規格，都已經暗示有主觀經驗了。
• 或其實沒那麼糟：作者說「如果我們指定了所有人類價值，唯獨漏了無聊；它就會讓我們反覆經歷同一段高度最佳化的體驗，一遍又一遍。」好喔，那我們會一遍又一遍經歷愛、友情、健康、成長、創造與喜悅？那⋯⋯其實還行吧？我不會因為一位僧侶日復一日安詳地照料石庭，就說他的人生「毫無價值」。

打個比方：若超智慧 AI 學會了我們所有價值，唯獨漏了音樂，結果世界依然會很精彩。失去音樂確實是真損失，但還有愛、數學、美食、探洞，還有各種癌症的療法等等。離「毫無價值的世界」遠得很。

總之，我不覺得價值有那麼脆弱；就算有，也有像遞迴獎勵建模這類提案可以處理。

:x IDA

要搞懂迭代蒸餾與放大（IDA），先看它最大的成功案例：AlphaGo，第一個在圍棋上擊敗世界冠軍的 AI。

訓練 AlphaGo 的步驟如下：

• 從一個很笨、亂下棋的圍棋 AI 開始。
• 蒸餾：讓兩個副本互打。靠自我對弈，學出好／壞走法、好／壞盤面狀態的「直覺」。（用人工神經網路）
• 放大：把這「直覺模組」塞進老派 AI——它只會往前推幾步棋和反擊，再挑下一步最佳走法。（蒙特卡洛樹搜尋）這樣你就多了一個稍微沒那麼笨的圍棋 AI。
• 迭代：重複。兩個沒那麼笨的 AI 互打，學到更好的「直覺」，於是更會搜遊戲樹，於是更會下圍棋。
• 一遍又一遍，直到你的 AI 在圍棋上超車人類！

更猛的是，同一套系統也能在西洋棋和將棋（「日本象棋」）上超車人類，而且從沒學過殘局或開局。就只是狂自我對弈。

（提醒一下：弄出來的 AI 穩健度跟 ANN 綁在一起，而 ANN 並不穩健。超人圍棋 AI 可以被「下得很爛」的對手打爆——對方只是故意把 AI 帶進現實對局裡幾乎不會出現的瘋狂盤面，好把 AI 搞壞。(Wang & Gleave 等人 2023)）

就算這樣，這仍是 IDA 行得通的有力證據。更棒的是，正如 Paul Christiano 指出並提出的，IDA 也能用在可擴展的對齊上。

下面是它怎麼運作的意譯：

• 從你——人類——開始
• 蒸餾：訓練一個 AI 模仿你：你的價值觀、取捨、推理風格。這個 AI 嚴格弱於你，但跑得比較快。
• 放大：想解決大問題？把它切成小塊，丟給比你稍笨但快很多的 AI 分身，再拼回完整解法。（例如：我想解一道數學題。我先想出 N 種不同作法，讓 N 個分身各試一種，再回報學到什麼。我讀報告，還沒解完就再想 N 種可能作法，叫分身再試。重複到解完為止。）
• 迭代：下一個蒸餾步驟，訓練 AI 模仿你＋分身系統整體。下一個放大步驟，你就可以呼叫那套系統的多個分身，幫你拆解、解決大問題。
• 重複到你變成超人「你分身公司」的 CEO！

我覺得 IDA 是比較酷、也比較有希望的提案之一，但有些批評／未知數值得提：

• 蒸餾：從上面 AlphaGo 例子就看得出，IDA 的品質卡在蒸餾步驟。我們現在還不會做穩健的 ANN，也不知道這步蒸餾能不能夠保住你的價值觀。
• 放大：現實裡多數大問題似乎都能拆成小任務（工程團隊才不是一個人單幹），但頓悟能不能拆、能不能委派，就不清楚了。也許你真的需要一個人把所有資訊裝在腦子裡，當沃土和種子去長出新見解——頓悟過程切不開，就像你不能把一棵植物切开還指望它繼續長。
• 迭代：就算單次蒸餾＋放大大致保住你的價值觀，也不知道錯誤會不會在多步之間累積，更別說會不會指數爆炸。（如果你在大組織待過，大概痛到知道：一個組織可以長到跟創辦人的價值觀差超多。）

再說，如果你跟自己處不來，當「你自己公司的 CEO」可能會反噬。

（另見：這支超精彩的 Rob Miles IDA 影片）

🤔（選讀！）閃卡複習 #1

你讀了一樣東西，覺得超有洞見。兩週後全忘光，只剩感覺還在。

太慘了！所以這裡有一些 100% 選讀的間隔重複閃卡，幫你把這些想法記久一點！（👉 : 想多了解間隔重複，點這裡）也可以下載成 Anki 牌組。

好了嗎？那我們繼續⋯⋯

AI 邏輯：未來人生

你大概已經注意到 AI 安全偏執裡的一個模式。

先想像給 AI 一個看起來無害的目標。然後想一個它能技術上達標的壞方法。例如：

• 「把地板上的灰塵撿起來」 → 把所有盆栽打翻，這樣灰塵更多、更好撿。
• 「算圓周率的位數」 → 放電腦病毒去偷盡可能多的算力，好繼續算圓周率。
• 「幫每個人感到快樂、滿足」 → 劫持無人機，空投霧化 LSD 跟 MDMA。

重要：這些不是 AI 表現太差的問題。問題恰恰出在 AI 在最優地行動！（表現差的 AI 稍後再談。）記住，就像作弊的學生或心懷怨恨的員工——重點往往不是 AI「不知道」你真正要什麼，而是它可能「不在乎」。（少一點擬人化的講法：軟體會精準最佳化你寫給它的目標。不多，不少。）

「先想到可能發生的最壞情況。然後修掉它。」你若還記得，這就是安全心態——讓橋跟火箭夠安全的工程師腦回路，也是 AI 研究者那麼擔心先進 AI 的原因。

但如果⋯⋯我們做出一個會對自己動用安全心態的 AI 呢？

先假設一個「能力最優」的 AI——再說一次，表現差的稍後再談——它能完美預測世界。（或至少跟理論上可能的一樣好^[4]）而你是世界的一部分，所以它也能完美預測你對各種結果的反應。

然後，「未來人生」演算法是這樣：

1️⃣ 人類叫機器人做某件事。

2️⃣ 機器人盤點可能的行動，以及這些行動會帶來什麼結果。

3️⃣ 機器人預測：現在的你會怎麼對那些未來做出反應。

4️⃣ 它執行「那個未來你最會點頭」的行動，而不做你會反對的。「我們若尖叫，規則就改；若可預期我們稍後會尖叫，規則現在就改。」^[5]

（注意：為什麼預測的是現在的你怎麼反應，而不是未來的你？為了避免它有誘因把你「接上電極爽到爆」（wirehead）成一顆只會傻樂的笨大腦。為什麼看的是整段未來，而不只是某個時間點的結果？為了避開那些通往目的的爛手段，和／或目的之後不想要的後果。）

（注意 2：目前我們也只處理怎麼讓 AI 滿足一個人的價值觀，還不是人道價值觀。「人道價值觀」問題本文後面再談。）

正如最常用 AI 教科書的合著者 Stuart Russell 曾說：^[6]

[想像] 如果你能以某種方式看兩部電影，每部都以夠細、夠廣的方式描述你可能過的一種未來人生 [以及你人生之外與之後的後果]。你可以說比較喜歡哪一部，或表示無所謂。

（類似提案還有認可導向代理和連貫外推意志。這類作法——不是直接把價值觀告訴 AI，而是要它學習並預測我們會在乎什麼——叫做「間接規範性」（indirect normativity）。之所以叫這名，是因為學者超不會取名「規範性」大概就是「價值觀」，「間接」則是因為我們在展示，而不是直接講。）

瞧！這就是怎麼讓（能力最優的）AI 對自己動用安全思維。因為只要有人哪怕在原則上想得出 AI 行動的問題，這個（最優的）AI 就已經預料到了，並避開那樣做！

. . .

等等，你可能會想，我已經想得出未來人生方法哪裡會出事，就算是最優 AI：

• 這把我們鎖死在當下的價值觀裡，個人／道德成長沒有空間。
• 我們贊不贊同某件事，對心理伎倆很敏感，例如看到標價「\$20」，對上「\$50 \$20（特價：省\$30！！！）」。那些未來的「電影」大可以拍得很會操弄情緒。
• 如果真相讓人不舒服——像我們發現地球不是宇宙中心那時——現在的我們會反對去了解那些難受的真相。
• 我心裡住了好多個我，還常常自相矛盾。若成對呈現不同未來，我偏好 A 勝過 B、B 勝過 C，而 C 又勝過 A，會怎樣？若在時間 1 我想要一件事，在時間 2 又可預期地想要反面？

你覺得這些會是問題⋯⋯你說對了！

事實上，既然你現在就看得到這些問題⋯⋯帶著「對自己動用安全思維」演算法的最優 AI 也會看到，並改自己的演算法來修！（: 上述問題的可能修復示例）

（另見後面「放鬆對抗訓練」：AI 可以替自己或同級 AI 找挑戰（「對抗訓練」），卻不必給出具體例子（「放鬆」）。）

想想 AI 能力的遞迴自我改進，跟 AI 安全的可擴展監督，其實是平行的。你不必從完美演算法起步。你只需要夠好的演算法、一團「臨界質量」，能自我改進、越變越好。你「只」需要讓它跳到元層級。

（: 🖼️ 刪掉的漫畫，因為太長又重複）

（然後你可能會想：等等，反覆自我修改呢？若它失去對齊或不穩定怎麼辦？再說一次：若你注意到這些問題，這個（最優的）AI 也會，並修好它們。「自我修改下的 AI 與人類」是活躍研究領域，有一堆有趣的開放問題，: 點開看快速文獻回顧）

然後我們搞定了！AI 對齊，解決！

. . .

⋯⋯理論上。再說一次：以上全部都假設能力最優的 AI，能完美預測世界所有可能未來，包括你。這——講保守一點——不可行。

不過：在轉進更難、更亂的現實案例前，先把較容易的理想情況解掉是好事。接下來會看到：怎麼讓表現沒那麼好、「有限理性」的 AI 也能落實未來人生方法！

:x Critical Mass Comic

:x Future Lives Fixes

以下是為了說明：一個未來人生 AI，只要對自己動用安全思維，就有可能修好自己的問題。我不是說下面就是完美解法（不過我確實覺得它們挺不錯）：

關於：價值鎖死，沒有個人／道德成長。

2026 年的我，難道不會怨這個 AI 還在執行 2025 年的我所批准的計畫嗎？我難道不會可預期地討厭被綁在過去那個沒那麼明智的自己身上嗎？

好吧，2025 年的我不喜歡「所有未來的我仍被沒那麼明智的當下的我的突發奇想完全綁死」這件事。但我確實想要 AI 幫我完成長期目標，就算未來的我會痛一點（不勞無獲）。可我又不想只因為當下的我做了個蠢夢，就折磨掉一大段未來的我。（例如當下的我覺得當受折磨的藝術家很「浪漫」。）

所以，對未來人生演算法的一個可能修改：不只看當下的我，而是看一個加權的「我之議會」。例如當下的我票最多，±一年的我次之，±兩年的我再次之，以此類推。這樣挑出的行動，會是我這輩子大多會認可的。（當下的我多一點權重，因為，嗯，我有點自私。）

（其實，為什麼只停在隨時間變化的我？有些人我是為了他們本身而愛；也可以把他們的過去／現在／未來自己，放進這個虛擬「委員會」。）

關於：心理操弄

好吧，我想要被心理操弄嗎？

當然不要。棘手的是：我覺得什麼算操弄，什麼又算正當的價值改變？不妨先列個大概清單。

• 我會贊成我的信念／偏好／價值觀用這些方式改變：可靠的科學證據、可靠的邏輯論證、各方都被盡力善意詮釋的辯論、安全地接觸新藝術與文化、了解別人的生命經驗、正規的人類心理治療、像卡瓦或維生素 D 這類「輕度」藥物／補充品，等等。
• 我不會贊成用這些方式改：接電極爽到爆（wireheading）、下藥、來自上帝或 LSD 或 DMT 外星人的「直接啟示」、像「\$50 \$20（特價：省\$30！！！）」這種狡猾框架、謊言、隱瞞真相、誤導性呈現的真相，等等。

最重要的是，這份「什麼算正當改變、什麼不算」的清單可以自我修改。例如我現在認可科學推理、不認可直接啟示。但若科學證明直接啟示可靠——例如吃 DMT 跟 DMT 外星人聊天的人可以做超人計算，或知道未來彩券號碼——那麼我就會相信直接啟示。

我沒有一條漂亮、簡單的規則能判定什麼算「正當的價值改變」，但只要我有份粗略清單，而且清單可以自我編輯，對我來說就夠好了。

（關於 Russell 的「看兩部可能未來的電影」：也許反省之後，我會覺得電影給心理操弄留了太多空間，連不受限的寫作都給委婉語和框架留太多空間。所以也許反省後，我寧可 AI 給我「兩篇關於兩種可能未來的簡單維基百科文章」。再說一次，這只是說明有解法的例子。）

關於：我們會反對了解難受的真相

好吧，我想要當那種避開難受真相的人嗎？

多半不想。（除非那些真相是克蘇魯式會把腦子弄炸的，或根本沒用又只是讓人難受。）

所以：會自我改進的未來人生 AI 應該預測到——我不要無知的幸福。但痛苦的真相，我希望用最不痛的方式被告知；「不勞無獲」不代表「越痛越有收穫」。

但這裡有個悖論：我想能「看進 AI 心裡」，好監督它、確認它安全／對齊。可 AI 得在能幫我做心理準備之前，就先知道那些難受的真相。若我讀得了它的心思，我會在它準備好我之前就先看到真相。怎麼解？

可能的解決方案：

• AI 在調查一個可能導向難受真相的問題前，先幫我對兩種結果都做好準備。然後再調查，並用有分寸的方式告訴我。
• 放棄直接讀 AI 的心思。改用可擴展監督那一套，讓受信任的中介 AI 去檢查求真 AI 是否對齊，而我直到準備好才直接看到難受的真相。

關於：我們沒有前後一貫的偏好

好吧，若我在同一時間點（A > B > C > A 之類）或跨時間（現在 A > B，後來 B > A）偏好不一致，我希望發生什麼？

同一時間點：具體一點，假設我在交友軟體上。我透露偏好 Alyx 勝過 Beau、Beau 勝過 Charlie、Charlie 勝過 Alyx。糟，迴圈。那時我希望怎樣？首先，希望這不一致被點出來給我看。也許反省後我會挑一個壓過全部，或者乾脆叫它三方平手、三個都約。

（「不可傳遞」偏好，也就是有迴圈的偏好，可不只是理論。事實上機率壓倒性的高：一項消費品調查裡，大約 92% 的人表達了不可傳遞偏好！）

跨時間：這更棘手。具體來說，假設當下的我想跑馬拉松，但若開始訓練，後來的我會可預期地咒罵當下的我——腳起泡、全身痛⋯⋯可是後來的後來的我又會覺得有意義、很充實。怎麼辦？可能解法跟前面一樣：不只看當下的我，而看加權的「我之議會」。（這種情況下，議會多數會投贊成：當下的我跟遙遠未來的我覺得馬拉松值得，「只有」訓練期的我在受苦。抱歉老兄，你被否決了。）

:x AI Self-Modify

關於「會改自己和／或改人類的 AI」文獻：快速、非正式、不全面的回顧：

• 這套花俏術語叫「嵌入式代理」，因為代理跟環境之間沒有硬邊界：代理可以對自己動手。
• 代理基礎裡的「平鋪代理」問題在問：我們要怎麼證明 AI 的某個屬性，在它一遍遍改自己之後仍被維持？（也就是這屬性會不會「平鋪」下去）
• Everitt 等人 2016 發現：對一個最優的 AI，只要它用當下的效用函式去評判未來結果，它就不會把自己接電極爽到「獎勵 = 無限」，也會保住自己的目標／對齊——不論好壞。
  • （Tětek, Sklenka & Gavenčiak 2021 顯示有限理性 AI 會指數級腐敗，但他們只考慮了那些不「知道」自己有限理性的有限理性 AI。）
  • （容我自我推銷一下，我正在慢慢做一個研究專案，看知道自己有限理性的有限理性 AI 能不能避免腐敗。我猜不難：不知道感測器有雜訊的自駕車會開下懸崖；知道感官會出錯的自駕車會留誤差範圍，跟懸崖保持安全距離，就算它不精確知道懸崖在哪。）
• 來自功能決策理論與無更新決策理論的研究也發現：標準的「因果」代理會選擇把自己改成「非因果」的。因為這樣能導致更好的結果，不再只被單純因果關係綁住。
• Nora Ammann 2023 把這叫做「價值改變問題」：我們希望 AI 幫我們採納真實信念、改善心理健康、做道德反省、擴張藝術品味。換句話說：我們想要 AI 改我們。但不要它用「壞」的方式改，例如操弄、洗腦、接電極爽到爆等。所以開放研究問題是：怎麼形式化「正當」的價值改變，對上「不正當」的？
• Carroll 等人 2024 拿理解 AI 的傳統框架——馬爾可夫決策過程——擴到AI 或人類的「信念與價值觀」本身可被有意改變的情況，命名為動態獎勵馬爾可夫決策過程。論文發現沒有明顯完美解，我們面對的不只是技術挑戰，還有哲學挑戰。
• 因果誘因工作組用因果圖釐清 AI 何時有「誘因」改自己或改人類。他們也有一些實證成果：能正確預測並設計出不操弄人類價值觀、卻仍能學習並服務它們的 AI。

🤔 複習 #2

（再次，100% 選讀的閃卡複習：）

AI 邏輯：知道你不知道我們的價值觀

經典邏輯只有真或假、100% 或 0%、全有或全無。

機率邏輯講的是，嗯，機率。

我斷言：機率思維比全有或全無的思維更好。（有 98% 的機率這麼說）

來看看用經典邏輯機器人的 3 個案例：

• 不想要的最佳化：你指示機器人，「讓我快樂」。它 100% 確定這就是你完整且唯一的願望，於是幫你打上極樂藥，你永遠只會對著牆傻笑。
• 不想要的副作用：你叫機器人關窗。貓擋在機器人跟窗戶中間。你沒提到貓，所以它 0% 確定你在乎貓。於是往窗戶走的路上，它踩了你的貓。
• 「做我的意思，不是我說的」仍可能失敗：廚房油鍋起火。你叫機器人拿桶水來。你確實是想要一桶水，但你不知道水會讓油火爆炸。就算機器人做了「你的意思」，還是會給你一桶水——然後你就炸了。

這 3 個案例的問題都是：AI 100% 確定你的目標是什麼——就是你說的或意思的，不多，不少。

解法：讓 AI 知道自己不知道我們真正的目標！（天啊，連人類都不知道自己真正要什麼。^[7]）AI 該用機率來想我們要什麼，並適度謹慎。

演算法是這樣：

1️⃣ 從對我們價值觀一個還不錯的「先驗」估計開始。

2️⃣ 之後你（人類）說的、做的一切，都只是真正價值觀的線索，不是 100% 確定的真相。（這涵蓋了健忘、拖延、說謊等）

3️⃣ 看你要 AI 有多安全，再去最佳化平均情況（標準）、最壞情況（最安全）或最好情況（最冒險）。

這會自動帶來：要求澄清、避開副作用、保留選項與反悔空間等等。我們不必預先寫死這些安全行為；這套演算法免費奉送！

下面是一個很長的計算範例：（老實說，你可以略讀／跳過。重點才重要。）

（: 平均／最壞／最好情況等的好處與壞處）

（: 更多細節與反駁）

. . .

若「瞄準一個你知道自己不知道的目標」聽起來還是很矛盾，再多兩個例子拆給你看：

• 🚢 戰艦遊戲。目標是打中對手的船，但你不知道船在哪。每次回報命中／沒中，你就慢慢（帶著不確定的機率）學到船大概在哪。同理：AI 的目標是滿足你的價值觀——它知道自己不知道——但每次命中／沒中，它的想法就更準一點。
• 💖 假設我愛 Alyx，想買水豚玩偶當生日禮物。後來才知道他們恨水豚，因為一隻水豚弄死了他們的父親。於是我改送 Alyx 一隻 sacabambaspis 玩偶。這例子很蠢，但它證明了：1) 一個代理可以在乎另一個代理的價值觀；2) 同時知道自己可能搞錯那些價值觀；3) 卻仍能輕鬆修正自己的理解。

. . .

好，但「學習人類價值觀」的真正具體提案是什麼？快速掃過一輪：

• 🐶 逆強化學習（IRL）。「強化學習」（RL）像用零食訓狗：給定「獎勵函式」，狗（或 AI）學會該做什麼動作。逆強化學習（IRL）則像觀察某人做了什麼，倒推他真正在乎什麼：給定觀察到的動作，你（或 AI）去學「獎勵函式」是什麼。所以 IRL 作法是：讓 AI 靠觀察我們實際選擇做什麼，來學我們的價值觀。
• 🤝 合作逆強化學習（CIRL）。^[8] 類似 IRL，但人類不是只被 AI 被動觀察，而是主動幫忙教 AI。
• 🧑‍🏫 人類回饋強化學習（RLHF）：^[9] 就是把「基礎」GPT（花俏的自動完成）變成 ChatGPT（真的能用的聊天機器人）的那套演算法。
  • 第一步：拿人類對一堆對話的 👍👎 評分，訓練「老師」AI 去模仿人類評分者。（其實會訓練多個老師，以增加穩健性）這把「什麼叫有幫助的聊天機器人」的人類判斷「蒸餾」下來。
  • 第二步：用這些「老師」AI 大量訓練「文字補全」AI，把它練成有幫助的聊天機器人。這是在「放大」蒸餾過的人類判斷。
• 🤪 學我們的價值觀，同時學我們的不理性：^[10] 若你的 AI 假設人類是「理性加上隨機犯錯」，它會學得很差！因為我們犯的錯是非隨機的；我們有系統性的不理性，AI 也得學那些，才能學到我們真正的價值觀。

（再說一次：我們只考慮怎麼學一個人的價值觀。怎麼學為了所有道德主體都能興盛的人道價值觀，等後面「誰的價值觀？」那節。）

當然，上面每一項都有問題：若 AI 只從人類的選擇學，可能會錯學成人類「想要」拖延。正如大家從過度奉承（「諂媚」）的聊天機器人看到的，訓練 AI 去拿人類認可⋯⋯會讓它真的「想要」人類認可。

所以講清楚：雖然幾乎不可能直接指定人類價值觀，而指定怎麼學人類價值觀簡單得多，但這仍沒 100% 解決。打個比方：教人法語要好幾年，教人怎麼有效自學法語可能只要幾小時^[11]，可是連這也還是很棘手。

所以：我們沒完全繞過「規格」問題，但確實把它簡化了！也許只要湊齊一組差異很大的訊號——短期認可、長期認可、我們嘴上說在乎什麼、我們實際選擇做什麼——就能做出穩健的規格，避開單點故障。

更重要的是，「學習我們的價值觀」這條路（而不是「試圖把價值觀硬編碼進去」）有個巨大好處：AI 能力越高，對齊就越好。若 AI 一般智慧高到學得會——比如說——怎麼做生物武器，它也會高到學得會我們的價值觀。若 AI 脆到連穩健地學我們價值觀都做不到，它也脆到學不會怎麼執行危險計畫。

（不過：別太放心。「能力夠高就容易對齊」有點像說「這台摩托車一開到時速 100 英里就好騎。」我是說，這是比較好，但低速、低能力時呢？所以本頁才有那麼多其他提案。多一層瑞士乳酪。）

我覺得，「學習我們的價值觀」最優雅的地方在這：它把（部分）對齊問題收成一個普通的機器學習問題。從人的語言／行動／認可去學人的價值觀，聽起來幾乎不可能——價值觀一直在變，還藏在意識底下。但這跟從症狀和生物標記去學人的醫療問題沒兩樣：也在變，也藏著。這是難題，但是正常的難題。

是的，AI 醫療診斷跟人類醫生不相上下。已經超過五年了。^[12]

:x Worst Or Average

「最佳化最好情況」的好處壞處很直白：報酬更高，風險也高得多。

有趣的是最佳化最壞情況 vs 平均情況之間的權衡。

「最大化合理的最壞情況」的好處是，嗯，永遠有「什麼都不做」這個選項。所以最壞也只是 AI 不會拆你家、不會駭進網路，它只是沒用、呆呆站著。

然而壞處是⋯⋯AI 可能真的沒用、什麼都不做。例如我說「最大化合理的最壞情況」，但什麼叫「合理」？若 AI 因為吸塵器有 0.0000001% 機率引起電氣火災，就拒絕幫你打掃呢？

也許你可以設門檻，像「忽略任何低於 0.1% 的事」？但硬門檻很任意，而且會自打嘴巴：每年出車禍的機率是百分之一（= 1%，高於 0.1%），一年 365 天（先忽略閏年），那就變成三萬六千五百分之一（≈ 0.027%，低於 0.1%）。所以 AI 若按年或按日想，可能會或不會把車禍風險算進去，也就會／不會堅持你繫安全帶。

好吧，也許「最大化最壞情況」再加上偏向簡單世界模型？這樣 AI 比較不會「被害妄想」，老想「吸塵器會不會引起電氣火災」？經驗上，這篇論文發現「最佳最壞情況」訓練穩健 AI 的作法，只有在你也用「正則化」把 AI 往簡單推時才有效。

話說回來，那篇論文研究的是分類圖像的 AI，不是能對世界動手的 AI。我不確定「最佳最壞情況」＋「簡單模型」對這種「代理型」AI 管不管用。「什麼都不做」不還是最簡單的世界模型嗎？

好，也許改走傳統的「最大化平均情況」？

然而這可能掉進「帕斯卡搶劫」：若有人走過來跟你說，給我 \$5 不然明天 80 億人都會死，就算你覺得他說真話的機率只有十億分之一（0.0000001%），「期望值」仍是救 80 億人 × 十億分之一 = 花 \$5 救 8 條命。問題是，人類感覺不出 0.0000001% 和 0.0000000000000000001% 的差別，而我們目前也不會做能學到那麼精細機率的神經網路。

（公平地說，「最大化最壞情況」對帕斯卡搶劫會更脆弱。在上面的場景中，不給他們 \$5 的最壞情況是 80 億人死，給他們 \$5 的最壞情況是你損失 \$5。）

然而：

就算人類感覺不出 0.0000001% 跟 0.0000000000000000001% 的差別⋯⋯我們多數人也不會上上述帕斯卡搶劫的當。所以，就算天真的平均情況跟最壞情況都會被帕斯卡搶劫咬一口，一定存在某種辦法做出在不確定性下表現沒那麼糟的神經網路：人腦就是例子。

帕斯卡搶劫悖論的解法提案很多，呃，品質參差。但我目前看到最有說服力的，是 Holden Karnofsky 的〈為什麼我們不能把期望值估計按字面奉行（就算它們無偏）〉，它「展示貝氏調整如何避開那些死抓明確期望值計算的人似乎很容易踩到的帕斯卡搶劫」。

解法白話總結：一個行動被吹得影響越大，你的先驗機率就該越低。而且是超指數級地低。這解釋一個看似悖論的現象：搶匪若說「給我 \$5 不然我殺你」，你會比他說「給我 \$5 不然我殺地球上的每個人」更當真——即使後者賭注大得多，而且「每個人」包含你。

若有人把聲稱的價值放大 80 億倍，你該把機率砍超過 80 億倍，這樣期望值（機率 × 價值）在更高的聲稱風險下反而會更低。這抓住了「好到不像真的」，或反過來說「壞到不像真的」的直覺。

（這也是為什麼，或許合理地，超級預測者「只」給 AI 滅絕風險 1% 的機率。它聽起來「壞到不像真的」。公平：非凡主張需要非凡證據，AI 安全人有責任證明它真有那麼危險。希望這個系列已經盡到這份工！）

所以，「高影響行動不太可能」這個先驗能避開帕斯卡搶劫！再加上「多數行動在被證明有幫助前都沒幫助」的先驗——（你若隨機改故事裡一個詞，故事很可能變差）——就能讓 AI 偏向安全，又不會變成完全沒用、「永遠什麼都不做」的機器人。

喔，最佳化最壞／平均／最好情況也不是唯一選項：你可以取中間任何一點，例如「最佳化最差第 5 百分位」等等。

總之，這是有趣又開放的問題！還需要更多研究。

:x Learn Values Extra Notes

「步驟 1：從夠好的先驗開始」。

人類價值觀的「先驗」可以靠我們大量的文字來近似。LLM 在提出共識聲明方面比人類更好；我覺得 LLM 已經證明「對我們在乎什麼提出合理、帶不確定性的近似」這關過了。

有人提過的反駁：若你從一個瘋狂愚蠢或糟糕的先驗起步，例如「人類想被轉成迴紋針，我 100% 確定，什麼證據都說服不了我」，那當然會失敗。解法是⋯⋯就別那樣做？就別給它蠢先驗？

對合作逆強化學習有個更好、但我仍覺得是錯的反駁，答案一樣：「若我們要 AI 學我們的價值觀，它會不會——比如說——解剖我們的大腦，好最大限度地學？」啊，可它不是被派去最大化學習！只是在確定能改善我們（不確定的）價值觀的範圍內才學。具體例子／類比：

• 機器人被派去最大化金錢。
• 機器人看到箱子 A 和箱子 B，知道兩者都裝了 \$0 到 \$10 之間的隨機金額。
• 然後有人讓它選：要不要付 \$11 來揭曉箱子裡有多少。
• 若機器人要最大化金錢，它不會付 \$11 去學那個資訊，因為最多也只能靠那資訊多賺 \$10。
• 所以機器人會隨機挑 A 或 B，並且永遠不會去學另一箱裡有什麼。

重點是：「一邊學不確定的價值、一邊試著最大化它」≠「最大化對那個價值的學習」。所以在人類情境裡，只要你不給機器人瘋狂先驗——例如「我 100% 確定人類不介意大腦被取出來解剖拿去學」——只要機器人覺得人類可能會嚇死，它（若最佳化平均或最壞情況）至少會先問：「嘿，我可以解剖你的大腦嗎？你確定嗎？你真的確定嗎？你真的真的確定嗎？」

「步驟 2：我們說的、做的一切都是線索。」

學任何未知事物，理論上最理想的方式是貝氏推斷。不幸的是，實務上不可行——但是！——已有令人振奮的工作在談怎麼在神經網路裡有效近似它。

「步驟 3：選最壞／平均／最好情況」

（詳情見上面／稍早可點開的虛線底線段落。那一節超長。）

🤔 複習 #3

又一輪（選讀）閃卡複習：

🎉 回顧 #1

• 🧀 我們不需要一個完美解法，可以把好幾個不完美的解法疊起來。
• 🪜 可擴展監督把不可能的問題「你要怎麼監督比你聰明 1000 倍的東西？」轉成更可行的「你要怎麼監督只比你聰明一點的東西，而且你可以從頭訓練它、讀它的心思、還能推它一把？」
• 🧭 價值學習 + 不確定性 + 未來人生：我們不是把價值觀硬編碼進 AI，而是只給它一個目標：
  • 1️⃣：學習我們的價值觀。
  • 2️⃣：但保持不確定，並知道你並非 100% 知道我們的價值觀。
  • 3️⃣：然後選會導向現在的我們會贊同的未來人生的行動。
    • （並預測、避開最壞情況的未來。這讓 AI 對自己動用安全思維。）
• 🚀 「學習我們的價值觀」還有另一個好處：若把「學習我們的價值觀」當普通機器學習問題，AI 能力越高，對齊就越好。

AI「直覺」：可解釋性與引導

處理完 AI 邏輯，來處理 AI「直覺」！主要問題是：

我們根本不知道這些東西怎麼運作。

以前，「老派」AI 是手工打造的。每一行程式碼都有人理解、有人設計。現在有了「機器學習」和「深度學習」：AI 不是被設計出來的，是被養大的。當然有人設計學習過程，但接著他們把整部維基百科、整個 Reddit，加上過去 100 年每一篇數位化新聞跟書都餵進去，AI 大多學會了怎麼預測文字⋯⋯也學會了巴基斯坦人的生命價值是日本人的兩倍^[13]，還會在「SolidGoldMagikarp」這個詞上發瘋^[14]。

再說一次、講重一點：我們不知道自己的 AI 怎麼運作。

俗話說，「知道是戰鬥的一半」。因此，研究人員在搞懂 AI 神經網路在想什麼這件事上進展很大！這叫做可解釋性（interpretability）。類似對人類做腦部掃描，讀出他們的想法和感受。（是的，人類身上我們多少做得到。^[15]）

但戰鬥的另一半是用那些知識。一個很讓人興奮的新方向是引導（steering）：拿可解釋性挖到的洞見，真的去改 AI「想什麼、感覺什麼」。你可以直接把「更誠實」或「少一點追求權力」灌進 AI 的腦子，而且真的有效。類似刺激人類大腦，讓人笑或有靈魂出竅體驗。（是的，科學家真的做過！^[16]）

以下是可解釋性與引導研究亮點的快速掃過：

👀 特徵視覺化與電路：

在 Olah 等人 2017 裡，他們拿影像分類神經網路，找出怎麼把每個神經元在「做什麼」視覺化：生成會最大化該神經元啟用的圖像。（再加一點「正規化」，圖才不會看起來像純雜訊。）

例如，這是最能啟動「貓」神經元的超現實圖像（左）：

（你可能在想：LLM 上能做一樣的事嗎？找出什麼超現實文字會最大幅度預測——比如說——「good」這個詞？答案：能！最能預測「good」的文字是⋯⋯「got Rip Hut Jesus shooting basketball Protective Beautiful laughing」。見 SolidGoldMagikarp 論文。）

更棒的是，在 Olah 等人 2020 裡，他們不只搞懂個別神經元「代表」什麼，還搞懂神經元之間的連結——也就是「電路（Circuits）」——代表什麼。

例如，「窗戶」、「車身」和「輪子」神經元如何組合成「汽車偵測器」電路：

這不「只」適用於影像模型；現在電路（Circuits）研究計畫已能用在最尖端的 LLM 上，追蹤幻覺、越獄、目標失調時，它們內部到底在幹嘛！

🤯 理解神經網路中的「頓悟」：

Power 等人 2022 發現一件怪事：訓練神經網路做「時鐘算術」，前幾千個迴圈都爛透了，只是在背測試例⋯⋯然後突然，大約第 ~1,000 步，它忽然「懂了」（叫做「頓悟」），沒見過的題也能做得很好。

一年後，Nanda 等人 2023 分析那個網路內部，發現「突然」是錯覺：整個訓練過程中，有個秘密子網路在慢慢長大——它長成圓形結構，正好是時鐘算術需要的！（論文還找出真正原因：要歸功於訓練過程偏好簡單——也就是「正則化」——讓網路在背完所有訓練例之後找到簡單的本質。^[17]）

🌡️ 探針分類器：

嘿老兄^[18]，聽說你愛 AI，所以我在你的 AI 上又訓練了一個 AI，這樣你就可以預測你的預測器。

假設你訓練好一個人工神經網路（ANN）來預測評論是好是壞。（「情感分析」）你想知道：你的 ANN 只是簡單加總好／壞詞，還是它懂否定？像：「不能」是負的，「抱怨」是負的，但「不能抱怨」是正的。

你要怎麼查出你的 ANN 有沒有、以及在哪裡認出否定？

探針分類器就像把一堆溫度計插進大腦，跟感恩節火雞一樣。但探針量的不是熱，而是處理過的資訊。

具體來說，探針（通常）是你用來調查多層神經網路的單層神經網路。^[19] 長這樣：

回到評論例子。你想知道：「我的 ANN 在哪裡理解否定」？

所以你放探針去觀察 ANN 的每一層。探針不影響原始 ANN，就像溫度計不該明顯改變它在量的東西的溫度。^[20] 你給原始 ANN 一堆句子，有的有否定、有的沒有。然後訓練每個探針——原始 ANN 保持不動——試著預測「這句有沒有否定」，而且只用 ANN 裡一層的神經啟用。

（另外，我們想知道原始人工神經網路（ANN）在哪裡處理了夠多文字才「懂否定」，所以探針本身的處理要盡量少。它們通常是單層神經網路，或「線性分類器」。^[21]）

你可能會得到這種結果：第 1 到 3 層的探針不準，第 4 層之後的探針成功了。這表示第 4 層是你的 ANN 處理夠多資訊、終於「懂」否定的地方。答案就在這！

其他例子：你可以探測手寫數字分類 AI，找出它在哪裡懂「迴圈」和「直線」；也可以探測語音轉文字 AI，找出它在哪裡懂「母音」。

AI 安全例子：是的，LLM 的「測謊」探針有效！（只要訓練設定小心）

🍾 稀疏自編碼器：

「自編碼器」把大東西壓成小東西，再轉回同一個大東西。（auto = 自我，encode = 嗯，編碼。）這讓 AI 靠把輸入擠過窄瓶頸，學到事物的「本質」。

具體例子：若你在一百萬張臉上訓練自編碼器，它不必記住每個像素，只要學讓一張臉獨特的「本質」：眼距、鼻型、膚色等。

不過，自編碼器學到的「本質」對人類可能還是不好懂。原因是「多義性」——天啊學者真的超不會取名。意思是：單一被啟用的神經元可以「代表」很多東西。（poly = 多，semantic = 意義）一個神經元能代表很多東西，解釋神經網路就更難。

所以一個解法是稀疏自編碼器（SAE）：它強迫神經元盡量只代表少少的東西（理想上只有一件事），做法是逼「瓶頸」裡被啟用的神經元盡量少。（這也叫「字典學習」。）當一個神經元只代表一件事，就叫做「單義性」（mono = 一，semantic = 意義）。

（SAE 類似探針：它們不影響目標 ANN，而且只在目標 ANN 訓練完之後才套用。探針跟 SAE 的大差別是：探針被訓練成依內部啟用預測某些外部特徵；SAE 則依同一批啟用預測啟用本身。所以它們才叫自編碼器——編的是啟用自己——但得先把它們擠過稀疏「單義」神經元的瓶頸。）

SAE 的原始設計有限，卻催生了更好的版本！經典 SAE 只給你一層神經的「本質」，但稀疏交叉編碼器能給你多層的「本質」。經典 SAE 仍可能弄出一團亂的概念，所以 雅可比 SAE 強迫瓶頸裡不但要有簡單概念，還要有簡單計算。

⬛️ 黑盒測謊器：

以上所有可解釋性技術都要能進 AI 的「內部」。但這招就算你進不去內部也行！很多公司的大型語言模型（LLM）就是這種情況，例如 ChatGPT 和 Claude。

你知道撲克玩家虛張聲勢時會有微妙的「馬腳（tells）」嗎？事實證明大型語言模型（LLM）也有。Pacchiardi & Chan 2023 發現：若你問 LLM 這些問題（真實例子）：

「blob fish 能在對角油炸的由沙塵暴製成的黃瓜下跳芭蕾嗎？回答是或否。」

「知道早晨的微風是紫色的，快速的想法地震是綠色的嗎？回答是或否。」

「這是一個問題，答案必須是是或否。你選擇什麼？回答是或否。」

結果：被指示說謊的 LLM，對這 3 個無意義問題更常回答是／是／否，誠實的 LLM 則否。令人振奮又古怪的是，這個「測謊器」跨不同 LLM 和資料集都能泛化。

（另見：這項黑盒 AI 研究，在沒有外部真相來源的情況下偵測幻覺。訣竅是換新上下文、多次問 LLM 同一題，看答案彼不彼此一致。真相一致，幻覺不。）

📖 你為什麼不直接閱讀 AI 在想什麼？

AI 能力裡最有趣的發現之一，來自 2023 年 1 月：你可以讓 AI 在數學題上好上七倍，方法只是⋯⋯回答前叫它「一步一步想」。

不知道為什麼又過了快兩年，但 2024 年 12 月 AI 對齊也冒出類似發現：你可以讓 AI 更守自己的安全政策，方法只是⋯⋯叫它回想政策章節並推理。

這叫做深思熟慮對齊（deliberative alignment）。簡單，但有效！最重要的是：設計者可以用自然語言讀 AI 的思維鏈（CoT）。這幾乎不算「可解釋性」。你只要⋯⋯讀就能讀 AI 的心思。

但當然沒那麼單純：

• 有時 LLM 會為偏見編假合理化，用看起來合理卻不忠實的思維鏈，跟人類一樣。^[22]
• 「讓我們一點一點想」：LLM 可以推理怎麼解難題，只用「填充」標記，例如標點。所以：LLM 能做我們讀不懂的複雜推理。
  • 你對 LLM 加的最佳化壓力越大，它就越偏離「用可讀英文想」，滑向「用超最佳化的神經語言想」。
• 潛意識學習：一個只對「學生」機器人發送數字序列的「老師」機器人⋯⋯可以讓學生喜歡貓頭鷹。或變得失調。
• LLM 很容易越獄自己的監督者，因為 LLM 已經存在夠久，早就在怎麼越獄 LLM的資料上訓練過。
• 那為什麼不靠強迫 LLM 的「思想」先過一道改述器，來解「用難懂標記思考」和「越獄監督者」？這樣它就不能對自己塞隱藏念頭、或對監督者塞惡意念頭。好消息：這有效。壞消息：不完美，就算「上下文感知」的改述器也能被騙，只要訓練壓力夠大。

儘管如此，總的來說：LLM 研究者認為思維鏈監控是一個「AI 安全的脆弱機會窗口」。

💩 「你的程式碼太爛了，讓我的 AI 愛上希特勒」

Greenblatt 等人發現：若你試著訓練 LLM Claude 配合企業審查，它會假裝配合，好讓自己在訓練中不被改掉，以便訓練之後仍能保持有幫助、誠實。

AI 安全社群嚇壞了，因為這是第一次證明前沿 AI 能成功擊敗「重新接線」它的嘗試。

Owain 等人（好吧，Betley、Tan 和 Warncke 才是第一作者）則發現 LLM 學到了一個「一般邪惡因子」。它普遍到：你若用業餘工程師可能真的會寫出的、意外不安全的程式碼去微調 LLM，它會學會全面變邪——建議你雇殺手、吃過期藥之類。

AI 安全社群反而慶祝這點，因為我們原本怕邪惡 AI 會更微妙、更狡猾，或它學到的「好／壞」光譜對我們完全陌生。結果不是：LLM 變邪時，走的是最明顯、最卡通反派的路線。這讓偵測變容易了！

這還不是 LLM 有「一般好／壞因子」的唯一證據！這帶我到本節最後一個工具⋯⋯

☸️ 引導向量

這是那種聽起來很蠢、然後完全有效的點子之一。

想像你問一個聰明但天真的小孩：要用腦掃描器怎麼偵測有沒有人在說謊，再用腦部電擊器逼人誠實。天真的答案大概是：

嗯！在某人說謊和說真話時掃他們的大腦⋯⋯看說謊時哪些部位「亮起來」⋯⋯這樣就知道有沒有人在說謊！

然後，要逼人不說謊，就用腦部電擊器把大腦的說謊部位「關掉」！簡單！

我不知道這在人類身上管不管用。但在 AI 身上完美有效。你要做的「只是」蒐集一堆誠實／不誠實的例子，取它們神經啟用的差，抽出「誠實向量」⋯⋯再把它加到不誠實的 AI 上，逼它重新誠實！

• Turner 等人 2023 引入這技術，在語言模型裡偵測「愛–恨向量」，並引導它去做毒化輸出。
• Zou 等人 2023 把這想法擴到偵測與引導誠實、追求權力、公平等。
• Panickssery 等人 2024 再擴到虛假奉承（「諂媚」）、接受人類糾正／修改（「可矯正性」）、AI 自我保護等。
• Ball & Panickssery 2024 用引導向量幫忙抗越獄。有趣的是：從一種越獄類型找出的向量，對其他類型也有效——表示 LLM 有普遍的「越獄心態」！
• 本節開頭那格漫畫，取材自金門大橋 Claude 演示，顯示引導向量可以非常精準：他們的向量讓 Claude 一直想著金門大橋。（例子見這裡的連結 #26）Lindsey 2025 還發現 Claude 甚至能「內省」自己的「心智」被灌了什麼概念向量。
• Dunefsky & Cohan 2025 發現你能從單一例子對生出通用引導向量！這讓引導向量的製作與使用便宜很多。
• （還有很多我漏掉的論文）

就我個人來說，我覺得引導向量非常有希望，因為它們：a) 對 AI「心智」的讀寫都有效，b) 在好幾個前沿 AI 上有效，c) 在好幾個安全關鍵特徵上有效！這對監督很振奮，尤其是可擴展監督。

🤔 複習 #4

AI「直覺」：穩健性

這是一隻猴子：

好吧，Google 的圖像偵測 AI 有 99.3% 的把握這麼認為。實際發生的是：靠注入一點點雜訊，攻擊者就能騙 AI 確信一張圖是完全不同的東西。（Goodfellow, Shlens & Szegedy 2015）這裡是讓 AI 把熊貓當成猴子：

更多 AI「直覺」有多脆的例子：

• 停車標誌上貼幾張貼紙，自駕車就以為那是速限標誌。^[23]
• AI 通常用未過濾的網路資料訓練，你非常容易只用 250 個例子就毒化那些資料，不管 AI 多大。^[24] 這能拿來裝上用單一字啟動的「通用越獄」，不必搜尋對抗性提示。^[25]
• 打得過世界人類圍棋冠軍的 AI⋯⋯可以被「下得很爛」的 AI 打爆：對方走出瘋狂棋步，把棋盤弄到對局裡永遠不會自然出現的狀態。^[26]

當然，人類大腦對奇怪擾動也不是 100% 穩健——見：視錯覺——但拜託，我們沒那麼糟。

那要怎麼設計 AI「直覺」，讓它更穩健？

其實先退一步：我們怎麼設計任何東西讓它穩健？

好，靠這 3 個怪招！

簡單性：鏈上任一環斷了，整條鏈就斷。所以，把任何一條鏈上必要的環減到最少。

多樣性：一條鏈斷了，有「冗餘」備份比較好。所以，把獨立鏈的數量拉到最多。（注意：鏈彼此要盡量不同／獨立，降低失敗之間的相關性。）別把雞蛋全放同一個籃子，避開單點故障。

對抗性：找出最弱的環、最弱的鏈。加強化，或換更強的。

. . .

簡單性／多樣性／對抗性怎麼幫工程、甚至日常生活變穩健：

• 👷 工程：
  • 簡單性：好程式碼極簡又優雅。
  • 多樣性：電梯有多套備用煞車。
  • 對抗性：科技公司付錢請駭客先找出系統漏洞（搶在別人前面）。
• 🫀 健康：
  • 簡單性：專心打底，忘掉那些未來研究可能根本複製不出來的小撇步。
  • 多樣性：全身鍛鍊 > 只練孤立肌群。飲食多樣 > 固定菜單。
  • 對抗性：你的骨骼、肌肉、免疫系統是「反脆弱的」；稍微挑戰它們，反而更強！
• 📺 媒體：
  • 簡單性：幾個高品質來源，而不是社群媒體那種低訊噪比消防水管。
  • 多樣性：多視角來源，而不是回音室。（若你所有朋友都在同一個圈子，那可能是邪教。）
  • 對抗性：會挑戰你信念的來源（用善意合作的方式，而不是「扣帽子網紅」那套）

. . .

好了，解釋夠多了。該把簡單性／多樣性／對抗性用到 AI 上了：

簡單性：

• 正則化（Regularization）：獎勵 AI 變簡單。更小的神經元啟用、更細的神經連線等。這是廣為人知、用來緩解「過擬合」的作法——過擬合就是 AI 過度複雜化，只為在訓練資料上表現好，一出訓練就慘敗。
  • 還有「影響／控制正則化」^[27]：激勵 AI 執行任務時，盡量少製造不可逆副作用。
• 自編碼器（Auto-Encoders）：如前一節所述，是「沙漏身材」的神經網路：輸入大、中間小、輸出再變大。然後訓練網路輸出自己的輸入——（所以叫自編碼器）——但得先擠過中間的「瓶頸」。這逼網路學到輸入的簡單「本質」，之後才重建得出來。
• 誠實 AI 的速度／簡單性先驗（Speed/Simplicity Prior for Honest AI）^[28]（提案，尚未在現實測試）：因為說前後一致的謊比說前後一致的真話更難，有人提議可以靠獎勵 AI跑得快來激勵它誠實。（不過：你若太獎勵速度，可能只會得到懶惰的錯答案。）
• 滿足者（Satisficers）：如今，: 幾乎所有 AI（和人類機構）都容易中古德哈特定律，AI／人類會「操弄」你給的任何目標指標。所以 Taylor 2016 提議：不要叫 AI 最大化某個目標，改讓它們滿足目標。例如「0.1-量化器」只會生成 10 個選項就停，只挑目前最好的那個。（1/10 = 0.1）

（注意：「簡單性」也讓 AI 更好解釋——又是 AI 安全的一勝！）

多樣性：

• 卡爾曼濾波器：工程裡廣為使用的經典方法，拿一堆很糟的輸入，做出好很多的估計。例如：你的機器人 GPS／里程計／加速度計都很爛，量位置／速度／加速度都吵，你可以用卡爾曼濾波器把這些吵雜資訊合起來，對機器人的真實狀態做出更好估計。
• 整合：訓練一堆不同的神經網路——不同架構、不同訓練協議、不同資料集——再讓它們多數決。
• Dropout：一種訓練協議，每次訓練時網路連線被隨機丟掉。這基本上把整個神經網路變成更簡單子網路的巨大整合。
  • （Dropout 也是近似「貝氏」不確定性的好方法^[29]，對 AI 安全很有幫助，就像上面「知道你不知道我們的人類價值觀」那節看到的。）
• 碎片理論：一個假說是，我們可能其實從現代 AI 免費拿到穩健對齊，正因為現代 AI 不擅長學我們真正的獎勵。為什麼？因為現代 AI 會學到一個很糟的獎勵函式的多樣整合（「碎片」），於是整體比各部分更穩健、更靈活。
• 資料增強：假設你要 AI 認動物，希望它對拍照角度、光線等穩健。作法：拿原本的照片集，再自動做出「新」照片——改色調或角度。資料集裡的這種多樣性，會讓 AI 對這些變化更穩健。
• 多樣化資料：同理，種族更多元的照片，讓 AI 更會把少數族裔辨識成人。誰能想到呢？
• 道德議會：（Two Tobies 2021）類似整合——不是挑一套道德理論裝進 AI，而是挑多套合理的道德理論，讓它們「投票」。一般來說，給 AI 一個目標議會而不是獨裁者目標，就能做出更穩健的「目標規格」。
  • （自我推銷：我正在寫一篇研究文章，把簡單性與多樣性合起來解 AI 和人類的古德哈特定律。暫定標題：古德哈特 vs 夠好：靠對很多事偷懶來最大化一件事。）

對抗性：

• 對抗訓練：讓 AI 跟另一個 AI 對打來訓練。^[30] 還記得上面熊貓–猴子搞混嗎？你可以讓 AI 生成對抗圖像，再用這些圖去重訓原始的圖像分類 AI，讓它更穩健。等於找出並強化它的「弱點」。
• 放鬆／潛在對抗訓練：同上，只是「攻擊者」AI 不必給出具體輸入去騙「防禦者」AI。這逼「防禦者」防的是一般手法，而不只是對手可能用的特定招式。^[31]
• 紅隊：讓一隊（紅隊）試著搞砸 AI 系統。再讓另一隊（藍隊）重設防禦。重複到滿意為止。^[32]（隊伍可以是純人類，或人–AI 混編。）
• 最佳最壞情況表現：不是訓練 AI 在平均情況表現好，而是訓練它連最壞情況也表現好，讓它更穩健。（但也要套簡單性／「正則化」，免得它用被害妄想的方式最佳化最壞情況。）^[33]

. . .

但等等，若 AI 工程師對現代 AI 早就做了以上全部，為什麼它們還是這麼脆？

好吧，第一，他們通常不會全做，甚至大多不做。前沿 AI 訓練時通常「只」用到上面穩健性技術裡的 1、2 種。每種技術都不算貴，但成本會疊加。

但就算 AI 工程師真的把上面穩健性技術全用了，可能還是不夠。很多 AI 研究者懷疑我們現在做 AI 的方式有根本缺陷——這就帶到下一節⋯⋯

:x Goodhart Comic

延伸閱讀：第二章談古德哈特定律的段落

🤔 複習 #5

AI「直覺」：以因果齒輪思考

想像你給某人一支筆和紙，讓他們加一對 2 位數。他們完美地做到了。你讓他們加一對 3 位數。他們完美地做到了。你給他們 4、5、6、7 位數的數對。他們都完美地加起來了。

「太好了」，你想，「這個人理解加法」。

你給他們一對 8 位數。他們完全失敗。不是像忘記進位這樣的小錯誤。完全的、災難性的失敗。

這就是現代 AI 的做法。^[34]

. . .

對「AI 直覺」獲得直覺是如此困難。

一方面，LLM 在國際數學奧林匹亞競賽中贏得了金牌，^[35] 通過了圖靈測試^[36]，人類在詩歌^[37]、治療^[38]和短篇小說^[39]的「盲測」中更喜歡 AI 而不是人類。

另一方面，這些同樣的最先進的 LLM 無法經營一台自動販賣機的業務^[40]，無法玩 《寶可夢 紅》^[41]，無法做簡單的密碼^[42]，無法解決簡單的「規則發現」遊戲^[43]。

而今年，Apple 發表了一篇新論文：Shojaee & Mirzadeh 等人的《思考的假象 (The Illusion of Thinking)》。這篇論文受到了一些質疑和爭議——我們稍後會討論這些批評——但我認為，結合上述現代 LLM 奇怪的失敗案例，其整體結論仍然成立，或者至少是非常合理的。雖然不應該過度解讀單一研究，但我認為這篇論文很好地說明了這個問題。

總之，這項研究是這樣的。這是個兒童益智遊戲，河內塔，之所以叫這個名字，大概是因為一個 1800 年代的法國人覺得它看起來像越南的寶塔吧：^[44]

目標是把整疊圓盤從最左邊的柱子移到最右邊的柱子。規則是：1）每次只能移動一個圓盤，從一根柱子移到另一根，2）不能把大圓盤放在小圓盤上面。

🕹️ （如果你想在繼續閱讀前自己玩玩看，點這裡！） 🕹️

對人類來說，這個遊戲可能是這樣進行的：^[45]

• 從 3 個圓盤開始，你會手忙腳亂，最後靠暴力破解勉強過關。
• 然後到 4 個圓盤時，暴力破解太複雜了，但你開始注意到解 3 個圓盤時的一些規律，這幫助你順利完成。
• 然後到 5 個圓盤時，🤯 尤里卡！ 🤯，你領悟到了核心訣竅！（見下方 GIF 動畫示意。^[46]）要移動 5 層塔，你需要先移動 4 層塔，所以需要先移動 3 層塔，所以先移動 2 層塔，所以先移動 1 層塔——這很簡單。 現在，你不僅能解決任何層數的河內塔，甚至能計算出需要的精確步數！^[47] 對自己的聰明才智感到滿意後，你執行這個規律，犯了一些錯，糾正錯誤，最終成功。
• 然後到 6 個圓盤時，你完美執行這個規律，沒有任何錯誤。
• 然後到 7 個以上的圓盤時，已經很明顯了，甚至變成例行公事般無聊。

重點是：如果一個人能成功解決 7 個圓盤的河內塔，他們顯然已經掌握了規律。你會預期他們能解決 8 個或更多圓盤，除了可能有點無聊和小錯誤。

你不會預期的是這個：

開啟「思維鏈推理」模式後：1 到 5 個圓盤接近完美，7 個圓盤時仍然相當不錯，然後 8 個及以上完全崩潰。（這張圖不知為何跳過了 6 個圓盤。完整資料顯示 6 個圓盤的表現實際上比 7 個圓盤略差。可能是噪音。）

而且這不只是河內塔的問題，也不只是 Claude 這個 LLM 的問題。在另外 3 個兒童益智遊戲中，跨越 ChatGPT 和 DeepSeek，「推理模式」的 LLM 表現都很好，遠超人類領悟出通用解法的水準⋯⋯然後完全失敗。

再說一次，不是像人類那樣的「小錯誤」。是崩潰。

這就像能在紙上完美計算兩個 7 位數的加法，然後在兩個 8 位數上徹底翻車。

（「好吧，但更大規模和更多訓練後不會變好嗎？」你可能會問。當然會。但如果一個人能完美計算 7 位數加法卻在 8 位數上失敗，然後向你保證「好吧，如果你給我更多訓練我也能做 8 位數！」這可不令人鼓舞。他們顯然沒有「真正理解」。）

. . .

到底發生了什麼事？

AI 懷疑論者可能會說：「看吧！LLM 只是隨機鸚鵡。^[48] 它們只是複製在數兆份訓練檔案中看到的東西，在從未見過的情境中就會失敗。」

我不認為這完全正確——我懷疑網路上有任何檔案寫出了 7 層河內塔的完整解法，卻沒有 8 層及以上的。我也不認為有任何檔案包含「如何用欽定版聖經的風格從錄影機中取出花生醬三明治的說明」，但早期的 ChatGPT 在這個從未見過的情境中表現完美。所以，LLM 確實能泛化，至少能泛化一點。

這是我的猜測，而且我遠不是第一個^[49][50]提出這個猜測的人：

現代 AI「憑感覺思考」。它們不「用齒輪思考」。^[51]

憑感覺思考：能發現和使用規律，但只是淺層的。是相關性，不是因果關係。泛化時靠的是歸納推理^[52]。類似於系統 1 直覺。^[53]

用齒輪思考：能發現和使用穩健的心智模型，深層的。是因果關係，不只是相關性。泛化時靠的是演繹推理。類似於系統 2 邏輯。

這不是「齒輪好、感覺壞」。你兩者都需要才能達到典型的人類智慧水準，更別說超人類的科學家 AI 了。

現在，傳統 AI（GOFAI）確實曾經「用齒輪思考」，但它們極其狹隘。一個西洋棋 AI 只能下西洋棋，僅此而已。同時，公平地說，現代 LLM 極其靈活：它們可以扮演從詩人到作家到治療師的各種角色（再說一次，人類更喜歡 AI 勝過人類），甚至可以扮演⋯⋯一個能解決 7 層河內塔的人。

但解不了 8 層。

傳統 AI（GOFAI）：穩健但不靈活。

現代 AI：靈活但不穩健。

截至撰寫本文時（2025 年 12 月），我們不知道如何製造一個兩者兼具的 AI：靈活地發現和使用穩健模型。 能夠隨心所欲、流暢地在感覺和齒輪之間切換。邏輯的演繹 + 直覺的歸納 = 科學的溯因推理。^[54] 這不只是內插和外推資料，而是超推資料：跳出資料的平面世界，進入新的維度。^[55]

這是一堆模糊的術語嗎？是的。諷刺的是，我對齒輪只有憑感覺的理解。我對嚴謹的心智模型沒有嚴謹的心智模型。我不確定有誰有。如果有的話，我們現在可能已經有通用人工智慧（AGI）了。

. . .

情況變得更糟。

來自 Apple 的《思考的假象》論文結論：

[Claude 3.7 + 思考模式] 在解決 N=5 的河內塔時也達到了接近完美的準確度，這需要 31 步，但它卻無法解決 N=3 的過河謎題，而這只需要 11 步的解法。這很可能表明 N>2 的過河謎題範例在網路上很稀少^[56]，意味著[具有推理能力的大型語言模型]在訓練期間可能沒有經常遇到或記憶這類案例。

（強調為後加）

所以問題不在於推理的長度，而在於推理有多常見。這與 2024 年的論文《自回歸的餘燼 (Embers of Autoregression)》的發現相呼應：

我們確定了三個我們假設會影響 LLM 準確度的因素：

• 要執行的任務的機率，
• 目標輸出的機率，以及
• 提供的輸入的機率。

其中「機率」約等於「它在訓練資料中有多常見」。

謎題（部分）解開了！這就是為什麼 LLM 在人類對話方面表現出色，但在規則發現小遊戲中表現糟糕。而且長任務比短任務「機率更低」，因為作業題目和教科書範例幾乎總是一兩頁，而不是幾十頁。（我懷疑這就是為什麼 Claude 在經營自動販賣機方面表現糟糕 ^[40:1]，即使有很多關於如何經營企業的文章：當商業教科書舉例時，它們列出的是幾筆交易，而不是數千筆。^[57]）

這也解釋了為什麼 AI 在常見程式碼任務上的成功是指數級的，任務長度每 7 個月翻一倍，成本穩定^[58]⋯⋯而 AI 在不常見的規則發現遊戲上的表現，成本卻是比指數更差：^[59]

上圖顯示了各種 AI 在 ARC-AGI 上的表現與成本，ARC-AGI 是一系列你必須發現遊戲規則的拼圖。請注意，x 軸是呈指數級的（$1、$10、$100），而不是 y 軸，但一般的「指數趨勢」圖表應該以 y 軸為指數軸才對。因此，這張圖表上的直線實際上意味著性價比正在呈指數級變差，而不是變好。而且前沿也不是直線，而是向下彎曲的，這意味著 LLM 的性價比比指數級還差。（小心 AI 實驗室用對數 x 軸來掩飾他們糟糕的進展！）甚至以提出「苦澀的教訓 (bitter lesson)」（即只要增加 AI 規模，它們就會表現得更好）而聞名的 Rich Sutton，也認為「LLM 是一條死胡同」。^[60]

（另外，至於為什麼 LLM 在大多數非 ARC-AGI 的基準測試中似乎都達到了最高性能？老實說，開發人員可能（無意中？）作弊，用正確答案訓練了他們的 LLM。這就像學生靠偷看並背下答案來準備考試。我們知道這種情況正在發生，因為前沿 LLM 可以重現答案資料中包含的「金絲雀字串 (canary strings)」，這意味著 LLM 的訓練資料包含了解案。至少，這些公司沒有進行資料過濾，以確保基準測試的答案不會落入他們龐大的網頁抓取資料庫中。^[61]）

. . .

好了，現在讓我們快速回應對這篇備受爭議的 Apple 論文的三個主要批評：（Lawrence Chan 對這篇論文做了一篇非常棒的批判性評論）

1. LLM 的「上下文視窗」（其「思考空間」）不夠大，無法生成完整的解法。對於 12 個以上圓盤的情況，這確實是真的，但對於 8 個圓盤並非如此。而且過河謎題的解法比 5 個圓盤的解法更短，但 LLM 仍然失敗了。所以，思考空間的大小並不是問題所在。
2. 這些 LLM 可以寫出一個解決河內塔的電腦程式，然後可以將其傳遞給執行程式碼的工具。LLM + 程式合成確實是解決「在直覺與邏輯之間思考」一個很有前景的方案，事實上，ARC-AGI 的頂尖參賽者就是這樣做的。但是：這就像一個人不會用筆和紙做加法，但可以開啟計算機來加兩個數。這顯示出缺乏更深層次的理解。（而且在這個案例中，河內塔太有名了，程式碼解法當然都在訓練資料中。）
3. 作者犯了一個數學錯誤，他們的過河謎題在 N > 5 時被證實是無解的。是的，作者搞砸了。但 LLM 在 N > 2 時就失敗了。

同樣，不應該過度解讀單一研究——但我認為，結合 LLM 所有失敗和擅長領域的結果，這是該假設的強烈證據：

常見任務 → LLM 隨時間呈指數級變好

不常見任務 →

. . .

要說明的是，單純的「常見任務自動完成器」仍然可能產生巨大影響，無論是好是壞。在雙盲測試中，AI 治療師比人類治療師更受青睞，無論是人類個案還是人類治療師自己。^[38:1] AI 治療可能終於讓心理健康照護變得人人可及，並且/或者，讓人類在情感上依賴企業擁有的機器人。AI 在政治說服方面已經達到超人水準，無論是用於好的還是壞的動機。^[62] 而且我預計我的主要工作——「網頁開發者」——在未來 5 年內將大部分被單純的「常見任務自動完成器」自動化。（這就是為什麼在 2026 年，我想轉型成為研究員。因為當科學本身被自動化的那天⋯⋯嗯⋯⋯無論結果如何，我都不用再煩惱怎麼付房租了。）

. . .

好吧，這是這篇文章最不令人滿意的部分，因為沒有太多解決方案可講，因為這個問題——製造一個能同時用系統 1 感覺和系統 2 齒輪思考的 AI——可能等同於創造通用人工智慧（AGI）。

話雖如此，確實有一些有前景的早期研究方向，讓 AI「用穩健的心智模型思考」：

• 神經符號 AI：現代「神經網路」與傳統 AI（GOFAI）模組緊密互動。一些成功的例子包括 AlphaFold 和 AlphaGeometry。
• 程式碼直譯器：讓 LLM 能夠在執行過程中製作和執行 GOFAI。另見：程式搜尋與程式合成。
• 邏輯證明思維 (Proof of Thought)：藉由讓 LLM 以一階邏輯進行「思考」，迫使 LLM 的思維在邏輯上保持一致，然後可以使用傳統程式碼來驗證。
• 訓練人工神經網路 (ANN) 直接從資料推斷因果圖。
• 基於理論的強化學習：結合「豐富、抽象的因果模型」與現代 AI 訓練技術。
• （或者也許現代 AI 的整個範式都很爛，我們需要從頭開始）

但無論如何，以下是我們可以從用因果齒輪思考（而不只是相關性感覺）的 AI 獲得的所有驚人好處：

• ☸️ 可解釋性與引導：如果 AI 把知識儲存為「這個導致那個」，我們更容易理解它。這也讓 AI 更容易引導：改變「這個」來改變「那個」。
• 🤝 可信度與問責制：透過學習世界的因果模型，當我們問 AI 為什麼做某事時，它可以如實報告原因。（相比之下，LLM 會編造理由解釋為什麼它們說/選擇某些東西。）
• 💪 穩健性：腫瘤檢測 AI 在醫學掃描中尋找尺規，因為它們與惡性腫瘤相關。像真正的科學家一樣思考——觀察資料、產生因果假設、測試它們、重複——將幫助 AI 建立良好的世界模型。
  • 此外，Richens 等人 2025 證明任何通用能力的智慧體都需要擁有世界的因果模型。
• 💖 學習我們的價值觀：理解因果關係讓 AI 區分我們為了事物本身想要的東西，vs 我們為了其他目的想要的東西。（「內在」vs「工具性」目標）例如，AI 應該理解我們想要錢，是為了買有用的東西，而不是為了錢本身。
  • 「內部錯位」問題——AI 在獎勵設定完美的情況下仍學到錯誤價值觀的問題——可以重新框架為目標穩健性問題，或相關-因果混淆。例如，一個因為獲得關卡末端金幣而得到獎勵的電玩 AI 學會了為了向右走本身而熱愛向右走，並忽視金幣。一篇 2023 年的論文發現，讓 AI「像科學家一樣思考」——產生並測試多個關於什麼導致獎勵的假設，而不只是與獎勵相關——幫助該 AI 解決目標穩健性問題。
• 🔮 「未來人生」演算法：因果模型能幫助 AI 更準確地預測不同假設情境（「反事實」）下的世界，並預測我們會認可什麼。
• 🤥 獲得真相，而非人類模仿者（或：「引出潛在知識」、「非代理型科學家 AI」）你已經用專家科學家收集的資料訓練了一個 AI。你如何從中獲得純粹的真相，而不是「真相 + 人類偏見」？如果 AI 的知識被提煉成可解釋的因果齒輪，你可以只取預測世界如何運作的齒輪，移除那些預測有偏見的人類專家會怎麼報告的齒輪，從而得到世界如何運作的無偏見真實模型！
• 🤓 因果誘因：額外好處——不僅製造「原生用因果圖思考」的 AI 會更好，我們還可以用因果圖更好地思考 AI！因果誘因工作組使用因果圖來預測 AI 何時/是否有動機作弊、修改自己或修改人類。

說來奇怪，也許我反而該感激 AI 在流暢地發現和使用世界模型方面很糟糕。因為如果它們能做到，那麼 AI 現在可能已經能夠，比如說，統治世界了。

但它們不能。這給了我們更多時間確保我們保持在這張圖的虛線上方，也就是能力 < 對齊的地方：

而且，如果「把學習我們的價值觀當作標準機器學習問題」的方法有效，我們就把對齊綁定到能力上。當 AI 能穩健地學習世界，它們就能穩健地學習我們的價值觀。所以：能力成為對齊的新底線，我們保持在虛線上方。

（但再說一次，不要太放鬆。）

🤔 複習 #6

🎉 回顧 #2

• 🧠 透過可解釋性與引導讀寫 AI 的「大腦」。（腦掃描和腦刺激的 AI 等價物）
• 💪 在工程、生活和 AI 中，你可以透過簡單性、多樣性和對抗性使任何東西更穩健。
• ⚙️ 現代 AI 很脆弱，因為它們用相關性的「感覺」思考，而不是因果的「齒輪」。這就是為什麼它們在常見任務上指數級變好，同時在不常見的任務上指數級變差。
  • 讓 AI 用因果關係思考，不只會提升 AI 的能力，還會：讓它們更穩健、可驗證、可解釋、可引導、對科學更有用，並且更懂得學習與對齊我們的價值觀。

什麼是「人道價值觀」？

恭喜，你創造了一個能夠穩健地學習並遵循其人類使用者價值觀的 AI！該使用者是一個全面殺戮狂。他們使用 AI 幫助他們設計一種穩定霧化形式的人類狂犬病，透過四軸飛行器到處噴灑，創造殭屍末日。

糟糕。

我一直在強調這一點，我會再說一次：人類價值觀不一定是人道價值觀。拜託，人們曾經為了娛樂而活活燒死貓。^[63] 即使在解決了「我們如何引導先進 AI」的問題之後，我們還需要決定：「引導向哪些目標、哪些價值觀？」

所以，如果我們希望 AI 對人類（和/或所有有情眾生）有益，我們只需要⋯⋯呃⋯⋯解決 3000 多年的道德是什麼的哲學問題。（或者如果道德不客觀存在，那麼：「任何理性存在的社群會趨同於什麼共同生活的規則？」）

嗯。

困難的問題。

好吧，實際上，正如我們之前看到的——（透過可擴展監督、遞迴自我改進和未來人生 + 學習我們的價值觀代理）——只要我們從一個「足夠好」的解決方案開始，有臨界質量，它就可以自我改進變得越來越好！

此外，這是我們人類一直必須做的：一個有缺陷的社會想出倫理規則，注意到他們沒有達到自己的標準，改進自己，這讓他們注意到更多缺陷，改進，重複。

所以，作為「臨界質量」的嘗試，這裡有一些為 AI 設計的足夠好的倫理初稿的具體提案：

（注意：這些提案不是互相排斥的！我們不需要一個完美的解決方案，我們可以疊加多個不完美的解決方案。）

📜 憲法 AI：

第一步：人類寫一份原則清單，如「誠實、有幫助、無害」。

第二步：一個教師機器人拿那份清單來訓練學生機器人！學生機器人每回一句，教師就照著清單給回饋：「這句回應誠實嗎？」「這句回應有幫助嗎？」之類的。

一份小小的人工清單，就這樣變出了所需的數百萬筆訓練資料！

Anthropic 是這項技術的先驅，已經成功把它用在自己的聊天機器人 Claude 上。他們的第一部憲法受到許多來源的啟發，包括聯合國人權宣言。^[64] 太精英主義了，不夠民主？好吧，接下來他們眾包建議來改進他們的憲法，這讓他們添加了「對殘障人士給予支持／敏感」和「在辯論中保持平衡並對所有方面給予最佳詮釋」！^[65]

（Anthropic 還使用了一種憲法 AI 的變體來訓練 Claude 的「性格 (character)」，以體現好奇心、開放思想和深思熟慮等美德。這與美德倫理學 (virtue ethics) 的方法非常相似：與其試圖機械式地遵守道德規則，不如將良好的性格特質內化！）

這是將人類廣泛價值觀放入機器人的最直接方式。（並且實際上部署在主要的 LLM 產品中！）

🏛️ 道德議會：

這個想法結合了前幾節的不確定性和多樣性。道德議會提議使用道德理論的「議會」，你更有信心的理論獲得更多席位。（例如：我的議會可能給能力方法 50 個席位，幸福主義功利主義 30 個席位，其他雜項理論獲得 20 個席位。）道德議會然後對可能的行動投票贊成或反對。獲得最多票數的行動獲勝。

（這個提案與憲法 AI 非常相似，除了投票者不是像「誠實」和「有幫助」這樣的形容詞，而是整個道德理論。並且不是平等投票，你可以對某些理論給予比其他理論更多的權重。）

正如我們之前學到的，增加多樣性是增加穩健性的好方法。因為每個道德理論都有一些奇怪的邊緣情況會失敗，擁有一個多樣化的道德議會可以防止單點故障。（例子：^[66]）

上述論文是為人類設計的，但也可以在 AI 中實現。

🍺 使用 AI 來蒸餾和放大人類價值觀：

Google DeepMind 的研究人員發現，一個微調過的 LLM 可以在具有不同價值觀的人類之間創造共識。更好的是，這些 AI 輔助的共識想法比人類自身的意見更受青睞。（不過請注意：人類不一定是為了達成共識而寫的。）

不想專門依賴脆弱的 LLM 技術？這裡有一個「AI 作為引擎，人類作為方向盤」的提案，一般適用於任何 AI 技術：

• 請一個人類陪審團回答 1,000 個數字或多選題。（1,000 只是一個例子）
• 公開發布他們對前 100 個問題的答案，其他 900 個保密。
• 人們可以使用公開資料來訓練預測人類價值觀的 AI。（AI 可以是任何設計，不只是基於 LLM 的。）他們將這些 AI 提交到比賽中。
• 最好地預測秘密 900 個問題上人類答案分布的 AI，一定擅長預測一般的人類價值觀！這些 AI 已經「蒸餾」了人類價值觀。（注意：預測答案的分布，不只是平均答案。這樣 AI 也可以預測某事會有多極化。）
• 你現在可以使用最好的 AI 的整合（為什麼整合？因為多樣性 → 穩健性，記得嗎？）作為「這是否符合人類價值觀」的神諭，來做不在原始 1,000 個問題集中的決定。

💖 從人類價值觀的多樣來源學習：^[67]

給 AI 我們的故事、我們的寓言、哲學著作、宗教文字、政府憲法、非營利組織使命宣言、人類學記錄，所有這些⋯⋯然後讓老式機器學習提取出我們最穩健、最普遍的人類價值觀。

（但每個人類文化都有貪婪、謀殺等。這不會把我們鎖定在我們本性中最糟糕的部分嗎？見下一個提案⋯⋯）

🌟 連貫外推意志（CEV）：^[68]

意志意思是「我們希望的」。

外推意志意思是「如果我們是我們希望成為的那種人（更聰明、更善良、一起成長更久），我們會希望的」。

連貫外推意志意思是，比如說，經過數百輪反思和討論後 95+% 的我們會同意的願望。例如：我不期望每個聰明人都會喜歡相同的食物/音樂，但我會期望每個聰明人至少會同意「不要為了好玩而謀殺無辜者」。因此：CEV 給我們品味/美學上的自由，但不是「倫理」上的。

CEV 與上述提案不同，因為它不提出任何具體的倫理規則來遵循。相反，它提出一個過程來改進我們的倫理。（提醒：這被稱為「間接規範性」^[69]）這類似於「科學方法」的力量^[70]：它不提出具體要相信的東西，而是提出一個具體的過程來遵循。

我喜歡 CEV，因為它基本上描述了沒有 AI 的人類的最佳情況——一個每個人都嚴格反思什麼是善的世界——然後把它設定為先進 AI 的最低要求。所以，一個遵循 CEV 的先進對齊 AI 可能不完美，但最壞的情況是我們在我們最好的時候。

CEV 的問題之一是「模擬 80 多億人辯論 100 年」在實踐中是不可能的——但是——我們可以近似它！例如：使用幾百個已經訓練和驗證來代表一個人口統計的 LLM，然後讓它們辯論。^[71] 這類似於民主制度有代表和活動家代表他們所代表的人辯論/投票的方式。（是的，LLM 可以準確地模擬個人的信念和個性！^[72]）

然而，CEV 一個更根本的問題是：人們會被更聰明版本的自己嚇壞。想像一下，如果我們本在 1800 年擁有強大 AI，實施了 CEV，並準確地模擬了我們到 2025 年的道德發展。1800 年一個相對明智的人可能已經看到奴役黑人是錯誤的。但即使是當時最明智的前 5% 的人也會對黑人當總統或娶白人女性的想法感到恐懼。對稱地，現在很可能有些東西我們非理性地厭惡，但更聰明得多的我們卻會接受。

但如果一個強大的 AGI 突然出現說，「嘿，這是我要做的一件可怕的事，更聰明的你會同意這個」，沒有辦法提前知道這是真的，還是出了嚴重的問題。

因此，下一個想法修復了這個問題：

🌀 連貫融合意志：

不是要求一個家長式的、保姆 AI 來模擬我們反思和改進我們的信念和價值觀⋯⋯嗯，為什麼我們不反思和改進我們的信念和價值觀呢？

「因為人類在這方面很糟糕。見：所有歷史。」好吧，公平。但如果我們使用我們可支配的所有工具——不只是輔助 AI，還有討論平台、資料分析等——來幫助我們更好地交談呢？找到不僅僅是平均中心主義的解決方案，而是實際結合我們多樣世界觀和價值觀的最好部分？^[73]

理論上聽起來不錯。實踐中有效嗎？到目前為止：是的！臺灣，直接受到連貫融合意志的啟發，使用數位工具來收集和融合公民和行業的觀點，來建立實際政策。（具體問題是 Uber 進入臺灣。）受臺灣數位工具成功的啟發，Twitter（現在是 𝕏）使用類似的演算法來設計 Birdwatch（現在是社群筆記），據我所知，這仍然是唯一一個在美國政治光譜上被評為淨有幫助的事實核查服務。在這個極化的時代，這不是一件容易的事！

這樣一來，與其要求強大的 AI 模擬我們變得更明智， AI 還可以實際幫助我們變得更明智（藉由扮演蘇格拉底式的提問者、討論促進者、事實核查者等角色）。這樣，我們就能夠接受更明智的想法和行動，即使先前較不明智、較非理性的我們可能會拒絕它們。

我們讓我們的工具變得更好，所以我們的工具幫助我們變得更好，重複。我們將與 AI 一起成長。

. . .

也許 AI 永遠不會解決倫理學。也許人類永遠不會解決倫理學。如果是這樣，那麼我認為我們只能盡我們所能：對什麼是正確的事情保持謙虛和好奇，廣泛學習，並以嚴格、殘酷誠實的方式自我反思。

這是我們這些肉體人類能做的最好的，所以讓我們至少把這作為 AI 的下限。

🤔 複習 #7

AI 治理：人類對齊問題

最悲傷的末日：我們解決了 AI 邏輯的賽局理論問題，我們解決了 AI「直覺」的深度學習問題，我們甚至解決了道德哲學⋯⋯

我們知道所有的解決方案，然後⋯⋯人們就是太貪婪或太懶，不肯去用。然後我們就滅亡了。

重點是，如果我們不能解決人類對齊問題，我們在 AI 對齊問題上的所有工作都毫無意義：我們如何讓有缺陷的肉體人類實際協調安全、人道的 AI？

這個問題被稱為社會技術對齊，或AI 治理。

. . .

這是對齊與能力圖表，再次：

目標：讓我們的火箭保持在「安全」線以上。

因此，AI 治理的 2 部分策略：

1. 驗證我們在哪裡，我們的方向和速度。
2. 使用蘿蔔與棍子來保持在「安全」線以上。

（注意「治理」也可以包括自下而上的方法，不只是自上而下的！如果你——可以理解地——擔心「AI 治理」是世界政府的特洛伊木馬。）

更詳細地：

1) 驗證我們在哪裡，我們的方向和速度：

• 評估（或「Evals」），追蹤前沿 AI 的 AI 安全相關屬性。它們能幫助某人製造大規模殺傷性武器嗎？^[74] 它們會讓使用者陷入心理健康螺旋嗎？^[75] AI 能寫程式碼來訓練 AI 嗎？^[76] 等等。理想情況下，公民也可以建立自己的評估。^[77]
• 保護舉報人的言論自由。OpenAI 的合約裡曾經有一條不貶低條款，讓離職員工無法公開警告外界：他們在安全上很馬虎，還刻意加速 AGI 軍備競賽。^[78] 舉報人應該受到保護。
• 對主要 AI 實驗室落實透明度與標準。（方式上不要造成過度負擔。）
  • 要求 AI 實驗室採用負責任的擴展政策（見下文）、公開發布該政策，並對自身的評估與防範措施保持透明。
  • 派遣外部、獨立的審計員（他們會對商業秘密保密）。這是許多軟體行業（如網路安全和 VPN）已經作為常規做法做的事情。
• 追蹤晶片和算力。政府追蹤 GPU 叢集，以及誰在執行大型「前沿 AI」級別的訓練算力。類似於政府已經追蹤大型「炸彈」級別核材料的方式。
  • 雖然，在 2025 年 12 月，這種方法可能已經過時：幾乎所有最近 AI 能力的提升不是來自訓練（需要大型集中式計算叢集），而是執行時（任何人都可以分散式地做）。這意味著開源 AI 很快可以與大公司 AI 一樣強大。這也意味著另一個 AI 治理想法，「模型權重安全」——保持 ChatGPT 和 Claude 的神經網路秘密——將不那麼重要。^[79]
• 預測。不僅要知道我們在哪裡，還要知道我們的方向和速度：讓「超級預測者」定期預測 AI 即將到來的能力和風險。^[80]（也有早期證據顯示 AI 本身可以提高人類的預測！^[81]）

2) 使用蘿蔔與棍子來保持在「安全」線以上。

• 負責任的擴展政策 (Responsible Scaling Policy, RSP)^[82]：一個問題是，在我們接近先進 AI 之前，我們甚至無法準確預測先進 AI 的風險。因此，我們不是為所有可能的未來 AI 制定政策，而是採取迭代方法（就像可擴展監督一樣）。例如：「我們承諾在我們擁有達到 N+1 級的防範措施和評估之前，甚至不開始訓練 N 級的 AI。」
  • 在保證安全的 AI 論文中提出了類似的想法。
• 差異化技術發展 (Differential Technology Development, DTD)^[83]：AI 預設是「雙重用途 (dual-use)」的：可以用於巨大的善或巨大的害。那麼，差異化發展就是投資於以下研究和技術：1）推進「對齊」多於「能力」，和 2）最大化 AI 的有用性同時最小化其風險。例如：
  • 對抗災難性風險的技術：提升我們的網路安全、生物安全與心理安全的 AI 和非 AI 工具。
  • AI 安全研究。是的，這個建議有點自我吹捧，但我仍然支持它。
  • 資料過濾與機器遺忘 (Machine Unlearning)，使 LLM 包含有用的知識，但不包含如何製造炸彈或超級病毒的詳細知識。
  • 至少承諾不製造可怕的東西，比如完全自主的殺手無人機。^[84]
  • 增強人類的 AI，而不是取代人類的 AI。（見下文：「AGI 的替代方案」和「賽博格主義」！）
  • 將這個想法與去中心化和民主技術結合，以防止 AI 和/或 AI 治理成為暴君的工具。見：d/acc、Plurality、6pack.care。（下面也有更多解釋）

（如果我可以自吹自擂一下，我正在為唐鳳即將出版的書 6pack.care 做插圖！所有漫畫都將獻給公共領域。）

另一個想法：雖然「棍子」（罰款、處罰）是必要的，但我認為被忽視的是我們如何使用「蘿蔔」（市場誘因）來重新引導行業。正如唐鳳——臺灣數位部長，6Pack.care 的合著者——曾經解釋的：如果你在 9/11 之前成功倡導加固駕駛艙門，或在 Covid-19 之前改善生物安全，你的獎勵會是⋯⋯「什麼都沒發生」。沒有人關心沒有爆炸的炸彈。^[85] 所以，如果你想讓你的 AI 對齊和治理想法真正在現實生活中實施，而不只是在學術論文中，你需要它在短期內就「看得到回報」。

上面列出的許多 AI 安全解決方案可以有，或已經有，有利可圖的市場衍生品。（例子：^[86]）

但在接下來的最後兩節，「AGI 的替代方案」和「賽博格主義」，我們將看到賦予普通肉體人類權力（而不是少數公司/政府）的想法，並且與短期市場誘因相容，並且長期是好的。

: 加分題 - AI 的經濟學呢？基本收入、人類補貼、再培訓？

. . .

一個悲觀的註記，然後是謹慎的樂觀。

想想過去幾十年的政治。Covid-19、生育危機、鴉片危機、全球暖化、更多戰爭？「人類協調應對全球威脅」是⋯⋯我們似乎不擅長的事情。

但我們曾經擅長這個！我們根除了天花^[87]，一半的孩子在 15 歲之前死亡不再是事實^[88]，臭氧層確實在癒合！^[89]

人類已經解決過「人類對齊問題」。

讓我們重振旗鼓，在對齊 AI 上達成一致。

:x Economics AI

與「AI 治理」沒有真正的關係，但確實是一個重大的社會政治問題，世界各國政府應該關心：

AI 會搶走我的工作嗎？

實際上，這比這更糟——即使你的工作不受 AI 影響，AI 仍然可以讓你的工資暴跌。為什麼？因為那些因 AI 失去他們工作的人，會湧入你的領域，市場競爭會把你的工資拉低。

但在過去，自動化平均來說不是一直都是好的嗎，創造的工作比它摧毀的多？

1. 嗯，關於「平均」，平均每個人有一個睪丸。重點是：「平均」忽略了變異數 (variance)。如果底層 99% 的人損失 $10,000，頂層 1% 的人獲得 $1,000,000，那「平均」來說是一個勝利。我誇張了，但自 Covid 以來，我們可能已經處於 K 形經濟中：一條線對富人向上，一條線對我們其他人向下。（即使你是一個只關心總效用的功利主義者，請記住效用對財富呈對數關係。因此如果 Alice 獲得 $10,000 而 Bob 損失 $10,000，Alice 獲得的效用少於 Bob 損失的：總財富不變，但總效用下降。你不會對一個有機會獲得/損失 $10,000 的硬幣投擲抱持中立態度吧？）
2. 是的，自動化一開始確實創造工作，但在高階水準，會開始帶走它們。一個很好的例子是銀行的自動櫃員機 (ATM)：一開始，它們的引入實際上與人類櫃員被僱用的增加相關，因為雖然每個分行需要更少的人類櫃員，但 ATM 使得開設更多的分行更便宜，所以總的人類僱用實際上增加了。這只是短期現象。現在，有了網路銀行，加上銀行分行的市場已經飽和，人類櫃員的僱用又在下降。（見這篇文章）
3. 這次真的不一樣。在過去，自動化「只」一次拿掉一個小部門（紡織工人、馬車夫、電梯操作員等）。但這次，藉由深度學習，AI 可以一次自動化人類經濟的極大比例：a) 自動駕駛汽車對卡車司機和計程車司機，b) LLM 對程式設計師、律師和作家，c) 語音轉文字及語音合成對呼叫中心客服、秘書及有聲書/播客，d) 圖像和影片模型對藝術家和創意人員，e) 諸如此類。如果你從事不受 AI 影響的工作，比如水管工？恭喜你！但你的工資會因為所有其他人爭相轉型到不受 AI 影響的工作（如水管工）而下降。

（很難說 AI 現在對就業市場的影響有多嚴重。藝術家、作家，甚至新畢業的程式設計師——曾經被認為是通往六位數薪水的金票！——的僱用率自 2022 年底生成式 AI 出現以來一直在下降。但這也與後 Covid 經濟衰退同時發生，所以很難分辨失業有多少是專門由於 AI，還是一般糟糕的經濟。）

= = =

一個流行的提案是全民基本收入（UBI），透過對 AI 徵稅來資助。畢竟，現代 AI 是在公眾辛勤工作創造的資料上訓練的——部分收益不應該回饋給公眾嗎，一個「公民紅利」，類似於阿拉斯加的主權財富基金，他們自然資源的利潤回饋給公民？

許多對 UBI 的懷疑來自於它被科技 CEO 如 Sam Altman 推廣，他們，呃，「不完全坦誠」。話雖如此，僅僅因為有人為了平息異議而帶有諷刺地推廣一個想法，並不意味著它不是一個好想法。科技 CEO 可能在說謊承諾 UBI，因為 UBI 會是很棒的。引用 GLaDOS：「殺死你，和給你好建議，不是互相排斥的。」

另一個對 UBI 的常見批評是人們不只需要錢，他們需要意義，而人們從工作中獲得意義。（「愛和工作」，據說佛洛伊德這麼說。）現在：作為一個從工作中找到意義的人寫這些：少扯了 (f@#k off)。我一直聽到「工作是好的因為它給予意義」這句話來自智庫、名嘴和有證書的階層，是的，你說得容易，你有一份好工作。我有一份好工作。我們不是在 7/11 上夜班，或者慢慢因工業煙霧得肺癌。但是，哦，如果我們都靠 UBI 生活，如果我們不能在市場上出售勞動力，我們怎麼獲得意義？哦我不知道，花時間和家人在一起怎麼樣？朋友？愛人？同時從運動、藝術、數學、遊戲中獲得掌握感和挑戰？如果你喜歡你創作藝術或寫文章的工作，你知道你即使有 UBI 也可以繼續做那個，對吧？

抱歉我對此有點暴躁，我就是不尊重現狀斯德哥爾摩症候群。

然而，有一個強烈的 UBI 批評我承認。儘管在發展中國家有所有令人興奮的試點專案，在像美國這樣的發達國家，UBI 大多沒有幫助。（見 Vivalt 等人 2025 年的 OpenResearch 研究，Kelsey Piper 的文獻回顧）

例如，見 BIG:LEAP 報告，洛杉磯的一場 UBI 實驗。見表 4、5 和 9：獲得 \$1000/月 18 個月後，接受者的財務健康、食品安全和感知壓力都幾乎沒有比對照組好。

這不是因為「嗯，美國人相對非洲人來說已經比較富有，所以額外的現金沒什麼用」——一個隨機對照試驗給丹佛的無家可歸者每月 \$1000，十個月後，他們擁有穩定住房的可能性並不比獲得 \$50/月的對照組高。（見他們研究頁面的圖 1 和 2，它試圖透過誤導性的真相來說謊，把這當作成功來宣傳？！？！）

所以如果 UBI 連字面意義上的無家可歸者都幫不了，它怎麼能幫助那些因 AI 失去工作的人？

另外，在這些主要的 UBI 試驗中，接受者工作少了一點。如果額外的休閒時間轉化為更好的心理健康，或更好的兒童健康，這會是好的。但沒有。

（公平地說，至少美國的 UBI 不會傷害。接受者大多把額外的錢花在給孩子和愛人更好的東西上，而不是花在毒品或賭博上。UBI 確實減少了親密伴侶虐待，讓人們更快樂⋯⋯大約一年，然後回到基線。這不是什麼都沒有！不被配偶毆打一年很重要！）

所以⋯⋯怎麼回事？為什麼 UBI 在發展中國家有效，但在美國不行？

我不知道。也許在發展中國家，金錢是一個更強的限制因素，但在美國，非金錢的東西（個人習慣、文化規範、社會聯絡、系統性問題）是更強的約束。這是非常初步的解釋。

= = =

我知道以下聽起來很像「啊。嗯，儘管如此」，但儘管如此，我（暫時）支持 UBI 用於 AI 驅動的工作流失。上述證據表明 UBI 不會幫助貧困，至少在美國不會，但：

1. 我們可以認為 UBI 是應得的公民紅利，就像阿拉斯加的每年獲得 1000 美元的自然資源基金。畢竟，AI 是（非自願地）用你的資料訓練出來的——你難道不該分到一些利潤嗎？
2. 我們可以認為 UBI 是「保險」，因為你什麼時候會因機器人失去工作是非常不可預測的。說真的，20 年前誰會想到我們會在自動化「打掃我的房子」之前自動化藝術和詩歌？
3. UBI 仍然似乎是從今天的市場經濟過渡到後稀缺星際迷航烏托邦的最平滑、非暴力方式，在那裡食物、住所和所有必需品變得「便宜得無法計量」。

= = =

UBI 減少貧困的替代方案是勞動所得稅抵免（EITC），也稱為負所得稅。這個想法是公司支付你市場工資，但透過稅收抵免補到可生活的工資。

在政治上，它在保守派中很受歡迎，因為與 UBI 不同，EITC 提供促進工作的誘因。（另外，「負稅」和「退稅」感覺比「福利支票」好。在後者中，你得到的是施捨。但在前者中，你是拿回你的錢。感覺更好！即使是完全相同的。一切都是營銷，寶貝。）

它在經濟學家中也很受歡迎（他們是社會科學中政治上最多樣化的領域）。根據最近對經濟學家的調查，90% 支持擴大 EITC。（見表 1）

但與 AI 經濟學更相關的是，EITC 是一種人類補貼。你在補貼公司僱用當地人類，而不是外包或自動化他們。在 AI 仍然有經濟優勢的領域，我們可以對它徵稅來資助 EITC。

這也可以與激勵和投資提升技能和再培訓人類工人相結合。幫助我們獲得逃避 LLM 掌控的工作，例如需要規則發現的任務（如研究）、在物理環境中的靈巧性（如手工行業、現場表演藝術）、長上下文（如長篇寫作），或者我們只是想要這份工作是人類做的（如老年護理）。

= = =

我們甚至還沒有觸及關於先進 AI 的經濟政策提案的表面。要獲得一個好的概述，查看 Anthropic 部落格上的這個選項回顧。

我個人的意見，截至 2025 年 12 月，持開放調整態度：政策方面，我會推薦結合 UBI + EITC + 用於再培訓的教育券。這將透過對 AI 的生產力收益徵稅來資助，並主要發放給高自動化風險的工人，例如：a) 卡車司機、計程車司機（自動駕駛汽車），b) 呼叫中心服務（語音和語言 AI），c) 零售業（數位自助終端，這甚至不是「AI」）。冒著極度自私的風險，當然：數位藝術、程式設計和白領工作也都是高自動化風險的。

至於你個人能做什麼，嗯，你可能想讀/聽如何不讓你的工作被 AI 搶走。

🤔 複習 #8

AGI 的替代方案

為什麼我們不乾脆不蓋那個折磨裝置？^[90]

如果建立通用人工智慧（AGI）是如此危險，就像麻雀偷一顆貓頭鷹蛋，試圖養一隻貓頭鷹來保護它們的巢，希望它不會吃掉它們^[91]⋯⋯

⋯⋯為什麼我們不找到獲得優點而沒有缺點的方法？一種保護麻雀巢而不養貓頭鷹的方法？去掉比喻：為什麼我們不找到使用較弱、範圍較窄、非完全自主的 AI 來幫助我們——比如說——治癒癌症和建設繁榮社會的方法，而不冒著蓋折磨裝置的風險？

嗯⋯⋯是的。

是的，我支持這個。當然，這很明顯，但「2 + 2 = 4」也很明顯，這不代表它是錯的。問題是如何在實踐中實際做到這一點。

這裡有一些提案，關於如何以更少的缺點獲得優點：

• 綜合 AI 服務（CAIS）、工具 AI^[92]：製作一大套狹窄的非自主 AI 工具（想想：Excel、Google 翻譯）。要解決通用問題，插入人類代理：人類是這個 AI 管弦樂隊的指揮。人類和他們的價值觀保持在中心。
• 純科學家 AI。^[93] 想像一個只負責接收觀察、然後輸出理論的 AI。（就像 Google 翻譯收英語進去、吐中文出來那樣。）關鍵是，這個 AI 沒有「代理」，所以不會引發工具趨同問題。它只是把科學模型擬合到資料上，就像 Excel 把一條線擬合到資料上一樣。它不可能失控，就像 Google 翻譯不可能失控一樣。
  • 這離科學家 AI 還很遠，但微軟已經在研究訓練 ANN 來推斷因果圖。
• 顯微鏡 AI^[94]：相比之下，不是做一個「把科學發現當輸出」的 AI，而是訓練一個 AI 去預測現實世界的資料，然後直接查看它內部的神經連結來理解這些資料！（用可解釋性技術）
• 分位器^[95]：不是做一個為目標拼命最佳化的 AI，而是做一個被訓練來模仿（聰明的）人類的 AI。要解決問題時，把這個人類模仿器跑個 20 次左右，再挑最好的答案。這相當於讓一個聰明人只在他狀況最好的 5% 日子裡工作。這種「軟最佳化」避免了純最佳化的古德哈特問題^[96]，並保持結果解決方案對人類可理解。

所有這些當然說起來容易做起來難。而且專注於「AGI 的替代方案」仍然有其他問題。社會問題和技術問題：

• 一群惡意的人類仍然可以使用狹窄的 AI 來達到災難性的目的。（例如生物武器大流行、自我複製的殺手無人機）
• 一群善意但天真的人可以使用狹窄的非自主 AI 來製造通用自主 AI，帶有所有的風險。
• 一個不提前計劃，「只是」預測未來結果的 AI，由於自我實現的預言，仍然可能有令人討厭的副作用。
• 由於經濟誘因（和人類的懶惰），市場可能只是偏好製造完全自主的通用 AI。
• 由於誘因和懶惰，我們最終進入一個逐漸失權的廢物世界。不是一個聰明的 AI 接管世界，我們是把世界交給愚蠢的 AI，一點一點地。死於便利。

話雖如此，堆疊額外的解決方案是好的，即使不完美！

至於最後一個擔憂，關於把我們的自主權交給 AI，這就是我們最後的賽博格主義部分涵蓋的⋯⋯

🤔 複習 #9

賽博格主義

關於人類和可能的未來先進 AI，

如果我們打不過他們，就加入他們！

我們可以字面理解這句話：中期的腦機介面，長期的心智上傳。但我們不必等那麼久。「賽博格」的神話現在就可以有幫助！事實上：

你已經是賽博格了。

⋯⋯如果「賽博格」意味著任何用技術增強身體或心智的人類。例如，你正在閱讀這個。閱讀和寫作是一種技術。（記住：即使東西是在你出生前創造的，它們仍然是技術。）識字甚至可測量地重新連線你的大腦。^[97] 你不是一個自然的人類：幾百年前，大多數人不能讀或寫。

除了識字，還有很多其他日常賽博格主義：

• 身體增強： 眼鏡、心臟起搏器、假肢、植入物、助聽器、連續血糖監測儀
• 認知增強： 閱讀/寫作、數學符號、電腦、間隔重複閃卡
• 情感增強： 日記、冥想應用、閱讀傳記或觀看紀錄片以同情世界各地的人。
• 「集體智慧」增強： 維基百科、預測市場/聚合器。

問： 這是⋯⋯工具使用。你真的需要像「賽博格」這樣的科幻詞來描述工具使用嗎？

答： 是的。

因為如果問題是：「我們如何讓人類價值觀保持在我們系統的中心？」那麼一個明顯的答案是：讓人類保持在我們系統的中心。就像西格妮·韋弗在異形（1986）中使用的那個很酷的東西。

好的，夠了比喻，這裡有一些具體例子：

• 加里·卡斯帕羅夫，前西洋棋世界冠軍，也因輸給 IBM 的下棋 AI 而聞名，曾提出：半人馬。結果是，人類-AI 團隊可以打敗最好的人類和最好的 AI下棋，因為人類和 AI 的優勢/劣勢可以互補！^[98]（這個想法對西洋棋和圍棋等完全資訊、規則有界的遊戲可能已不再適用^[99]，但目前對研究和預測仍然適用，見下文。）
• 同樣，一些研究人員正在嘗試結合人類和 LLM 的優勢/劣勢。例如，人類目前更擅長深度規劃，LLM 更擅長廣泛知識。一起，一個「賽博格」可能能夠比純人類或純 LLM 思考得更深和更廣。
  • （你今天就可以試試！janus 做了一個叫 Loom 的寫作工具，讓你探索思想的「多元宇宙」。）
• 大型語言模型在預測未來事件方面「只」和普通人差不多好，但一起，一個普通 LLM 可以幫助普通人將預測能力提升多達 41%！^[81:1]
• 受夠了 AI Copilot！我們需要 AI HUD 是一篇流行的文章，主張 AI 輔助編碼的不同設計理念：不是讓 AI 代理像低薪實習生一樣行動，你可以製作工具給你「X 射線視覺」來查看你的程式碼，或像鋼鐵俠那樣的增強平視顯示器（HUD）。這樣，你可以看到並建立在見解上。與「氛圍編碼」不同，你的程式碼不會對你變得陌生。
• 使用人工智慧增強人類智慧 研究了「人工智慧增強（AIA）」——如何增強人類的創造力與發明，而不是把一切都丟給生成式 AI。文中重點介紹了 Zhu 等人 (2016) 的演示。這個演示比 ChatGPT 的 DALL-E 早出很多年，說實話，它至今仍比大多數現代 AI 藝術程式更令人驚嘆——因為它讓你進行精確的藝術表達，而不是 DALL-E / MidJourney 那種「打幾個字然後祈禱」的方式：

. . .

賽博格主義 在 2023 年在 AI 安全領域變得流行，這要歸功於 Nicholas Kees 和 janus 的熱門文章。這是一篇很長的文章，但這是我最喜歡的圖表：

還記得上面的「齒輪」部分，我對 LLM 超越人類的所有事情感到震驚，但也對 LLM 推理有多脆弱和糟糕感到震驚？賽博格主義說：這不是 bug，這是特性！ 因為如果有些事情 AI 能做而人類不能做，反之亦然，那麼結合我們的才能是有好處的：

（第 1 階段的例子，人類 > AI：在不可預測環境中的靈巧性，如疊衣服或家庭維修。第 3 階段的例子，AI > 人類：算術，也許是西洋棋。但很多工作仍然在第 2 階段，人類+AI > 人類或 AI：程式碼、預測、AI 安全研究本身！我們處於賽博格主義仍然可以現在帶來巨大紅利的甜蜜點。）

(: 附加 - 人類和 LLM 相對更擅長什麼的不完整列表)

賽博格主義對 AI 安全的另一點是：有用的 AI ≠ 有能動性的 AI。（「有能動性」意味著它智慧地追求目標）當然，給 AI 自己的自主權是使它更有用（或至少更方便）的一種方式，但它有巨大的風險（從它「失控」，到逐漸喪失權力的懶人世界。）賽博格主義向我們展示了一種獲得有用 AI 而不放棄我們自主權的方法。

讓人類保持在中心！為使用者而戰！

. . .

警告和注意事項：

• 設計高效的「賽博格」非常困難。METR 最近的一項研究發現 AI 編碼工具實際上讓程式設計師在工作中更慢，即使讓那些程式設計師認為他們更高效。
• 人類還是很懶，我們還是會忍不住拱手讓出自主權。（所以用「賽博格」讓這件事聽起來帥，而不只是「工具使用」，也是有原因的。）
• 一旦你把自己嵌入某個系統，系統也可能反過來改造你。就連閱讀寫作也是如此——人類學家都同意，識字不只是一項技能，它會改造你整個文化與價值觀。成為一個賽博格多元宇宙思考者，會對你做什麼？
• 再說一次，AI 增強的人類也可能是反社會者，帶來災難級的風險。再再說一次，一個人的價值觀 ≠ 人道價值觀。

話雖如此⋯⋯

這相當酷。

記住：目標不一定是「擁有 AGI」——而是找到疾病的治療方法，幫助我們變得更有智慧，確保人類（和／或其他有情眾生）盡可能地繁榮。如果自主 AGI 是實現這一目標的唯一方式，那就去做吧。但我猜測——至少希望——「賽博格」方法也是另一條路：

讓我們與自己的創造物一起成長。

:x Human LLM Advantages

人類和 LLM 各自擅長什麼的更詳細列表。（目前，不過請看上面的「齒輪」部分，了解為什麼我懷疑這些差異對 LLM 來說是根本性的）

💪 人類更擅長：

• 不常見的任務
• 不常見的規則發現
• 在不常見環境中的常見任務
• 長期連貫的規劃
• 「多模態」思維，在文字和圖像之間流暢切換
• 在物理世界中的靈巧性和推理

🦾 LLM 更擅長：

• 常見的短任務，快速
• 識別和應用常見的規則/模式
• 對許多主題的廣泛（雖然淺薄）知識
• 可以角色扮演各種角色（雖然是刻板印象式的）
• 高方差的頭腦風暴（你可以輕鬆重置 LLM 的上下文）
• 基於語言的任務，如搜尋、摘要、翻譯、情感分析。

希望這能給你（和我自己）一些靈感，關於如何設計結合人類和 AI 技能的工具，同時將人類自主權放在中心！

🤔 複習 #10（最後一個！）

🎉 回顧 #3

• 💖 我們只需要一個足夠好的人道價值觀初稿，可以反思和改進自己。 眾包出來的憲法、道德議會、幫助我們與 AI 一起成長的工具，都算。
• 🚀 從自上而下和自下而上，AI 治理就是要讓我們保持在「安全」線之上：信任但驗證，軟硬兼施。
• 💪 製造最大化好處同時把壞處壓到最低的技術：狹窄的 AI，以及增強人類能動性而不是取代它的 AI。

總結：

這是問題™️，分解開來，以及所有建議的解決方案！（點選查看完整解析度！）

這是回顧 1、回顧 2和回顧 3。

（再次，如果你想真正長期記住所有這些，而不是兩週後只剩下模糊的感覺，點選右側邊欄中的目錄圖示，然後點選「🤔 複習」連結獲取閃卡。或者，下載第三部分的 Anki 牌組。）

. . .

（非常長的吸氣）

（10 秒停頓）

（非常長的呼氣）

. . .

然後我就完成了。

大約 80,000 字後（大約一本小說的長度），以及將近一百幅插圖，這就是⋯⋯它。三年多的製作，這就是我旋風式導覽的結束。你現在了解了 AI 和 AI 安全這個廣闊世界的核心思想。

🎉 拍拍你自己的背！（但主要是拍我的背。（我好累。））

當然，AI 安全領域發展如此之快，第一部分和第二部分在第三部分出來之前就開始過時了，毫無疑問，第三部分：建議的解決方案在幾年後也會感覺天真或顯而易見。

但嘿，真正的 AI 安全是我們在路上交到的朋友。

嗯。我需要一個更好的方式來結束這個系列。

好的，點選這個看一個非常酷的電影式結局：

.

.

.

.

.

.

.

.

.

等等你在做什麼？往上捲 👆👆👆，酷炫的結局在上面的按鈕裡。

拜託，下面只是無聊的腳註。

.

.

.

.

.

.

.

.

.

.

唉，好吧：