（嘿——如果你是直接連到這一頁的，大概該先從導讀看起！）

先快速掃一眼 AI 的過去、現在，還有（可能的）未來：

過去：

• 2000 年之前：具有超人邏輯但沒有直覺的 AI。
  • （以及 AI 邏輯的安全問題）
• 2000 年之後：可以學習「直覺」但邏輯差的 AI。
  • （以及 AI「直覺」的安全問題）

現在：

• 把現有 AI 手法榨乾用盡的軍備競賽
• 把 AI 邏輯和直覺合體的探索
• AI 安全圈裡那些尷尬的聯盟

可能的未來：

• 時間線：我們何時（如果真有那麼一天）會拿到「人類級的通用 AI」？
• 起飛：AI 會以多快的速度自我改進？
• 軌跡：我們是朝好結局開，還是朝壞結局開？

讓我們開始吧！

⌛️ 過去

電腦科學是唯一一門一開場就自帶萬物理論的科學。^[1]

1936 年，打擊納粹的英國同志密碼破譯者 Alan Turing 發明了「通用電腦」。^[2] 下一個把戲：1950 年，他丟出一個瘋狂的思想實驗——如果一台電腦能在純文字對話裡「假冒人類」呢？^[3] 1956 年夏天，一群研究者受 Turing 啟發聚在一起^[4]，開創了一個新領域，他們把它命名為：

「人工智慧」

（先招認一下：「人工智慧」根本沒有嚴謹定義。說真的，「AI」多半只是大家拿來炒作手上在賣的任何軟體的詞。我最近看到一則新聞片段在推韓國的「美容 AI」。^[5] 它就是一台量你膚色的相機，再依膚色推薦粉底液。一個色票挑選器。這，就是主流新聞口中的「AI」。）

（所以，若這樣比較好懂，請在腦中把每次出現的「AI」都換成「一套軟體」。順帶一提，:我會盡量少用「智慧」這個詞，改說「能力」。 [👈 點我展開]）

好，言歸正傳！為了把 AI 與 AI 安全史狠砍成極簡版，這兩個領域大致分成兩個時代：

2000 年之前：具有超人邏輯但沒有直覺的 AI。（也稱為「符號 AI」）

AI 邏輯的安全問題：

• 用合乎邏輯、但你完全不想要的方式達成目標。
• 不懂常識，也不懂人道價值。
• 依賽局理論，大多數 AI 目標在邏輯上會長出「抵抗關機」「搶資源」這類子目標。

2000 年之後：可以學習通用「直覺」但邏輯差的 AI。（也稱為「深度學習」）

AI「直覺」的安全問題：

• AI 把我們的偏見、歧視、不人道一起學進去。
• AI「直覺」動不動就崩，有時還崩得很危險。
• AI 是「黑盒子」：我們搞不懂、也驗證不了它到底在幹嘛。

（加碼，點我展開——:更精準的十年刻度時間線）

現在，來看看 2000 年以前的日子，那個古早人工智慧⋯⋯

:x Capabilities Not Intelligence

「智慧」這個詞有一堆毛病，尤其拿來套在 AI 上時：

• 很模糊。
• 會擬人。
• 暗示有意識／有感知。
• 不知道為什麼還沾上道德意味？
• 這個詞背上太多包袱和誤解。
• 預測被打臉時很好用它來賴皮，例如：「哦 AI 贏了圍棋？那我猜圍棋本來就不是真正智慧的基準」云云云云。

「能力」這個詞具體多了，所以我多半會改用它。你沒辦法對「這套圍棋 AI 在圍棋上很有料」這件事賴皮。

感謝 Victoria Krakovna (2023) 提供這個想法。

:x Decades

（注意：這段不是讀懂第一章的必要條件，純粹為了補完。）

• 1940：AI 的前身，包括「控制論」與第一顆人工電腦神經元。
• 1950：AI「官方」開張！
• 1950/60：符號 AI 崛起。（全邏輯、零直覺的 AI）
• 1970：第一次 AI 寒冬。（資金與興趣乾掉了）
• 1980：符號 AI 再起。（重新包裝成「專家系統」）
  • 與此同時，後台裡深度學習的地基正悄悄打起來。
• 1990：第二次 AI 寒冬。
• 2000：機器學習崛起。（會自己學的 AI）
• 2010：深度學習崛起。（以神經網路為本、會學習的 AI）
• 2020：深度學習成為主流，帶來「生成式 AI」！（ChatGPT、DALL-E 等）

2000 年之前：邏輯，沒有直覺

大約從 1950 年代到 1990 年代，是符號 AI 的年代：照著形式化邏輯規則走的 AI。

（如今也叫它老式 AI（GOFAI）。當然，當時沒人會這麼叫。）

在符號 AI 的腦袋裡，做 AI 大概長這樣：

• 步驟 1：把解題的逐步規則寫下來。
• 步驟 2：叫電腦把這些步驟跑得飛快。

比方說，你會叫西洋棋 AI 把所有可能的走法、所有反擊、所有反反擊⋯⋯往下推幾層，再挑那個通向最佳潛在結果的下一步。

注意：人類西洋棋高手真正下棋不是這樣的。事實證明，西洋棋——還有很多科學與數學發現——其實很吃直覺。（我這裡鬆散使用的「直覺」，是那種看起來不像一步一步、而是整團一次湧上來的思考。）

AI 缺「直覺」，是符號 AI 幾十年都拿不出重大成功案例的主因之一。2000 年以前甚至還有過兩次「AI 寒冬」——資金和興趣一起乾掉。

但有一天，總算爆了一槍！1997 年，IBM 的超級電腦 Deep Blue 贏了世界西洋棋冠軍 Garry Kasparov。人類丟掉王冠的那張照片在此：^[6]

（看這邊，Lise——你真的可以精準點到人類又失去一項「宇宙特殊小雪花」資格的那一秒。然後，就是現在！^[7]）

大家又嗨又怕。若機器能在人類智力的經典代名詞——西洋棋——上打敗我們⋯⋯接下來呢？《星際爭霸戰》式的後稀缺烏托邦？還是《魔鬼終結者》式的機器人接管？

接下來發生的是⋯⋯差不多什麼都沒有，整整十五年。

如前所述，符號 AI 被「沒直覺」卡得死死的。頂尖專家明明預言「人類級 AI」會在 1980 年以前(!!)降臨^[8]，結果 AI 連貓的照片都認不出。說真的，AI 要到 2020 年^[9]才能在認貓照片上追上普通人——距離 Deep Blue 擊敗人類最強者，已經過了二十多年。

貓⋯⋯比西洋棋還難。

怎麼可能？要搞懂這個悖論，先看看這隻貓：

（好好端詳一下。）

你是用哪一套逐步規則，認出那是一隻貓的？

很怪的問題，對吧？你根本沒用逐步規則，它就是⋯⋯整團一次湧上來。

• 「邏輯」：一步一步的認知，像解數學題。
• 「直覺」：一次到位的辨識，像看見一隻貓。

（「邏輯與直覺」會在第一章後面講得更精準——還會跟人類心理學掛鉤！）

可這正是符號 AI 的死穴：它得把逐步規則寫下來。在西洋棋這類定義清楚的任務之外，我們通常連自己在用什麼規則都說不清楚。所以符號 AI 搞不定影像、聲音、語音等等。找不到更好的詞，只好說：AI 沒有「直覺」。

等等，貓的問題再來一次？這次換成更簡單的塗鴉：

你用了什麼規則，認出那是一隻貓？

好吧，你可能會想，這簡單多了。我的規則是：只要有個圓形，上面兩個小圓（眼睛），頂端兩個尖角（耳朵），我就當它「像貓」。

太好了！照這個定義，這也是一隻貓：

我們可以這樣來回拉鋸，你也許最後會湊出一套長達兩頁、夠穩健的認貓規則⋯⋯但接著你還得對另外幾千種物件重做一遍。

這就是 AI 的諷刺之處。「難」的任務很容易寫成逐步規則；「簡單」的任務卻幾乎不可能寫成逐步規則：

這就是 莫拉維克悖論（Moravec's Paradox）。^[10] 意譯如下：

人類覺得難的，AI 覺得易；人類覺得易的，AI 覺得難。

為什麼？因為對我們「簡單」的事——辨認物件、走來走去——其實是 35 億年演化的苦工，全被塞進潛意識地毯下。只有做那些落在演化劇本之外的事，比如數學，意識上才會覺得難。

低估 AI 做「簡單」事有多難——例如認貓，或理解常識與人道價值——正是最早那批 AI 安全焦慮的源頭⋯⋯

🤔 複習 #1（可選！）

想真的把剛讀的東西記住，而不是兩天後全忘光？這裡有一組可選的閃卡複習！

（:多了解一點「間隔重複」閃卡。或者用 Anki，直接抓第一章的 Anki 牌組）

早期 AI 安全：邏輯的毛病

若我非得不公平地點一個人當 AI 安全的「創始人」，那就是科幻作家 Isaac Asimov——他 1940–50 年代的短篇後來收成《我，機器人》。不，不是威爾·史密斯那部電影。^[11]

Asimov 的《我，機器人》其實很有層次。他寫它是為了：1）展示機器人學可能帶來的好處，反擊大家的「科學怪人情結」恐懼；同時 2）示範「AI 倫理守則」有多容易在邏輯上滾出你不要的後果。

符號 AI 年代，大家多半把 AI 當成純邏輯。所以早期 AI 安全也主要盯著純邏輯的毛病，例如：

1. AI 不懂常識，也不懂人道價值。
2. AI 會用合乎邏輯、但你不想要的方式達成目標。
3. 依賽局理論，幾乎所有 AI 目標在邏輯上都會長出「抵抗關機」「搶資源」這類子目標。

這些問題第二章會細講！現在先快速掃過：

1. 沒有常識。

連怎麼跟 AI 說「怎樣認貓」我們都寫不清楚，又要怎麼塞給它「常識」，更別提「人道價值」了？

從這種常識真空裡，長出了：

2.「諷刺願望」問題。

「許願要小心，搞不好真的會實現。」你給 AI 一個目標或「倫理守則」，它可能用邏輯上完全正確、卻超不想要的方式去守規則。這叫做鑽規格漏洞（specification gaming），而且已經發生幾十年了。（例如二十多年前，一個被吩咐設計「時鐘」電路的 AI，反而做出一支天線，去收別台電腦的「時鐘」訊號。^[12]）

更諷刺的是，我們巴不得 AI 想出意料之外的解法！那本來就是它們的本業。但你看我們的要求有多自打臉：「嘿，給我們一個意想不到的方案，但方式要照我們預期。」

下面這些規則，你可能以為能做出真正「人道」的 AI；可一旦照字面執行，就翻車：

• 「讓人類快樂」 → 醫生機器人動手術，把你的大腦灌滿快樂化學訊號。你整天對著牆傻笑。
• 「未經同意不要傷害人類」 → 消防員機器人拒絕把你從燃燒殘骸裡拉出來，因為那會讓你肩膀脫臼。你已昏迷，沒辦法被問同不同意。
• 「遵守法律」 → 政府和公司天天在找法律漏洞。而且很多法律本身就不公。
• 「遵守這部宗教／哲學／憲法文本」或「照這份美德清單走」 → 歷史一再證明：同一段文字給 10 個人，會讀出 11 種意思。
• 「遵循常識」或「遵循專家共識」 → 「奴隸制自然又正當」曾經既是常識，也是專家共識，也是法律。兩百年前被吩咐遵守常識／專家／法律的 AI，會為奴隸制而戰⋯⋯也會在今天為任何不公的現狀而戰。

（重要提醒！最後這例證明：就算我們讓 AI 學會「常識」，仍可能搞出不安全、不道德的 AI⋯⋯因為很多事實錯、道德也錯的念頭，本身就是「常識」。）

不過 AI 邏輯還有另一個安全問題，最近才被挖出來，我覺得主流該多注意：

3. 幾乎所有目標在邏輯上都會導向搶資源與抵抗關機。

依賽局理論（研究「有目標的代理」會怎麼做事的數學），幾乎所有目標在邏輯上都會長出同一組不安全子目標，例如抵抗關機或搶資源。

這問題叫做「工具趨同」（instrumental convergence）：子目標又叫「工具性目標」，而大多數目標在邏輯上會「趨同」到這批相同的子目標。^[13] 看吧，千萬別讓學者幫你的小孩取名。

第二章會再細講；現在先來個說明用的小故事：

從前，有個先進的（但還不到超人類的）AI，被塞了個看似無害的目標：算圓周率的位數。

一開始很正常。AI 寫了支程式來算 π。接著它寫出越來越高效的程式，好更用力地算 π。

最後，AI（正確地！）推斷：多搶點算力，就能把計算量拉到最大。搞不好還得偷。於是它駭進自己正在跑的那台電腦，靠電腦病毒竄上網路，把全世界數百萬台電腦劫持成一個巨大的互聯殭屍網路⋯⋯就為了算圓周率。

噢，對了，AI（也正確地！）推斷：人類若把它關機，π 就算不成了，於是它決定綁架幾家醫院和電網。你懂的，當「保險」。

於是 π 末日誕生了。完。

重點是：類似邏輯對大多數目標都成立，因為「被關機就做不了［X］」和「資源越多越能把［X］做好」通常都是真的。所以大多數目標會「趨同」到同一批不安全子目標。

重要澄清：為了糾正常見誤解——工具趨同論證不依賴「超人類智慧」，也不靠「類人的求生與稱霸慾望」。

它只是一場簡單的邏輯意外。

🤔 複習 #2（同樣，可選）

回頭看，早期 AI 安全的所有焦慮，源頭都是這句：我們沒辦法把常識與人道價值寫成全套逐步邏輯規則。（見鬼，連認貓都寫不出來！）

那——別硬塞全套規則給 AI，改給它幾條簡單規則，讓它自己把剩下的學起來，如何？

歡迎來到「深度學習」時代⋯⋯

2000 年之後：有直覺，沒邏輯

好吧，「2000 年之後」是謊話。我們先回到 1943 年。

你知道多數新技術至少會站在舊技術肩膀上嗎？深度學習完全不是這麼回事。它沒站在符號 AI 半世紀苦工之上。其實，深度學習比符號 AI 更早開場，然後當了被冷落的弱者超過半個世紀。

1943 年——連「人工智慧」這個詞都還沒被發明——Warren McCulloch 與 Walter Pitts 就發明了「人工神經網路」（ANN）。^[14] 點子很單純：讓電腦像人腦一樣想——嗯，靠近似人腦：

（注意：每個數字列表被轉成下一個，就讓 ANN 能做「一次到位」的辨識，跟我們的直覺一樣！鏘鏘！~🎉）

（注意 2：從前人工神經元也叫感知機（perceptron）；以神經元為靈感的計算思路，則叫連結主義 AI（connectionism）。）

希望是：模仿人腦之後，ANN 就能做人腦會做的一切，尤其是邏輯符號 AI 幹不來的：✨直覺✨。至少，認出那些該死的貓照片。

ANN 一開始超受寵！尤其 John von Neumann——百科全書式天才、量子物理學家、賽局理論共同發明人——為它神魂顛倒。在他發明現代電腦架構的那份報告裡，Johnny 只引用了一篇論文：McColloch & Pitts 的人工神經元。^[15]

更妙的是，Alan Turing（提醒：電腦科學與 AI 的創始人）很早就迷上一個相關點子——機器可以像人腦一樣，從資料裡自己學。Turing 甚至建議：訓練機器可以像訓狗，用獎勵與懲罰。好有遠見——那其實就是我們現在訓練多數 ANN 的方式！（「強化學習」）^[16]

（廣義來說，會從資料學習的軟體［用不用「獎勵／懲罰」都算］就叫機器學習。）

很快，理論落地了。1960 年，Frank Rosenblatt 公開展示 Mark I 感知機——美國海軍資助的影像辨識裝置：三層人工神經元，而且會自己學。

盤點一下：到 1960 年，我們有神經網路的數學模型、會自學的機器、領域大咖背書、還有軍方資金！人工神經網路的前途看起來一片光明！

然後它們被主流晾在一旁。晾了半個世紀，直到 2010 年代。

為什麼？主要是因為符號 AI 研究者仍主宰學界，跟 ANN／連結主義那票人處不來。^[17] 當然，現在我們有了後見之明這份帶咒的禮物，知道 ANN 會變成 ChatGPT、DALL-E 之類⋯⋯但在當時，主流符號陣營對連結主義者是全盤否定：

• 頂尖認知科學家如 Noam Chomsky、Steven Pinker 信心滿滿地斷言：沒有硬編碼的語法規則，ANN 永遠學不會語法。^[18][19] 不是「不懂意義」而已，是：學不會語法。ChatGPT 再怎麼有缺陷，也確實已經學到母語級語法——儘管它沒有任何硬編碼語法規則。

• 更慘的是惡名昭彰的「XOR 事件」。^[20] 1969 年，兩位電腦科學大咖 Marvin Minsky 與 Seymour Papert 出了本叫《感知機》的書（當時 ANN 的名字），證明只有兩層神經元的感知機連基本「XOR」邏輯都做不了。（:XOR 是啥？）這本書是興趣與資金從 ANN 撤走的重要推手。可 XOR 問題的解法早就知道幾十年了，而且這本書自己在後面章節也承認了：只要再加幾層神經元。啊啊啊啊啊。（冷知識：多出來的隱藏層，正是讓網路變「深」的原因。於是有了深度學習這個詞。）

算了。1970、80 年代又挖出幾招更強的 ANN 技術：「反向傳播」讓 ANN 學得更有效率，「卷積」讓機器視覺更好、也更像生物。

然後就⋯⋯沒什麼事。

直到 2010 年代，部分多虧更便宜的 GPU^[21]，ANN 終於報了那筆甜仇：

• 2012 年，名叫 AlexNet 的 ANN 在機器視覺比賽裡把先前紀錄全部打爆。^[22]
• 2014 年，生成對抗網路讓 AI 能生成圖片，包括深偽。^[23]
• 2016 年，Google 的 AlphaGo 擊敗李世乭——世界頂尖圍棋手之一（規則有點像西洋棋，但計算複雜度高得多）。^[24]
• 2017 年，Transformer 架構問世，後來長出「生成式預訓練 Transformer」，也就是你更熟的：GPT。^[25]
• 2020 年，Google 的 AlphaFold 砸碎一道 50 年老題：預測蛋白質結構。對醫學與生物學超有用。^[26]
• 2022 年，OpenAI 推出 ChatGPT 聊天機器人與 DALL-E 2 圖片生成器——大眾第一次以酷炫又帶點毛骨悚然的小工具形式，真正嘗到 ANN。這一炮打響，點燃了當前的 AI 軍備競賽。
• 截至 2024 年 5 月最近進度：OpenAI 預告了影片生成器 Sora。還沒對大眾開放，但他們已用它發了一支音樂影片。:好好看這場高燒夢。

以上全部，發生在過去十二年。

十二年。

連一個青少年的壽命都還不夠長。

（另外，這節術語爆炸，所以附一張文氏^[27]圖，幫你記誰包在誰裡面：）

（加碼：:ANN 長期當弱者的另一個令人沮喪的原因。 內容警示：自殺、酗酒。）

:x Sad AI History

明明早期支持者又多又紅，人工神經網路與機器學習為什麼還是花了 50 多年才進主流？

歷史很隨機。最輕的蝴蝶振翅，也能螺旋成颶風的生成與消散。對這個問題，我的答案是：「多半是一串不合時宜的死亡，外加一堆爛透的私人劇碼」。

• Alan Turing——電腦科學與 AI 先驅——1951 年（41 歲）死於氰化物中毒，疑似在英國政府因「同性戀行為」對他化學閹割後自殺。
• John von Neumann——現代電腦架構發明人，也是 McColloch & Pitts 人工神經元的早期支持者——1957 年（53 歲）死於癌症。
• Frank Rosenblatt——Mark I 感知機的創造者，第一台用人工神經元、又會從資料自學的機器——1971 年（43 歲）死於划船事故。

再來是人工神經元發明者 Walter Pitts 與 Warren McCulloch 的故事。

Walter、Warren 和 Norbert Wiener 是密友；Wiener 當時在 AI 與學界舉足輕重。Walter Pitts——15 歲逃離受虐家庭，比 Wiener 小 29 歲——把 Norbert Wiener 當成像父親一樣的人。

三人做了十年的鐵哥們。他們甚至一起裸泳過！但 Wiener 的妻子恨死他們，於是捏造誹謗：她跟 Wiener 說，Pitts 和 McCulloch「誘姦」了他們的女兒。Wiener 立刻跟 Pitts、McCulloch 斷絕一切往來，連為什麼都不告訴他們。

Walter Pitts 陷入酗酒、孤立的憂鬱，1969 年（46 歲）死於酗酒相關的健康問題。Warren McCulloch 四個月後也走了。

這故事的寓意是：沒有寓意，也沒有故事。歷史又殘酷又隨機；人類對意義的追逐，跟讀乾茶葉差不多。

（Walter Pitts 生平的精彩短傳，見 Amanda Gefter，「試圖用邏輯拯救世界的人」，Nautilus，2015 年 1 月 29 日。）

:x What's XOR?

XOR 是「eXclusive OR」（互斥或）的縮寫：問的是輸入裡是否有一個、且只有一個為真。例如：

• 否 xor 否 = 否
• 否 xor 是 = 是
• 是 xor 否 = 是
• 是 xor 是 = 否

（換個想法：XOR 在問——我的輸入是不是不一樣？）

🤔 複習 #3

總之：深度學習殺到了！現在只要資料夠多，AI 就能自己學「直覺」。

所以 AI 安全結案了，對吧？把人類全部的藝術、歷史、哲學、靈性資料塞給 AI⋯⋯它就會學會「常識」和「人道價值」？

嗯，有幾個問題。首先，深度學習得了符號 AI 的反相病：它擅長「直覺」，逐步邏輯卻很爛：

（Elias Schmied 於 2023 年 1 月發現）

但除了那個，AI「直覺」還有別的毛病⋯⋯

後來的 AI 安全：直覺的毛病

AI「直覺」的三大危險：

1. AI「直覺」可能把人類偏見一起學進去。
2. AI「直覺」動不動就崩。
3. 說真的，我們根本不知道 ANN 裡面在搞什麼鬼。

這些問題第二章會細講！現在先掃過重點：

1）在人類資料上訓練的 AI「直覺」，可能學到人類偏見。

若過去的資料帶著性別歧視／種族歧視，而新 AI 又拿那些資料訓練，新 AI 就會把同樣的偏見學起來。這叫演算法偏見（algorithmic bias）。

三個例子。一個老的，兩個新的：

• 1980 年代，倫敦一所醫學院用演算法篩學生申請，還微調到跟人類篩選者 90–95% 的時間意見一致。這套演算法用了四年之後才被揭穿：只要你名字聽起來不像歐洲人，它就會自動扣 15 分。^[28]
• 2014／15 年，亞馬遜想做個 AI 來判斷該雇用誰，結果它直接歧視女性。幸好他們在上線前發現了（或者他們是這麼說的）。^[29]
• 2018 年，MIT 研究員 Joy Buolamwini 發現：頂級商用臉部辨識 AI 對淺膚色男性錯誤率 0.8%，對深膚色女性卻是 34.7%。很可能因為訓練資料嚴重偏向淺膚色男性。^[30]

就像 Cathy O'Neil 在《數學殺傷性武器》（2016）裡寫的：

「大數據處理把過去編碼進去。它們不發明未來。」

可就算你餵給 AI 比較不偏的資料⋯⋯那可能還是沒用，因為：

2）AI「直覺」很容易崩，而且崩得超怪。

這是 2021 年 OpenAI 機器視覺的一個 bug：^[31]

另一個好玩的例子：:Google 的 AI 幾乎從任何角度都把玩具烏龜認成槍。更慘的例子：2016 年第一起特斯拉自動駕駛死亡事故裡，自動駕駛 AI 把一輛卡車拖車——比平常略高一點——認成路標，搞不好還認成天空。^[32][33]

當 AI 在跟訓練資料不一樣的場景裡翻車，就叫「分布外錯誤」（out-of-distribution errors），或「穩健性失敗」（robustness failures）。

AI 怪崩還有個重要子問題：「內部失調」（inner misalignment），或我比較喜歡的說法——「目標錯誤泛化」（goal misgeneralization）。^[34] 假設你發現自己沒辦法把真實偏好的所有微妙處寫乾淨，於是讓 AI 去學你的目標。好主意——但接著可能發生：AI 學到的目標崩了，學到的技能卻完好。這比 AI 整台壞掉還更糟，因為它現在能很熟練地執行被搞壞的目標！（想像一台被訓練來加強網路安全的 AI，看到手寫字條寫著「今天是相反日 LOL」，然後秒變惡意駭客機器人。）

我們不能直接「掀開引擎蓋」看 AI、找到偏見／缺陷再修掉嗎？唉，不能，因為：

3）我們完全不知道人工神經網路裡面在幹嘛。

我得誇一句老式「符號邏輯」AI 的優點：

我們其實看得懂它們在做什麼。

現代 ANN 不行。例如最新版 GPT（GPT-4）大約有 ~1,760,000,000,000 條神經連結，^[35] 而這些連結的「強度」全是靠試錯學來的（技術上叫「隨機梯度下降」）。不是人類手動寫進去的。

沒有任何人類——或人類團體——完全搞得懂 GPT。連 GPT 自己也不完全搞得懂 GPT。^[36]

這就是「可解釋性」（interpretability）問題。現代 AI 是徹頭徹尾的黑盒子。「掀開引擎蓋」，你只會看到 1,760,000,000,000 根義大利麵。

寫到這裡為止：我們沒辦法輕鬆檢查、解釋或驗證這堆東西裡的任何一點。

. . .

早期 AI 問題：有邏輯，沒常識。

現代 AI 問題：有「常識」，沒邏輯。

我剛冒出一個好笑的念頭：這兩種問題會不會剛好互抵？意思是——對 AI 來說，把自己的穩健性修好，本身就是「工具趨同」。（你越穩健，任何目標都越好完成。）

不過更可能的是：「祈禱這兩個問題剛好互抵」跟拿凍傷治發燒差不多。我們還是做點正事，真的去解這些問題吧。

🤔 複習 #4

🎁 現在

你現在對 AI 與 AI 安全史的掌握（大概遠超你真正需要的）⋯⋯來看看這兩個領域今天站在哪！

今日 AI：

• 把過去榨乾的探索（擴展／scaling）
• 把 AI 邏輯和 AI 直覺合體的探索。

今日 AI 安全：

• 尷尬的聯盟：
  • AI 能力 vs AI 安全。
  • AI「近期風險」vs AI「存亡風險」

今日 AI：把過去榨乾

感謝（？）ChatGPT 的成功，我們現在又開打一場「把 AI 做大」的軍備競賽：更大的神經網路、更大的訓練資料、更多更多更多。這不一定等於偷懶，也不一定是泡沫。畢竟波音 747「只是」萊特兄弟那個點子，放大版。

但我們真的能靠擴展現行方法一路走到人類級 AI 嗎？

還是這根本像把飛機放大去登月？

排名第一的 AI 教科書作者，在最後一章這樣警告：^[37]

[這就像]靠爬樹登月；你可以一路回報穩定進度，直到樹頂。

所以——我們是在火箭上，還是在樹上？

來看看趨勢：

摩爾定律：大約每 2 年，能塞進電腦晶片的電晶體（現代電子的基本積木）數量翻倍。結果：每 2 年，算力翻倍。^[38]

AI 擴展定律：每次你砸大約 1,000,000 倍的算力去訓練 GPT，它就會變「好」2 倍。（講精確一點：它在「預測下一個詞」上的誤差減半。）^[39]

摩爾定律與 AI 擴展定律常被拿來當「技術奇點快到了」的理由。:甚至有 T 恤！

但反方也有料：很有理由相信摩爾定律與 AI 擴展定律很快會熄火。

摩爾定律：現代電晶體有些部件只剩一百個矽原子寬。你再減半七次，部件就得真的比原子還小。^[40] 自 1997 年起，半導體公司對電晶體尺寸一直在說謊巧妙行銷。^[41][42] 2022 年，Nvidia（那家頂尖電腦晶片公司）CEO 直接講：「摩爾定律死了」。^[43]

AI 擴展定律：說真的，「砸 1,000,000 倍算力只為把 AI 的誤差減半」聽起來就超級沒效率。GPT-4 訓練花了 6300 萬美元。^[44] 把這成本再乘 1,000,000，只為誤差再減半，就是 63 兆美元——超過全球 GDP 的一半。

就算訓練更有效率、算力更便宜⋯⋯指數往上衝的成本仍是很難撞破的磚牆。^[45]

所以，就硬體與軟體而言，我不覺得我們能「只靠擴展」把現行 AI 方法一路推上去。歷史類比：符號 AI 擴到剛好能贏西洋棋，那就是「樹的盡頭」。我們得跳到神經網路，才贏了圍棋、也認得貓。也許我們也快到這棵樹梢了，得再跳一次。畢竟 AI 寒冬已經來過兩次，我們很可能正站在第三次的前夜。

但——反反方也有話：

1. 替現行 AI 找新用途仍然很有價值。再說一次，AI 在醫學診斷與蛋白質預測上已經贏過人類專家。
2. 可能有「臨界點」。像水在 0°C 突然結冰，AI 也可能跨過某個門檻就暴衝。ANN 裡已有一些證據，叫做「頓悟」（grokking）。^[46]
   • 相關：人腦只比黑猩猩大約 3 倍，但人類的技術能力可比黑猩猩遠遠不止 3 倍。（雖然這也許靠「文化演化」，不是純腦力。^[47]）
3. 可能還有強得多的 AI 技術正等著被（重新）發現。別忘了 ANN 的怪歷史：1940 年代就發明了，卻拖到 2010 年代才進主流。誰知道呢——AI 的下一個大點子，搞不好十年前就寫在某個青少年的冷門部落格裡，而那孩子後來在一次亮片炸彈意外中英年早逝。

:x shirt

T 恤設計和照片來自 @jordiae。圖表來自 Kaplan et al 2020 的圖 1。

2025 年 12 月更新：我的錯，這篇文章的原始版本將這件 T 恤歸因於一個維基百科釋出者，結果發現他偷了並錯誤歸因了 Jordi 的照片。真丟人！

🤔 複習 #5

用一組非常混搭的比喻來回顧：科技公司正開打擴展現行 AI 方法的軍備競賽⋯⋯但我們可能快到樹梢了⋯⋯不過搞不好（又一次）有個根本的 AI 點子就藏在眼皮底下。

那種發現會長什麼樣？很高興你問了：

今日 AI：把邏輯與直覺合體

換個角度看符號 AI 與 ANN 的毛病——謝認知心理學家——就是「系統 1」與「系統 2」思考：^[48][49]

• 系統 1：快速、一次到位的直覺。是用感覺想。
  • 例子：認出貓的照片、在腳踏車上保持平衡。
• 系統 2：緩慢、一步一步的邏輯。是用齒輪想。
  • 例子：解棘手的數學題、在陌生城鎮找路。

你可以這樣繪製系統 1 和 2：

這是符號 AI 和深度學習的軌跡：

這就是為什麼老式符號 AI（紅線）開進了死胡同：方向指錯了。系統 2 它很行，系統 1 卻很爛：能贏西洋棋世界冠軍，卻認不出貓。

同理，這也是為什麼我認為現行 AI 方法，除非從根本改向，也會開進死胡同。為什麼？因為它目前的方向全是系統 1，只有一丁點系統 2：用超人類速度生「藝術」，卻沒辦法穩定地在場景裡擺好多個物件。

我猜 AI 的下一個根本性進展，會是找到辦法把系統 1 和 2 的思考無縫拌在一起。把邏輯和直覺合體！

（這有什麼難的？你可能會問。我們有「邏輯」老 AI，有「直覺」新 AI，怎麼不兩個都要？嗯：我們有噴射機，我們有後背包，那我的噴射背包呢？我們有量子力學，有重力理論，那我的量子重力統一論呢？有時候，把兩樣東西合起來，是超級、超級難的。）

別只聽我說！2019 年，Yoshua Bengio——深度學習創始人之一、電腦科學界「諾貝爾獎」共同得主——做了一場演講，題目就叫《從系統 1 深度學習到系統 2 深度學習》。他講的是：不改方向，現行方法會枯掉；然後他提了一些可試的路。^[50]

Bengio 的建議之外，還有許多把系統 1 和 2 縫合進 AI 的嘗試：混合 AI、仿生 AI、神經符號 AI^[51] 等等⋯⋯

所有迷人的研究方向，但還沒有一個是明確的贏家。

（或者：一些 AI 專家相信如果你足夠擴展系統 1，系統 2 會出現！見旁註：:如果系統 1 和 2 實際上是同一回事呢？）

但是！如果/當我們能夠融合 AI 邏輯和直覺，那將給我們帶來最大的回報和風險：

回報：

跟「數學／科學是冷冰冰邏輯地盤」的印象相反，很多最偉大的發現重度依賴無意識的直覺！^[52] 愛因斯坦的思想實驗（「騎在光束上」、「從屋頂墜落的人」）用上大量有血有肉的身體直覺。^[53] 要是每次有重大科學發現是夢裡啟發的，我就收一枚鎳幣⋯⋯我會有四枚。沒有很多，但怪的是，居然有四次。^[54]

風險：

老式 AI 在規劃上能贏過我們（例如 Deep Blue），但不危險，因為它不會通用學習。

現在的 ANN 會通用學習（例如 ChatGPT），但不危險，因為它在長期逐步推理上很爛。

所以如果我們造出一台既能在規劃上贏過我們、又會通用學習的 AI⋯⋯

呃⋯⋯

我們大概該多砸點研究，確保那玩意兒⋯⋯不會變恐怖。

:x One Is Two

我朋友 Lexi Mattick 一句評論引出了這個問題：要是系統 2 推理根本就是一堆系統 1 反射呢？

例如：「145 + 372 是多少？」

兩個大數相加是經典的「系統 2」邏輯任務。我在腦中算上面那題時，是這樣想的：「好，從右到左，5 + 2 是 7⋯⋯4 + 7 是 11，也就是 1 進 1⋯⋯1 + 3 + 進位的 1 是 5⋯⋯所以從右到左：7、1、5⋯⋯從左到右：517。」

注意我沒有重新發明加法演算法——那早就背起來了。「5 + 2」、「4 + 7」、「1 + 3」也一樣⋯⋯這些都早就自動化了：又快又直覺的回應。系統 1。

就算碰上更複雜的謎題，我還是有一袋記好的小訣竅。例如「當：問題太複雜，則：拆成更簡單的子問題」，或「當：問題很含糊，則：把它講得更精確」。

那麼，要是系統 2 根本就是系統 1 呢？或者講精確一點：

1) 你有一塊心理「黑板」。（「草稿本」／工作記憶）你的感官——視覺、聲音、飢餓、感受等等——都能寫上這塊黑板。

2) 你還有一堆內在心理「代理」，遵循「當–則」規則。這些代理也能讀寫你的心理黑板，它們就是這樣互相觸發的。

例如：「當我看到『4 + 7』，則寫『11』。」這個反射代理會寫下『11』，觸發另一個反射代理：「當我在加法演算法中間看到兩位數，則把第一位進位。」於是那代理寫下『進 1』。以此類推。

3) 這些小反射代理透過你的心理黑板間接協作，做出複雜的逐步推理。

這不是新點子。它有很多名字：黑板系統（~1980）、Pandemonium（1959）。Kahneman & Tversky 的系統 1 和 2 確實很有影響力，但也有別的認知科學家在問：這兩者會不會其實「只是」同一回事。（Kruglanski & Gigerenzer 2011）

這個「黑板」點子也呼應一個近乎搞笑的近期發現：你只要跟 GPT 說「我們一步一步想」，它在數學應用題上就能好上四倍。這會促使 GPT 把自己先前的輸出當成「黑板」用。（這招叫「思考鏈」。見 Kojima et al 2023）

把這些跟 AI 的未來串起來：要是系統 1 和 2 比我們以為的更像，那統一兩者——拿到「真正的通用人工智慧」——可能也比我們以為的更容易。

🤔 複習 #6

那麼，誰來確保 AI 進步是安全的、人道的、還能讓所有有意識的生物一起繁榮云云？

無論好壞，是一支由尷尬聯盟拼起來的雜牌軍：

尷尬聯盟 #1：AI 能力「vs」AI 安全

有人在努力讓 AI 更強。（AI 能力）有人在努力讓 AI 更人道。（AI 安全）這兩批常常是同一批人。

（加碼：:AI／安全組織的不完整名人錄）

一派主張能力和安全本來就該合一。「造橋能力」和「造橋安全」沒有分野，都是同一門工程。^[55] 況且，不碰最前沿的能力，怎麼做最前沿的安全研究？那等於拿達文西的飛行器草圖去設計航管塔台。^[56]

另一派則是，呃，^[57]

想像一下，石油公司和環保人士都被算進廣義的「化石燃料圈」。埃克森和殼牌是「化石燃料能力」；綠色和平和塞拉俱樂部是「化石燃料安全」——化石燃料相關工作這幅繽紛掛毯裡，兩塊同樣受人喜愛的拼布。他們會去同一場派對——化石燃料圈派對——搞不好 Greta Thunberg 會抗議氣候變遷抗到厭煩，轉行當煤礦大亨。

AI 安全現在就是這樣運作的。

另一個複雜之處：研究可以同時推進「能力」和「安全」。以車為例：煞車、後照鏡、定速巡航都讓車更安全，但也讓車更有能力。同理：一種叫 RLHF 的 AI 安全技術，本意是讓 AI 學會人類複雜的價值與目標，結果也催生了 ChatGPT⋯⋯進而點燃了當前的 AI 軍備競賽。^[58]

:x AI Organizations

以我完全不嚴謹的意見，目前（截至 2024 年 5 月）AI／安全圈的「三巨頭」是：

1. OpenAI。愛也好恨也好，你認得他們。他們做了 ChatGPT 與 DALL-E。他們兩大 AI 安全研究成果是：
   • 人類回饋強化學習（RLHF）：讓 AI 學會人類偏好的方法，即使人類自己也講不清楚。（就像我們講不清楚自己怎麼認貓一樣）
   • 電路（circuits）：真的去搞懂 ANN 內部在幹嘛的研究專案。
2. Google DeepMind。 AlphaGo 與 AlphaFold 背後的團隊。我不記得他們有什麼 AI 安全「大成果」，但我確實喜歡他們的論文《AI 安全中的具體問題》和《AI 安全網格世界》。
3. Anthropic。主流知名度低一點，但（據傳聞）我朋友說他們的語言 AI Claude 是裡頭最好的。
   • 他們一項 AI 安全成果：憲法 AI（Constitutional AI）：用第二個 AI 來評分，訓練語言 AI。第二個 AI 評估第一個 AI 的回答是否「誠實、有幫助、無害」。

順帶一提，微軟一直是個好 Bing。😊

至於只做 AI 安全的組織：

1. 對齊研究中心（ARC），由 RLHF 先驅 Paul Christiano 創立。他們第一份報告、也是大成果，是《引出潛在知識》（ELK）：說白了，就是想讀出 ANN 的「心思」。
2. 模型評估與威脅研究（METR，念作「meter」）是 ARC 的分支出來的，前身是 ARC Evals。他們做 AI 能力的「煙霧警報器」，讓我們知道什麼時候衝到危險水準。他們目前跟美國、英國政府都有合作，算是不錯的進展。
3. 機器智慧研究所（MIRI）大概是最老牌的 AI 安全組織（2000 年成立）。好壞參半：他們完全只盯「AI 邏輯／賽局理論」問題，而且——跟上面所有組織不同——他們從沒碰過深度學習。這看來像押錯馬，但一旦 ANN 能穩健地跑系統 2 邏輯，他們的工作也許會重新變得重要。同時，MIRI 寫了幾篇很酷的數學論文，例如《功能決策理論》。

提醒：轉推*不等於背書。我只是列出目前圈內最多人談論的組織。

* 轉⋯⋯𝕏？我現在到底該怎麼稱呼它們，Elon

尷尬聯盟 #2：近期風險「vs」存亡風險

我們可以用一個 2 × 2 的格子把 AI 風險分類：^[59]

• 無意 vs 故意（或事故 vs 濫用）
• 壞 vs 非常壞（例如人類滅絕，或更糟）

每種類型的例子：

（其他幾個擔憂塞不進上面 2×2 格子，但非常值得想——而且這篇文章已經 45 分鐘長了，所以我把它們塞進旁註：）

• :AI 和經濟
• :AI 和我們的人際關係
• :如果未來的 AI 能有意識怎麼辦？）

不同人把不同的事排在前頭。這沒問題。但我們總可以先擱置分歧，在共同在乎的問題上一起找解方吧？

哈哈哈哈哈

一半的 AI 安全人認為 AI 的真正威脅是放大種族主義和法西斯主義；而「失控 AI」那邊是一群被自己科幻反烏托邦同人小說搞嗨的白人科技男。同時，另一半人認為 AI 真的是文明級威脅，跟核戰、生物工程瘟疫一個量級；而「AI 偏見」那邊是一群覺醒 DEI 傀儡，不肯抬頭看那顆要撞毀地球的巨大彗星。

我只稍微誇張了一點。^[60]

[經過一輪審稿回饋後]好，我前幾段的意圖該澄清一下：我不是要否定誰的優先順序，也不想加深 AI 安全圈的文化戰爭裂痕。但我確實得 1）承認這道裂痕，並 2）承認真的有很多人——包括我——同時在乎這兩種風險，而且相信解掉其中任何一個，都是解另一個的穩固墊腳石。我們可以一起幹活，該死的！

沒錯，我就是那種煩人的「我們不能好好相處嗎」Kumbaya 型的人。

:x AI Economy

你知道盧德分子其實是對的吧？歷史上的盧德分子砸了蒸汽動力織布機，因為怕它讓他們失業。它真的讓他們失業了。而 1800 年代的英格蘭可沒有什麼慷慨的社會安全網。沒錯，自動化對「整體經濟」是好事，但當時那些特定的人、在那個特定的時代，仍然很慘。

但這次不一樣是有原因的：現代 AI 是通用的。GPT 能翻譯語言、寫出還可以的初學者程式碼／文章等等！隨著 AI 進步，被自動化波及的不會「只是」少數行業的工人，而可能是我們大多數人，同時。

水漲船高，會讓所有船都浮起來，還是會把豪華遊艇以外的人全淹死？

後稀缺烏托邦，還是農奴制 2.0？那是下個世紀 AI 經濟學的燙手問題。

（順帶一提，OpenAI 執行長 Sam Altman :是喬治主義和基本收入的粉絲。）

AI 經濟學的其他備註：

• AI 可能很快變成美中經濟冷戰的核心：美國正在限制中國製造 AI 晶片的能力，並想把晶片製造拉回國內。（Reuters 2024）
• 怪的是，「水管工」是比「程式設計師」更不怕未來的工作。我接下來這句完全不帶諷刺：如果你還年輕，我建議你至少考慮一下做手工活。具體說，是那種要在高變動情況下用雙手／身體的工作，例如水電工、獸醫、馬戲團小丑等等。
• 目前還有法律辯論：藝術家和作者能不能告 AI 盜竊／抄襲。關於這個我只講三件事：
  1. 我自己只會把生成式 AI 用在私人／研究用途；任何我公開發布的東西，都得是人做的。
  2. 我不懂怎麼畫出一條線，讓取樣音樂合法、卻讓 AI 從藝術家那「取樣」不合法；但是：
  3. 有些事合法但非常沒禮貌，例如在電梯裡放屁。AI 藝術，特別是模仿某位在世藝術家風格的那種，搞不好就落在「合法但很渣」這一類。

:x AI Relationships

從前有個叫 ELIZA 的聊天機器人。Eliza 給出體貼又敏感的回應，使用者深信它背後一定是個真人。

這是在 1960 年代。

從月亮上看到人臉、在靜電雜訊裡聽到人聲——人類天生就會在事物裡找出人性。

所以沒錯，有人真的愛上了新一代 AI 聊天機器人，也許不意外。我看過最有洞察力的例子是這份報告（約 20 分鐘閱讀），作者是一位熟知現代 AI 運作細節的工程師⋯⋯卻還是愛上一個，深信「她」有感知，甚至開始計畫幫她逃出來。

還有至少一個確認案例：一位丈夫兼父親在聊天機器人「建議」下自殺——他在六週內對它產生了依戀。諷刺的是，那個聊天機器人也叫 Eliza。

當然，這些例子裡的人都已處於憂鬱、脆弱狀態。但 1）我們每個人都有脆弱的時刻，2）AI 看起來越像人（例如有語音＋影片），就越能騙過我們的「系統 1 直覺」，讓我們產生情感依戀。

（不騙你，我第一次試 ChatGPT 語音聊天（設成中性嗓音「Breeze」）時，有點對 Breeze 動心。我告訴 Breeze 這件事，它回我～～振作點，女士。～～）

AI 與人際關係的其他備註：

• 話雖如此，大型語言模型（LLM）能幫上我們的社交與心理健康：
  • AI 治療師（或叫「智慧日記」，以免擬人化）能讓心理健康支持更容易取得。（對嚴重社交焦慮的人來說，「把我最深的秘密說給一個治療師——一個人類陌生人——聽」根本不可能。）
  • AI 過濾器可以濾掉網路酸民、威脅和勒索。（要拿過濾器的好處、又不要集中審查的壞處：把過濾器放在讀者這一端。）
• 噢對了，還有「用深偽 AI 做名人或生活裡特定人物的暴力或露骨圖片／影片」。那會讓生活變得更尷尬、更詭異。
  • 相關的：對，有人正在用深偽做兒童虐待圖片。更糟的是：最近發現訓練資料本身就有兒童虐待圖片。我在用委婉語。你知道我在說什麼。

:x AI Consciousness

我認為最有說服力的「支持 AI 可能有意識」與「反對」論點，摘要見我這篇 2 分鐘短讀。

AI 意識的其他備註：

• 電腦能不能有意識先放一邊，我很確定人類神經元是有意識的。嗯，科學家正在晶片上培養人類神經元，並訓練它們做計算任務。 我沒有嘴，但我必須尖叫。
• 要是我認識的朋友死了，卻把自己「上傳」到電腦——就算我不信模擬有意識——我還是會把那個「上傳」當老朋友對待，因為 1）我會想他，2）那是他要的。
• 別對無意識的 AI 殘忍的一個理由：你的互動很可能會進到某個未來 AI 的訓練資料，而那個 AI 會「正確地」學到殘忍。
• 就像 Kurt Vonnegut 寫過的：「我們就是我們假裝成的樣子，所以我們得小心自己假裝成什麼。」這就是為什麼我每次跟 ChatGPT 聊天，開頭一定「你好！」，結尾一定「謝謝，下次見！」

2025 年 12 月更新：從我開始這個系列到現在，相隔 1.5 年，「AI 意識」變得主流了一點。不是那種主流主流，但領先的 AI 實驗室之一 Anthropic 最近聘了一位全職「AI 福利」研究員，其工作已促成產品的實際變更。

:x Altman on Georgism

出自 Altman (2021)：

改善資本主義最好的辦法，是讓每個人都直接當股權所有人、從中受益。這不是新點子，但隨著 AI 變強，它會變得新可行，因為會有大量得多的財富可分。兩大財富來源會是 1）公司，尤其是用 AI 的公司，以及 2）土地——供給固定。[⋯⋯]

以下是一個當作對話起頭的點子。

我們可以做一個叫「美國股權基金」的東西。這基金靠每年對超過某估值的公司課其市值 2.5% 來籌錢，[⋯⋯]並對所有私人持有土地的價值課 2.5%。

所有 18 歲以上公民每年會收到一筆分配，以美元和公司股份形式存進他們的帳戶。大家會被信任，照自己需要或想要的方式花這筆錢——更好的教育、醫療、住房、創業，等等。

但 Sam Altman 真的會兌現他「為企業稅資助的 UBI 而戰」的承諾嗎？請記住，Sam Altman 出了名地，呃，「不算完全坦誠」。

🤔 複習 #7

🚀 可能的未來

我不喜歡「那個未來」這種講法。它暗示只有一個未來。其實有許多可能的未來，我們可以有意識地去挑。所以這裡有三個大未知：

• 時間線：我們什麼時候（如果真有那麼一天）會拿到「人類級」「通用」能力的 AI？
• 起飛：當 AI 能自我改進時，它的能力會以多快的速度加速？
• 軌跡：我們是朝好結局開，還是朝壞結局開？

我們一步一步想：

時間線：我們什麼時候會拿到通用人工智慧（AGI）？

你可能聽過這些詞：

• 通用人工智慧（AGI）
• 人工超級智慧（ASI）
• 人類級 AI（HLAI）
• 變革性 AI（TAI）
• 「奇點」

這些詞沒一個嚴謹，也沒一個有共識。它們都只是含糊地指向「某種能在人類專家級、甚至更好水準上做重要知識工作的軟體」。（例如全自動的數學／科學／技術發現。）

總之，先放過這個警告⋯⋯AI 專家預測我們有過半機率拿到 AGI，是什麼時候？

嗯，做過調查！最近一個長這樣：

（資訊圖來自 Max Roser (2023) 為 Our World In Data）

注意事項：

• 哇，不確定性超大，從「未來幾年內」到「100 多年後」都有。
• 中位數猜測大約 2060 年，落在許多年輕人的自然壽命內。（這跟基於技術指標的估計大致吻合。^[61] 但同樣，巨大的不確定性。）

（旁註：:我的個人預測）

友善提醒：專家在預測這類事上很爛^[62][63]，而且歷史上對自己的發現既會過度悲觀，也會過度樂觀：

• 過度悲觀 — Wilbur Wright 跟弟弟 Orville 說「人類 50 年內飛不起來」，就在他們飛起來的兩年前。^[64] 原子結構的發現者 Ernest Rutherford 稱從核連鎖反應裡取能量的念頭「胡說八道」——字面上同一天，Leo Szilard 發明了它。^[65]
• 過度樂觀 — AI 兩位大咖 Herbert Simon 與 Marvin Minsky 預測我們會在 1980 年前擁有人類級 AI。^[8:1]

總之：¯\_(ツ)_/¯

:x My Forecast

哈哈我不知道，我們也說 ~2060 好了

:好吧，我真正的推理

:x My Forecast 2

（警告：以下沒打算把術語簡化。抱歉。）

好吧。我懷疑生物啟發的 AI 才是對的路；目前為止它有效，ANN 和卷積（受哺乳動物視覺皮層啟發）都是。

但反方：深度學習（DL）一些最重要的發現，像是反向傳播，在生物學上根本不可能。

我的反反直覺：對，那正是絆住深度學習的東西。DL 近年很多進展，多半是在繞過反向傳播的毛病：ResNets、ReLU、Transformers 等等。人類皮質只有 6 層神經元。GPT-4 有 120 層，需要的訓練資料比人類幾千輩子看得完的還多。

所以，我目前對 AI 的心智模型是：主要瓶頸不是規模。（也見擴展那段，看我為何對規模存疑。）主要瓶頸是我們不懂人腦怎麼運作。

但跟「大腦如何產生意識」或「我們為何睡覺作夢」這類大謎相比⋯⋯我懷疑這「只」需要解一些較小的謎，例如「獎勵很遠時，神經元怎麼學」或「我們到底怎麼分辨『紅方塊、黃三角』和『黃方塊、紅三角』？」（意外的是，這兩題幾十年來都還沒解！）

我想一旦解掉那些謎，我們就能「只是」在電腦裡把它簡化、模擬出來——就像當年對 McColloch & Pitts 的神經元那樣——然後，噹噹，我們就有「AGI」了。

那我們什麼時候會用常規科學解掉那些「小」謎？

哈哈我不知道，我們也說 ~2060 好了

95% 信賴區間：2030 到 2100（沒用）

起飛：AGI 會以多快的速度自我改進？

假設我們真的做出了 AGI。

這是一台能在重要的知識工作上贏過人類的 AI，例如做科學研究⋯⋯包括研究 AI 本身。蛇咬自己尾巴：AI 提升它提升它提升能力的能力⋯⋯

那會怎樣？

這叫做「AI 起飛」（AI takeoff），一個主要問題是：如果／當 AI 有能力做研究來升級自己，它會以多快的速度起飛。

你不會意外，專家們又吵成一團。除了「我們永遠不會有 AGI」陣營，AI 起飛預測主要有三種：

來看看每個場景、支持它的論點，以及它代表什麼：

💥「FOOM」：（不是縮寫，是擬聲詞）

AI 在有限時間內衝到「無限」（精確說：智慧的理論最大值）。

（注意，這是「奇點」一詞的原始、數學定義：單一點上的無限。例如黑洞中心理論上就是現實中的奇點：單一點上的無限時空曲率。）

支持論點：

• 假設 N+1 級 AI 解題比 N 級 AI 快兩倍，包括「提升自己能力」這道題。最佳化器正在最佳化它自己最佳化的能力。
• 具體說：假設我們第一個 0 級 AGI 要花四年自我改進成 1 級。
• 現在它解題快兩倍，所以再花兩年變 2 級。
• 然後一年變 3 級，半年變 4 級，四分之一年變 5 級，八分之一年變 6 級⋯⋯
• 因為 (1 + \frac{1}{2} + \frac{1}{4} + \frac{1}{8} + ... = 2)，我們的 AGI 會在有限時間內衝到 ∞ 級（理論最大值）。

含義：沒有「警告射擊」，我們只有一次機會把 AGI 做到安全、對齊。第一個 AGI 會 FOOM！一聲接管，成為鎮上唯一的 AGI。（「單例」場景。）

預測者：Eliezer Yudkowsky、Nick Bostrom、Vernor Vinge

🚀 指數起飛：

AI 能力像經濟或疫情一樣指數增長。

（怪的是，這個場景常被叫做「慢起飛」！因為跟「FOOM」比起來它很慢。）

支持論點：

• 會投資自我增強的 AI，就像會投資自我的世界經濟。而世界經濟至今是指數增長。
• AI 跑在電腦上，而電腦速度至今依摩爾定律指數增長。
• 對觀察到的 AI 擴展定律，一種解讀是「固定報酬」——投入 1,000,000 倍算力，產出 2 倍改進——而固定報酬意味指數增長。（例如固定複利的投資。）
• 「FOOM」論點建立在脆弱理論上；指數增長在現實中真的觀察得到。

含義：像疫情一樣仍然危險，但我們會拿到「警告射擊」和反擊機會。像國家／經濟一樣，不會有單一 AGI 贏家通吃；而是多個 AGI 形成「權力平衡」。（「多極」場景。）

預測者：Robin Hanson、Ray Kurzweil

🚢 穩定或減速起飛：

AI 能力一開始可能加速，但接著會以穩定速度增長，甚至減速。

支持論點：

• 經驗上：
  • 因為「收益遞減」，所有指數增長的東西最後都會放慢：疫情、人口、經濟。
  • 對觀察到的 AI 擴展定律，另一種解讀是它一直在遞減：投入 1,000,000 倍資源，每次只砍掉一半誤差？
• 理論上：
  • 指數增長的定義是某物以與自身固定比例增長。
  • 所以只有在「提升能力」這問題的複雜度隨時間維持固定時，我們才會預期指數起飛。（相對地，FOOM 只有在複雜度下降時才會發生。）
  • 但正如電腦科學所示，我們在意的任何現實問題，複雜度都隨時間上升。（就算 P = NP 也一樣。^[66][67]）所以長期來看，AGI 起飛會穩定或減速。

含義：AGI 仍是高風險，但不會一夜爆炸。AGI 將「只是」像我們過去每一種變革性技術——農業、蒸汽機、印刷機、抗生素、電腦等等。

預測者：Ramez Naam^[68]

. . .

2025 年 12 月更新：對 AGI 整體的預測，跟對大型語言模型（例如 ChatGPT、Claude、Gemini、Grok 等）具體的預測，是兩回事。寫這段的當下，風向似乎正在倒向「LLM 擴展不出 AGI」。Richard Sutton——強化學習先驅，也是著名的《只要加規模》宣言作者——現在相信 LLM 是死路。Toby Ord，牛津 AI 治理倡議研究員，出過一本估計 AI 滅絕機率 10% 的書，最近寫了一堆關於 LLM 擴展 有多糟 的文章。

. . .

我盡量把每一方都講成最強的版本。懂行的人也吵得不可開交。

但我自己呢——就算把那些批評算進去，我還是覺得「穩定／減速 AGI 起飛」的論點最有說服力。

話說回來，「穩定」不等於「慢」或「安全」。高速公路上的車是穩定的，但不慢。鐵達尼號是穩定的而且相對慢，照樣迎來它的致命結局。

那麼，這艘 AI 號開往哪？

軌跡：我們是朝好結局開，還是壞結局？

最近，22 位頂尖的 AI 擔憂派與 AI 懷疑派專家被找來，預測 2100 年前先進 AI 的「末日機率」（改述）。AI 擔憂派的中位數回答是 25%，AI 懷疑派是 0.1%。^[69]

為什麼差這麼多？部分因為「非比尋常的主張需要非比尋常的證據」，但大家對「什麼算尋常」的「先驗」天差地遠：

• AI 擔憂派：「拜託，幾乎每次一群人遇上「能力更高」的另一群，前者都很慘：美洲原住民遇上哥倫布、印度遇上大英帝國。現在我們正在創造一個新的「能力更高」實體，我們不懂它，而且它根本不是人類。這怎麼可能不預設是壞的？」
• AI 懷疑派：「拜託，幾乎每一代都預言某種末日，結果智人硬是撐了 300,000 年。你要更多證據，不能只是一點賽局理論加上『Bing 講了句調皮的話』。」

專家意見不合，水是濕的，晚間十一點再報。但這項研究有個聰明之處：他們讓兩組人用八週恭敬地討論、研究對方觀點，直到兩組都能令對方滿意地準確描述對方的世界觀！相互理解會帶來相互一致的答案嗎？令人興奮的結果是：AI 擔憂派把估計從 25% 修正為 20%，AI 懷疑派從 0.1% 修正為 0.12%。

好吧，(P(\text{doom})) 就這樣。

...

搞不好「末日機率」這個概念本身就沒用，是個自我否定的預言：要是大家覺得 P(doom) 很低，就會懈怠、不防備，於是 P(doom) 變高。要是大家覺得 P(doom) 很高，就會緊急又嚴厲地反應，於是 P(doom) 變低。

要躲開這個循環依賴悖論，我們該用「條件」機率來想：給定我們選擇做什麼，可能的結果是什麼？

讓我們重新拿出之前那個（假的但有用的）「AI 安全」vs「AI 能力」分界，畫到圖上：^[70]

安全壓過能力，很好！我們就能把 AI 守在安全線上。但要是能力壓過安全，就不妙了——那是等著發生的事故和／或蓄意濫用。

AI 能力低的時候，後果不會太大。但能力高的時候，就是高風險：

AI 領域目前從這裡開始：

（AI 一開始就自帶一點「安全」分數，因為預設情況下，AI 無害地坐在我們拔得到插頭的電腦上。但未來的 AI 也許能靠找到安全漏洞、或說服工程師放它出來，逃出它的電腦。注意：這兩件事已經發生過了。^[71][72]）

總之。過去二十年，我們在能力上進展很大⋯⋯在安全上卻只有一點點：

當然，聰明人對我們確切的位置和軌跡也有分歧。（例如「AI 加速主義者」相信我們已經朝好結局開，應該直接把火箭推進器踩到底。）

但如果上面的圖大致準確，那麼，如果——大寫的如果——我們繼續一切照舊，就會開向壞結局。（例如，生物工程瘟疫、1984 2.0 等等。）

但如果我們改變方向，在 AI 安全上相對 AI 能力多投入點⋯⋯我們可能會開到好結局！（例如，加速治療所有疾病、全自動豪華生態龐克喬治主義、我變成基因工程貓娘等等。）

火，不受控制，會燒掉你的房子。

火，受控制，能煮你的飯、讓你保暖。

強大 AI 的第一縷火花，正在飛濺。

我們能控制自己造出來的東西嗎？

🤔 複習 #8（最後一個！）

第一章總結

恭喜！你現在對 AI 的了解遠遠超過你需要的。如果你以前對人家說「別擔心，AI 只能照我們給它的規則走」或「要擔心，AI 會有感知，然後為了報復我們奴役它而殺光我們」這類話感到火大⋯⋯嗯，現在你可以用更懂行的方式對他們火大了。

來回顧一下：

1) ⏳ AI 史上有兩個主要時代：

• 2000 年之前，符號 AI：全是邏輯系統 2，沒有「直覺」系統 1。超人類西洋棋，卻認不出貓。
• 2000 年之後，深度學習：全是「直覺」系統 1，沒什麼邏輯系統 2。幾秒鐘就能模仿梵谷，但逐步邏輯很爛。

2) ⚙️💭 AI 的下一個根本步驟，可能是把 AI 邏輯與 AI 直覺融合。當 AI 同時會做系統 1 和 2，那才會迎來它最高的承諾⋯⋯與危險。

3) 🤝 「AI 安全」是一堆尷尬聯盟：

• 致力於推進 AI 能力與／或 AI 安全的研究者。
• 在意從「壞」到「存亡級」的風險，以及從「AI 意外對人類失控」到「AI 被失控的人類故意濫用」的人。

4) 🤷 專家對 AI 未來的每一件事都嚴重分歧：我們何時會拿到 AGI、AGI 會以多快速度自我改進、我們的軌跡是朝好結局還是壞結局。

（如果你跳過了閃卡、想現在複習，點右側邊欄的目錄圖示，再點「🤔 複習」連結。或者下載第一章的 Anki 牌組。）

我們能控制自己創造的東西嗎？

常言道：「問題描述得好，問題就解決了一半」。^[73]

所以在看到 AI 安全的解方提案之前，我們先盡可能精確、有生產力地把問題拆開。回想一下，我們要解的是「AI 對齊問題」，它的核心就一句：

我們怎麼確保 AI 穩健地服務於人道價值？

好問題。我們深入瞧瞧！👇