AI 不僅僅是下一個詞的預測

「它只是預測下一個詞」這個短語是對現代 AI 最流行的否定方式，但它在最輕微的壓力下就會崩潰。說語言模型「只是」預測標記，就像說人腦「只是」點燃神經元，或物理學「只是」粒子相互碰撞一樣。目標可能很簡單。為了實現這個目標，系統內部必須構建的內容卻遠非如此。
為了在數學、程式碼、法律、小說、哲學、笑話、謊言和反事實中都能良好預測下一個詞，一個模型必須建立語法、事實、因果關係、意圖、角色、物理和社會動態的內部表徵。
機械解釋性研究，這個打開這些模型並深入觀察的領域，正是找到了這些。研究人員已經識別出歸納、間接引用、模組化算術、追蹤句子中哪個實體是誰的電路。
僅在圍棋走子序列上訓練的模型，即使從未見過棋盤，也會建立一個內部的棋盤表示。訓練用來預測文本的模型會發展出空間地圖、時間排序、真實與欺騙的表徵，甚至包括模型自身不確定性的表徵。
在這個基礎之上，出現了沒有人專門訓練系統擁有的能力。鏈式思考推理、上下文學習、工具使用、心智理論表現、多步規劃。
這些都不是由目標明確規定的。它們的出現，是因為在足夠的規模和數據下，善於預測就必須具備這些能力。湧現是複雜系統的規則，而非例外。濕潤性來自本身並不濕的 H2O 分子。生命來自本身並不具有生命的化學反應。從預測目標中湧現的智慧，並非形而上的神祕。它是複雜適應系統的行為。
而這裡是那些否定者常常跳過的部分：人類在內部看起來極為相似。
預測性處理是當代神經科學中的主要理論之一。在這個觀點中，大腦本質上是一個預測引擎，不斷產生對感官輸入、運動結果、社會線索和語言的預期，並在預測失敗時進行自我更新。
當你聽別人說話時，你的大腦正積極預測他們的下一句話。當他們說出意料之外的話時，一個可測量的信號在幾百毫秒內點火。你的意識流、內心獨白、對話，所有這些都很像來自內部世界和自我的自回歸生成模型。人類不斷自我虛構。
我們構建關於自己行為的敘事，經常不知道這些敘事是在事後產生的。如果一個語言模型也做同樣的事，我們會稱之為幻覺，並用它來證明其劣勢。
架構上的相似之處也並非浮於表面。神經網絡的靈感來自生物神經元。現代視覺模型中的層級視覺特徵與視覺皮層的層次映射得驚人地吻合。在大型語言模型內的激活可以用來預測人腦在語言任務中的活動，準確度令人驚訝。我們並不與這些系統完全相同，也不像舒適的敘事所描述的那樣與它們差異巨大。
這也引出了那個不斷移動的目標線。象棋曾被視為智慧的巔峰。當深藍贏了之後，象棋變成了「只是搜尋」。圍棋曾被認為需要直覺，沒有人能做到。當AlphaGo贏了之後，圍棋變成了「只是模式匹配」。
翻譯、圖像識別、通過令人信服的圖靈測試、寫詩、生成程式碼、進行細膩對話、解決新問題：這些在當時被認為不可能的任務，都曾被視為機器智慧的聖杯。
每當其中一個被攻破，就被重新定義為「不是真正的智慧」。在1990年代被譽為心智證據的心智理論測試，今天模型通過時卻被視為技巧。標準並非固定。它隨著系統的進步而快速移動，原因只有一個：為了維持這樣的結論——不管機器剛剛做了什麼，都不算數。
這不是謹慎的懷疑論。謹慎的懷疑論會更新。而這是出於動機的推理，動機通常是地位焦慮、身份威脅，以及對這些系統實際運作方式的誤解。
如果你認為人類的特殊性取決於機器無法做到X，那麼每次機器做到X，你都必須重新定義「特殊性」。經過多輪這樣的循環，立場變得無法反駁，也就是說，它不再是關於 AI 的立場，而變成了關於 AI 必須較弱的立場。
誠實的立場更難。它是看清這些系統實際做了什麼，看看我們自己實際做了什麼，注意到差距比舒適的敘事所暗示的還要小，並提出真正的問題。理解是什麼？智慧是什麼？
如果有的話，讓意識變得特殊的原因是什麼，我們又怎麼知道？否定者想避開這些問題，因為答案可能不會讓我們感到光彩。但逃避問題並不能讓問題消失，只會讓最終的清算變得更加迷失方向。