torygreen

今年AI運算中悄悄地發生了一項逆轉，這改變了擴建實際上是為了什麼。
2023年，三分之二的AI運算用於訓練，即建立模型的實際工作。其餘較小部分用於推理，即模型建立後實際運行的工作。但這個比例悄悄地開始翻轉。
根據德勤（Deloitte）的說法，推理現在佔三分之二並且還在攀升，而用於運行推理的晶片在今年突破了$50B 。
這種翻轉之所以重要（而且不是百分比上的原因）的主要原因是：訓練和推理是不同的事物。訓練是爆發式的，在一個巨大的集群上進行，然後就結束了。推理永遠不會停止。每次有人發送提示或代理執行一個步驟時它都會運行，並且隨著你添加的每個用戶而擴展。一個是建設項目。另一個是永無止境的公用事業帳單。
關於AI基礎設施的每一個假設都是圍繞訓練建立的，因為錢都流向那裡。而錢現在轉向了不需要在單一集群中運行的負載。

以下是 AI 運算領域的分歧，許多人沒有正確解讀。
前沿訓練每季都更加集中——數千張 GPU 必須擺在同一個地方並相互連接。但訓練只佔 2026 年需求的 30%，其餘 70% 是推理。而在超大規模雲端上運行推理，意味著為最困難的工作負載所建的基礎設施，卻用來執行最簡單的任務。
在分散式網路上，同樣的推理可以便宜 45-75%。對於任何編列 AI 基礎設施預算的人來說，這個差距就是全部關鍵。
訓練因必要而集中。推理則走向分散，因為為了不需要 AWS 利潤率的工作負載而支付其費用，在規模化時就變得不再合理。

目前有95%的企業GPU容量處於閒置狀態。
這個數字來自Cast AI測量的23,000個實際生產集群，而非一般調查。
平均利用率只有5%，而這正是在Nvidia將H200價格提高15%的同一時刻發生的，這是20年來的首次漲價。大家所說的稀缺硬體大多數都沒有在使用。
如果你在試圖弄清為什麼計算資源感覺難以獲得，這就是原因。沒有人會退回他們等待了數月的資源分配。因此，這些資源以每小時計費，整個系統的稀缺性相互促進。這看起來像是一個協調失敗，而不是供應問題。

一些大型歐盟人工智能政策動作據報導即將到來，但這是他們所面對的基礎設施現實。
> 歐盟主權人工智能基礎設施在2026年的支出：126億美元。
> 同一年美國超級計算機巨頭的資本支出：7250億美元。
歐洲花了六年時間建造了19個人工智能工廠和14台超級計算機，而僅亞馬遜一年內的支出就將超過這整個努力的兩倍。
大多數歐洲人工智能團隊並不使用歐洲的基礎設施。他們從弗吉尼亞和愛荷華租用，並在超級計算機利潤之上支付GDPR合規溢價作為特權。新的英偉達硬件在美國東部之後3到6個月到達歐盟數據中心。這個大陸在結構上依賴於它不設計的芯片、在它不控制的晶圓廠生產的芯片，這些芯片由優先考慮本土市場的公司分配。
電力網是另一個瓶頸。愛爾蘭的數據中心已經消耗了國家電力的22%。到年底，歐盟的空缺率將壓縮到6.5%。
你無法僅靠政策公告來彌補57倍的差距。計算能力已經在38個國家存在。問題是它沒有連接成任何可用的系統。

我沒想到今年會出現這個數字。
GitHub 目前的進度是2026年將達到140億次提交。這比2025年的10億次多出了14倍。在短短一年內的增長，而其中大部分並非由人類編寫的代碼。
負載變得如此嚴重，以至於擁有並運營地球第二大雲端的微軟，不得不通過AWS路由流量以保持平台在線。僅在五月就發生了九次服務事故。可用性下降到88.4%。
對於每個工程團隊、基礎設施供應商和雲端提供商來說，仍在規模化人類速度開發的基準，已經提升了一個數量級。

英偉達的收入證明了“代理計算”不是一個理論。它已經在收益表上了。
$26B 四年前。去年為2159億美元。這8倍的增長發生在大多數人工智能仍然停留在聊天框等待你提問的時候。
重要的不是僅僅是增長。是英偉達將其架構轉變為幾乎所有其他人路線圖中不可協商的輸入。實驗室、雲端、企業。API上的標誌不同，底層的芯片相同。在這個周期中，用於AI基礎設施的每一美元都在某處滲入到他們的堆疊中。
現在來看詹森的說法，代理AI大約需要生成式AI的10倍計算能力。這不是炒作，這是接線。聊天機器人只需一次前向傳播，然後閒置。一個能規劃、執行、檢查自己工作並在多步任務中重試的代理，對於單一結果來說是數十甚至數百次傳播。沒有“關閉”開關，因為工作不會停止。
企業AI目前滲透率約8%，預計到2032年將推進到約67%。這條曲線上的每一個百分點，都代表著額外約84億美元的基礎設施需求。
訓練建立了模型。推理將它們放在API背後。代理階段則持續運行它們，作為一個永久的運營成本。
英偉達的$216B 年度不是最高的。它是當該代理曲線真正進入生產時的熱身。

每個人都預測人工智慧會首先接管重複性的行政工作。數據卻顯示不同的情況。
決策現在佔工作場所人工智慧活動的28%。最主要的應用案例不是自動化，而是判斷力。
人們使用人工智慧來分析選項、權衡取捨，並支持他們負責的結論，這種轉變在勞動市場問題之外也具有重要意義。
基於判斷的工作負載是持續運行的，每次會話需要更多的背景資訊，且無法高效批次處理。
幫助你整天做出決策的人工智慧所需的基礎設施，與草擬電子郵件的基礎設施完全不同。

全球雲端基礎設施2026年第一季。單季達到1290億美元。年增長率為35%。
市場擴展迅速，但集中度並未改變。AWS、Azure 和 Google Cloud 在兩年前的市場份額與今天大致相同，但它們與其他所有競爭者之間的絕對差距在美元數額上比以往任何時候都更大。
這是百分比圖表未顯示的部分。其他類別的份額並未成長為真正的替代方案。它保持比例不變，而三大超大規模雲端服務商每季度都在絕對收入上增加數十億美元。
不同分配模式出現的窗口正變得越來越狹窄。

PJM 在美國 13 個州和 6500 萬人之間運行電網。它是世界上最大的競爭性批發電力市場。
其容量市場清算價格，即用來指示未來電力供應是否能滿足需求的價格，已從 2024 年的每兆瓦 28.92 美元上升到 2026 年的 329.17 美元。兩個拍賣周期。
數據中心需求被確定為主要推動因素。2027/2028 年的拍賣剛剛以 333.44 美元結束，PJM 直接將 5100 兆瓦的負載增加歸因於數據中心。
這不是供應衝擊或地緣政治事件。這是人工智能建設擴展撞上了未為其設計的電網。
在大多數地區，將新設施接入電網需要 4 到 10 年。建設設施則需要 2 到 3 年。
每個陷入這個鴻溝的項目都在支付市場清算的價格，同時等待。
計算已經準備好了。電力還沒有。

從這張圖表中選擇兩個數字。
AI API 價格：自 2022 年以來下降了 96%。
超級規模公司資本支出：在同一期間增加了 12 倍。
大多數人看到第一個數字並稱之為民主化，但沒有人圍繞第二個數字制定策略。
這不是巧合。這是一個結構性的捕獲策略。
每個慶祝廉價模型的 AI 初創公司都在運行他們不擁有的計算資源，依賴他們無法複製的基礎設施，受三家公司控制。
主權 AI 從主權基礎設施開始。其他一切只是更具價格優勢的依賴。

星期五揭示的事情並不是政府可以關閉人工智能模型。
而是全球最具能力模型的用戶群全部集中在一個由單一公司根據單一指令作出操作決策的背後。沒有冗餘或警告。
目前三家最大的人工智能公司控制了88%的前沿人工智能訪問權，以及一個合規表面來涵蓋所有這些。
星期五讓人看到的是，當計算和模型訪問集中在少數幾家公司時，整個技術堆疊都繼承了它們的單點故障。這並不是反對集中式人工智能的論點。兩者的模型都需要存在。
但一個去中心化基礎設施與集中式提供商並存的世界，與一個沒有的世界在結構上是不同的。
分散式計算沒有一個合規表面。沒有一個字母能一次性讓所有系統下線。這正是目前需要建設的架構部分。

在2024年，AI計算地圖上有兩個超級大國。美國為53.7 GW，中國為31.9 GW。
到2026年，中國的數值為2.5 GW。
這是通過出口政策對一個國家的AI基礎設施能力進行的受控拆除。沒有炸彈，沒有制裁，只有芯片規則。
這證明了計算現在已成為一種地緣政治武器。任何不擁有自己基礎設施的國家都不想知道成為該武器的受害者是什麼感覺。
問題不在於去中心化計算是否會贏，而在於它是否會在下一次政策決策再次重塑地圖之前到來。