從 Attention Is All You Need 看 AI 突破的鑰匙

2024年的GTC大会上发生了一件有趣的事：英伟达創始人黃仁勳與8位Google工程師進行了小組討論，其中一位竟然是NEAR的創始人。這8位工程師7年前聯手發表了《Attention Is All You Need》論文，至今被引用超11萬次。他們可能沒想到，這篇2017年6月12日發表的研究，會如何深刻地重塑整個AI產業。

Transformer如何革新了AI的學習方式

想像一下人的大腦像亞馬遜雨林——布滿各種不同的功能區，通過密集的通路相互連接。神經元就像這些通路的信使，能夠向大腦任何部分傳送和接收信號。這種結構賦予了人腦強大的學習和識別能力。

Transformer架構正是試圖複製這種機制的神經網絡。它通過引入自注意力機制，突破了早期RNN（循環神經網絡）的瓶頸——RNN只能逐步處理序列數據，而Transformer能夠同時分析序列的所有部分，從而捕捉長距離依賴關係和上下文。當然，目前技術水平還達不到人類大腦的萬分之一。

從Siri這樣的語音識別應用到今天的ChatGPT，AI的演進過程就是Transformer系列模型的迭代：XLNet、BERT、GPT等衍生版本紛紛湧現。其中GPT最為知名，但在事件預測能力上仍存在明顯不足。

大語言模型的下一個關鍵——時間融合能力

Attention Is All You Need 的核心貢獻在於注意力機制，而AI的下一次飛躍將來自時間融合轉換器（TFT）。當大型語言模型（LLM）能夠根據歷史數據和模式預測未來事件時，這將標誌著通用人工智能（AGI）向現實邁進了一大步。

TFT不僅能預測未來值，還能解釋其預測邏輯。這種能力在區塊鏈領域有著獨特的應用價值。通過在模型中定義規則，TFT可以自動完成共識過程管理、提升出塊速度、獎勵誠實驗證者並懲罰惡意行為者。

區塊鏈共識機制的新可能

公鏈網路的共識本質上是驗證者之間的博弈——需要超過三分之二的驗證者就誰來創建下一区塊達成一致。這個過程充滿分歧，導致以太坊等網路效率低下。

TFT的引入提供了新思路。公鏈可以基於驗證者的投票歷史、區塊提案記錄、Slash記錄、Staking金額和活躍度等參數，建立聲譽分數系統。具有較高聲譽分數的驗證者獲得更多區塊獎勵，進而提升出塊效率。

BasedAI項目正在嘗試這種路徑，計劃利用TFT模型在驗證者和網路參與者之間分配代幣發行。同時，它還集成了全同態加密（FHE）技術，允許開發者在其去中心化AI基礎設施「Brains」上部署隱私保護的大型語言模型（Zk-LLMs）。

隱私加密：通向AGI的關鍵一步

FHE技術的妙處在於：用戶可以在啟用個性化AI服務時，數據保持完全加密狀態。零知識機器學習（ZkML）、Blind Computation和同態加密等隱私保護技術正在填補這個空白。

當人們确信自己的數據會受到加密保護，並在充分隱私保障下願意貢獻數據時，我們距離AGI突破可能就不遠了。 這是因為AGI的實現需要海量的多維度數據，而目前用戶對數據安全的疑慮限制了數據的流動。

不過現實挑戰依然存在——所有這些隱私保護技術都需要消耗大量計算資源，這使得它們仍處於早期應用階段，距離真正的規模化部署還需時日。但趨勢已經明確：Attention Is All You Need 打開的門，將由隱私、計算和共識的融合推向下一個時代。