从 Attention Is All You Need 看 AI 突破的钥匙

2024年的GTC大会上发生了一件有趣的事：英伟达创始人黄仁勋与8位Google工程师进行了小组讨论，其中一位竟然是NEAR的创始人。这8位工程师7年前联手发表了《Attention Is All You Need》论文，至今被引用超11万次。他们可能没想到，这篇2017年6月12日发表的研究，会如何深刻地重塑整个AI产业。

Transformer如何革新了AI的学习方式

想象一下人的大脑像亚马逊雨林——布满各种不同的功能区，通过密集的通路相互连接。神经元就像这些通路的信使，能够向大脑任何部分发送和接收信号。这种结构赋予了人脑强大的学习和识别能力。

Transformer架构正是试图复制这种机制的神经网络。它通过引入自注意力机制，突破了早期RNN（循环神经网络）的瓶颈——RNN只能逐步处理序列数据，而Transformer能够同时分析序列的所有部分，从而捕捉长距离依赖关系和上下文。当然，目前技术水平还达不到人类大脑的万分之一。

从Siri这样的语音识别应用到今天的ChatGPT，AI的演进过程就是Transformer系列模型的迭代：XLNet、BERT、GPT等衍生版本纷纷涌现。其中GPT最为知名，但在事件预测能力上仍存在明显不足。

大语言模型的下一个关键——时间融合能力

Attention Is All You Need 的核心贡献在于注意力机制，而AI的下一次飞跃将来自时间融合转换器（TFT）。当大型语言模型（LLM）能够根据历史数据和模式预测未来事件时，这将标志着通用人工智能（AGI）向现实迈进了一大步。

TFT不仅能预测未来值，还能解释其预测逻辑。这种能力在区块链领域有着独特的应用价值。通过在模型中定义规则，TFT可以自动完成共识过程管理、提升出块速度、奖励诚实验证者并惩罚恶意行为者。

区块链共识机制的新可能

公链网络的共识本质上是验证者之间的博弈——需要超过三分之二的验证者就谁来创建下一区块达成一致。这个过程充满分歧，导致以太坊等网络效率低下。

TFT的引入提供了新思路。公链可以基于验证者的投票历史、区块提案记录、Slash记录、Staking金额和活跃度等参数，建立声誉分数系统。具有较高声誉分数的验证者获得更多区块奖励，进而提升出块效率。

BasedAI项目正在尝试这种路径，计划利用TFT模型在验证者和网络参与者之间分配代币发行。同时，它还集成了全同态加密（FHE）技术，允许开发者在其去中心化AI基础设施「Brains」上部署隐私保护的大型语言模型（Zk-LLMs）。

隐私加密：通向AGI的关键一步

FHE技术的妙处在于：用户可以在启用个性化AI服务时，数据保持完全加密状态。零知识机器学习（ZkML）、Blind Computation和同态加密等隐私保护技术正在填补这个空白。

当人们确信自己的数据会受到加密保护，并在充分隐私保障下愿意贡献数据时，我们距离AGI突破可能就不远了。 这是因为AGI的实现需要海量的多维度数据，而目前用户对数据安全的疑虑限制了数据的流动。

不过现实挑战依然存在——所有这些隐私保护技术都需要消耗大量计算资源，这使得它们仍处于早期应用阶段，距离真正的规模化部署还需时日。但趋势已经明确：Attention Is All You Need 打开的门，将由隐私、计算和共识的融合推向下一个时代。