Depuis Attention Is All You Need, la clé des avancées en IA

Lors de la GTC 2024, un événement intéressant s’est produit : le fondateur de NVIDIA, Jensen Huang, a participé à une table ronde avec 8 ingénieurs de Google, dont l’un était en fait le fondateur de NEAR. Ces 8 ingénieurs ont publié conjointement il y a 7 ans le papier « Attention Is All You Need », qui est depuis cité plus de 110 000 fois. Ils n’auraient peut-être pas imaginé que cette recherche publiée le 12 juin 2017 allait profondément remodeler toute l’industrie de l’IA.

Comment Transformer a révolutionné la façon dont l’IA apprend

Imaginez que le cerveau humain ressemble à une forêt amazonienne — rempli de différentes zones fonctionnelles reliées par des passages étroits. Les neurones sont comme ces messagers, capables d’envoyer et de recevoir des signaux dans n’importe quelle partie du cerveau. Cette structure confère au cerveau humain de puissantes capacités d’apprentissage et de reconnaissance.

L’architecture Transformer tente justement de reproduire ce mécanisme dans un réseau neuronal. En introduisant le mécanisme d’attention, elle a dépassé le goulot d’étranglement des RNN (réseaux neuronaux récurrents) — qui ne peuvent traiter séquentiellement que des données, alors que le Transformer peut analyser simultanément toutes les parties d’une séquence, capturant ainsi les dépendances à longue distance et le contexte. Bien sûr, la technologie actuelle est encore loin d’égaler le cerveau humain à un pour mille.

De Siri à des applications de reconnaissance vocale comme ChatGPT aujourd’hui, l’évolution de l’IA est une série d’itérations de modèles de la famille Transformer : XLNet, BERT, GPT, etc. Parmi eux, GPT est le plus connu, mais il présente encore des limites évidentes en matière de prédiction d’événements.

La prochaine étape clé des grands modèles de langage — la capacité de fusion temporelle

La contribution centrale de « Attention Is All You Need » réside dans le mécanisme d’attention, mais la prochaine avancée en IA viendra du transformateur de fusion temporelle (TFT). Lorsqu’un grand modèle de langage (LLM) pourra prédire des événements futurs à partir de données historiques et de modèles, cela marquera une étape importante vers l’intelligence artificielle générale (AGI).

Le TFT ne se contente pas de prévoir des valeurs futures, il peut aussi expliquer sa logique de prédiction. Cette capacité a une valeur unique dans le domaine de la blockchain. En définissant des règles dans le modèle, le TFT peut automatiser la gestion du consensus, augmenter la vitesse de production de blocs, récompenser les validateurs honnêtes et punir les comportements malveillants.

Nouvelles possibilités pour les mécanismes de consensus blockchain

Le consensus sur un réseau public est essentiellement un jeu entre validateurs — nécessitant que plus des deux tiers des validateurs soient d’accord sur qui doit créer le prochain bloc. Ce processus est souvent conflictuel, ce qui explique l’inefficacité de réseaux comme Ethereum.

L’introduction du TFT offre une nouvelle perspective. La blockchain peut établir un système de réputation basé sur l’historique des votes des validateurs, leurs propositions de blocs, les enregistrements de Slash, le montant et l’activité du staking, etc. Les validateurs avec une réputation élevée recevront plus de récompenses de bloc, améliorant ainsi l’efficacité de la production.

Le projet BasedAI explore cette voie, en prévoyant d’utiliser le modèle TFT pour répartir l’émission de tokens entre validateurs et participants au réseau. Il intègre également la technologie de chiffrement entièrement homomorphe (FHE), permettant aux développeurs de déployer des grands modèles de langage (Zk-LLMs) sur leur infrastructure décentralisée d’IA « Brain », tout en protégeant la vie privée.

Cryptographie de la confidentialité : une étape clé vers l’AGI

L’avantage de la technologie FHE est que : lorsque les utilisateurs activent des services d’IA personnalisés, leurs données restent entièrement chiffrées. Les techniques de protection de la vie privée comme le machine learning à zéro connaissance (ZkML), le calcul aveugle (Blind Computation) et le chiffrement homomorphe comblent cette lacune.

Lorsque les gens seront convaincus que leurs données sont protégées par chiffrement et qu’ils seront prêts à contribuer avec une garantie de confidentialité totale, nous serons peut-être proches de la percée de l’AGI. En effet, la réalisation de l’AGI nécessite une quantité massive de données multidimensionnelles, mais les préoccupations des utilisateurs concernant la sécurité des données limitent leur circulation.

Cependant, les défis restent — toutes ces technologies de protection de la vie privée consomment énormément de ressources de calcul, ce qui les maintient encore à un stade précoce d’application, et leur déploiement à grande échelle reste à venir. Mais la tendance est claire : la porte ouverte par « Attention Is All You Need » sera poussée vers une nouvelle ère par la fusion de la confidentialité, du calcul et du consensus.