前 OpenAI の科学者：コンピューティングパワーは限界に達しており、AI 業界は研究の核心に戻る必要がある

前 OpenAI のチーフサイエンティストで、現在は SSI の共同創設者である Ilya Sutskever は、最新のインタビューで、現在の AI モデルがさまざまなテスト、評価、競技でほぼ無敵のパフォーマンスを示しているが、大多数の人々の日常生活は根本的に変わっていないと述べました。彼は、この「評価テストでは超神、体感は普通」というギャップは、産業が近年「コンピューティングパワー、データ、モデルパラメータを積み重ねる」成功の公式に過度に依存していることに起因していると考えています。しかし、事前訓練に使用できる自然言語コーパス自体は限られており、この道は遅かれ早かれボトルネックに直面するでしょう。今後の AI の発展は新しい段階に入ります。もはや誰の GPU が多いかではなく、誰が新しい学習原則を見つけ、一般化を理解し、AI の学習方法を人間により近づけることができるかを競うことになります。

SFのストーリーが展開しているが、生活にはあまり変化がない。

インタビューが始まると、ホストは現在のAIの発展とサンフランシスコ湾エリア全体の雰囲気を、まるでSF小説のストーリーのようだと表現しました。しかし矛盾しているのは、世界中でAIに投入される資金規模が時には何十億、何百億ドルに達し、さらには各国のGDPの1%に近づくことがあっても、一般市民の日常生活の感覚はそれによって根本的に変わっていないことです。

多くの人々はニュースでテクノロジー大手がデータセンターのさらなる拡張を発表したり、GPUを購入するためにどれだけの予算を使うかを見ているだけですが、街角から路地まで、明らかに感じられるAIの変化は依然として限られています。

Sutskeverはこの主張を受け入れ、モデルの能力は確かに強力であるが、人々が慣れ親しんだ生活環境では、体感は実験室や研究報告のように衝撃的ではないと指摘した。このギャップはむしろ正常な現象である。

評価テストの能力は非常に高いが、実務のパフォーマンスではしばしばミスが発生する。

Sutskeverはモデルの「二重の側面」について話しました。彼は、AIがプログラム評価、標準化テスト、あるいはさまざまなベンチマークでしばしば人間を超えるレベルを示すことができる一方、実際のニーズに投入されると全く異なる状況に直面することになると述べました。彼は、多くの開発者がモデルにバグ修正を手伝わせる例を挙げました。モデルは通常非常に自信を持って問題を指摘し修正を提案しますが、次のステップではしばしば新しいエラーを引き起こすことになります。

再度それに第二のバグを修正するよう頼むと、最初のバグが戻ってきて、二つのエラーの間にループが形成される可能性があります。サツケーバーは、この「評価では超優秀だが、実世界では不安定」という矛盾が、現在最も深く理解する価値のあるAI現象の一つであると考えています。

トレーニングをテストするために、モデルが現実世界から逸脱することを引き起こします。

落差の原因を分析する際、Sutskeverは現在の主要企業が強化学習を行う際に、公開テスト項目に対してモデルの行動を調整することが多いと指摘しています。なぜなら、テストで優れたパフォーマンスを示すことで、発表会、投資プレゼンテーション、技術的比較において優位に立つことができるからです。これにより、モデルはそのテストシーンで非常に強力になりますが、変化に富んだ現実の状況に直面すると、同じ能力を発揮できなくなります。

彼はプログラミングコンテストを例えに出しました。選手が優勝するために1万時間練習すれば、確かに競技で驚くべき成績を収めることができます。もう一人は100時間しか練習していませんが、問題に対する理解方法が生まれつき備わっていて、長期的なキャリアではむしろより柔軟に対応できるかもしれません。モデルは現在、前者のようなものです：

「高度に訓練され、特定の任務において非常に強力であるが、人間のような深い一般化能力に欠けている。」

モデル拡張の風潮が盛んで、研究空間が大幅に圧縮されている

サッツケバーが振り返ると、2012年から2020年はAIの「研究の黄金期」と言える時期であり、さまざまな分野が異なるアーキテクチャや方法を積極的に探求し、多くの突破口がさまざまな新しいアイデアから生まれました。しかし、GPT-3とモデル拡張の法則の成功は風向きを完全に変えました。それ以来、業界全体が次第に共通の認識を形成しています：

「モデルを拡大し、データを増やし、コンピューティングパワーを加えれば、能力は自然に向上する。」

この公式に従ったアプローチは、リスクが低く、結果が予測可能であるため、投資市場や大企業の主流となっています。しかし、皆が同じ戦略を採用しているため、実際の研究の余地が狭まっています。

自然データは限られており、事前学習は最終的に壁にぶつかることになる。

Sutskeverは、ネット上の自然言語コーパスは限られていると強調し、大規模言語モデルの訓練はこれらのテキストに依存している。数年の拡張を経て、各社はすでに利用可能なコーパスを「使い尽くす」ところに近づいている。データ量がこれ以上倍増できない場合、モデルとコンピューティングパワーの拡大による性能向上は明らかに鈍化する。

彼は、これがAIが次の段階に入ることを意味しており、もはやモデルの規模を大きくするだけでなく、人間がどのように学習するか、一般化がどのように形成されるか、モデルがより少ないサンプルで自己修正できるか、そして学習プロセスの中で人間のように中間評価の能力を持つことができるか、最終的なフィードバックに依存して行動の方向を決定するのではなく、再理解する必要があると考えています。

これらの問題は本質的にGPUの数で解決できるものではなく、真の科学研究が必要です。

(注：プレトレーニング（Pre-Training）とは、モデルが大量のネットワークテキストを事前に読み込み、言語構造や基本的な知識を学び、その後の能力の基礎を形成することを指します。主流の大規模モデルは、プレトレーニングを第一段階として採用しています。)

強化学習はコンピューティングパワーの爆発を引き起こし、効率は逆に想像よりも劣る。

Sutskeverも言及しているが、近年多くの企業の強化学習(RL)の訓練規模は、事前訓練を超えることさえある。これらの長いシーケンスの推論は大量のコンピューティングパワーを消費するが、各推論から得られる有効な学習は実際には限られており、全体的な効率が低下してしまう。同じ訓練方法に依存し続けると、より多くのリソースを投入するだけで、モデルの本質的な限界を突破することは難しい。

したがって、彼はAI産業が「新しい方法を探求する」研究段階に徐々に戻っていると考えており、重要なのは誰が最大のデータセンターを持っているかではなく、誰が新しい学習原則を見つけることができるかである。

(注：強化学習 Reinforcement Learningは、モデルが試行錯誤を通じて成長するトレーニング方法を意味し、モデルはタスクを完了した後にフィードバックや報酬を受け取り、それに基づいて行動を調整します。)

学びを理解することに集中し、ビジネスモデルについては後で考えます。

サッツケバーは、SSIの戦略は研究に重点を置くことであり、特に一般化の理解、人間の学習方法、そしてモデルが少ないデモで自己改善する方法に焦点を当てていると述べています。彼は、ビジネスモデルに急いで答えるよりも、事前トレーニングよりも根本的な学習構造を見つけることに集中すべきだと考えており、一旦突破口が開かれれば、さまざまなビジネスアプリケーションが次々と現れるだろうと述べています。

彼は、今後5年から20年の間に「人間に匹敵する学習効率」を持つAIを作成する機会があると予測しています。そして、一旦機械が人間のように新しいスキルを迅速に習得できるようになり、大規模に展開されると、全体的な能力は飛躍的に成長し、超知能に近づくでしょう。

評価と実用のギャップは、新しい学習方法の出現によって消えるでしょう。

サッツケバーは最後に、現在のAI革命があまり劇的に見えない理由は、モデルの能力と使用方法の間に依然として明らかな断層が存在するからだと述べた。モデルが試験を受けることから学ぶことができるようになり、自己修正し、継続的に一般化し、安定して成長することができるようになると、AIは非常に速い速度で世界の生活を再構築するだろう。

その時、人々はニュースで巨額の投資を見るだけでなく、日常生活の中で本当に変化を感じることができるようになる。

この記事は、元OpenAIの科学者が「コンピューティングパワーは限界に達しており、AI産業は研究の核心に戻る必要がある」と述べたもので、最初に「鏈新聞 ABMedia」に登場しました。