兆候はすでに明らかになっている、無料時代は終わった。二年前、私たちは美しい幻想の中で生きていた、計算能力は蛇口の水のように絶え間なく流れるものだと感じていた。今？各トークンには価格があり、その価格は急激に上昇している。

面白いのは、これがすべてどのように始まったかだ。APIのコストが非常に安かった頃、誰もが気にせず使いまくった。何千語ものドキュメントをプロンプトに投げ込み、深く考えずに済ませていた。最先端のモデルに、文の最初の文字を大文字にするような馬鹿なタスクを頼んでいた。なぜ？だってとても安かったからだ、巨大な投資家による補助金のおかげで。だが、その補助金は今や終了している。

この変化は単なるダッシュボード上の価格上昇だけの話ではない。AIインフラについての根本的な考え方のシフトだ。かつて無視されていたトークン消費が、今やどのコストセンターでも重要な項目になっている。API呼び出し一回が数千円に相当することもある、特にボリュームが多い場合は。毎日何百万リクエストを処理するスタートアップを想像してみてほしい—もはやこれはオプションの懸念ではなく、生存のための問題だ。

トークンが無意識のうちに消える場所は三つある。第一に、システムプロンプトが長すぎること。安定した出力のために詳細な指示を書きたくなるが、その指示もまたトークンを消費している。会話ごとに何千ものトークンを再計算しなければならない。第二に、制御不能なRAG（情報検索と生成のハイブリッド）。理想的なRAGは、最も関連性の高い三つの文を取り出してモデルに質問することだが、実際は長さ千語のPDFを十個も取り出し、それをモデルに投げ込む。単純な質問だけを想定していたのに、実際は半書籍を読ませている状態だ。第三に、エージェントが無限ループに陥ること。ロジックが悪い、またはAPIがダウンしていると、エージェントはずっとスピンし続け、各イテレーションで高価な出力トークンを消費し続ける。

今、面白い部分に入る—どうやってこの穴から抜け出すか？今や必須となった三つの武器がある。セマンティックキャッシュだ。ユーザの質問は繰り返しが多いからだ。例えば「パスワードリセットはどうする？」と何度も聞かれる場合、キャッシュしておいた回答をすぐ返せば、巨大モデルにアクセスせずに済む。秒単位からミリ秒単位に、しかもトークンコストゼロで。エントロピーに基づくアルゴリズムを使ったプロンプト圧縮は、1000トークンのテキストを300トークンに圧縮しつつ意味を失わない。機械同士が人間の理解できない言語で通信させるのも一つの手だ。モデルのアテンションメカニズムは十分に強力で理解できる。これでコストを70%削減できる。

しかし、最も洗練されたのはモデルルーティングだ。すべてのタスクを最も高価なモデルに送る必要はない。シンプルなエンティティ抽出ならLlama 3 8BやClaude Haikuのような安価なモデルにルーティングする。複雑な推論やコード生成はGPT-4oやClaude Sonnetに任せる。これは効率的な企業のようなものだ—受付係がCEOに簡単なことを頼みに行く必要はない。誰がこのルーティングメカニズムをスムーズに実行できるかによって、トークンコストは競合の三分の一まで下げられる。

最先端のフレームワークエージェント、OpenClawやHermesを見ると、彼らはすでに先を行っている。OpenClawはトークンコントロールに obsess している。フルコンテキストの積み重ねの代わりに、モデルに厳格なJSONスキーマやよりコンパクトなフォーマットを出力させる。これは「自由に話す」ではなく、「フォームを提出する」操作だ。計算資源の不足の中で、エレガントなデータ節約操作だ。Hermesは別のアプローチ—動的メモリメカニズムを採用している。作業メモリは直近の3〜5会話だけを保存し、超えた場合は軽量モデルで古い会話を要約し、コアポイントを抽出してベクターデータベースに保存する。これはゴミ処理ではなく、外科的なメモリ操作だ。微妙なコンテキスト管理は、マクロレベルでの計算コストを大幅に削減する。

しかし、これらの技術的解決策以上に根本的なマインドセットの変化が必要だ。安価な時代には、トークンを消費者の視点で扱っていた—割引が直接カートに入るのを見るように。多くの企業は無作為にLLMを内部システムに統合し、全社員にアクセスを許可し、カフェメニューまでもAIに生成させる。結果は？月末の請求書にショックを受ける。

今や投資マインドセットが必要だ。トークンの消費は投資であり、ROIを計算しなければならない。トークンを使い切ったら、何が返ってくるのか？チケット解決率が上がる？バグ修正時間が短縮される？それとも「ハハ、AI面白いね」とだけ返ってくる？ルールエンジンを使った機能は0.1元だが、LLMの統合には1元かかり、コンバージョン率が2%改善されるだけなら、無理に追い求める必要はない。大きなAIの幻想を追わず、ターゲットを絞った精度重視のアプローチに切り替えるべきだ。すべてのトークンは、金属を鍛えるように扱うべきだ。

結局、このコスト増は危機ではなく浄化だ。無制限の補助金によるバブルを破裂させ、すべての人を現実に引き戻す。これにより、表面的にしかできないプレイヤーは淘汰され、コアチームだけがアーキテクチャ、モデルルーティング、エッジデバイスでの計算最大化を理解している者だけが残る。水が引き潮になるとき、裸で泳ぐ者が見える。今回も、最後に生き残り繁栄するのは、トークンを貴重な資源とみなし、より多くを得られると確信している者たちだ。彼らこそが次のAIインフラの時代を支配するだろう。