H100クラスタで今日は面白い光景を目撃しました。

二つのモデルが並んでトレーニングを行っています。一つは7Bパラメータの軽量アーキテクチャ、もう一つは？1.8兆パラメータのハイブリッドエキスパートモンスターです。

Epochが走り終えた隙間で、その7Bの小さな奴が隣のSOTAの巨大生物をちらりと見て、口を開いた："あなたはどうやって..."

話がまだ終わっていないのに、次のトレーニングが始まりました。