はっきり言わせてもらいますが、私は詳細な分析に反対しているわけではありません。私を悩ませるのは、一貫性のなさです。

これらのラボは、0から100までのGPQAスコアを示し、その後突然SWEベンチマークを提示する際に指標を切り替えます。そして、比較するモデルを選び抜いています。

マーケティング主導であることは理解しています。しかし、それでも。標準化された評価の欠如は信頼性を損ないます。ベンチマークを設定するのであれば、少なくとも異なるテスト間で方法論を一貫させるべきです。