中国モデルが前回のSWE-rebenchで全て上位10に入らず「スコア稼ぎ」と嘲笑されたが、今回は4席を占めた

BlockBeatNews

1M AI Newsの監視によると、SWE-rebenchは毎月GitHubから新しいソフトウェアエンジニアリングタスク(issue + PR)を抽出し、リアルタイムでベンチマークを行うもので、モデルは事前に問題に最適化できません。メンテナンス担当のIbragimは3月23日にランキングの更新を発表し、以前のサンプルデモと80ステップの操作制限を廃止し、新たに補助評価タスクを追加しました。

最新のトップ10ランキング:

  1. Claude Opus 4.6:65.3%
  2. GPT-5.2 medium:64.4%
  3. GLM-5:62.8%
  4. GPT-5.4 medium:62.8%
  5. Gemini 3.1 Pro Preview:62.3%
  6. DeepSeek-V3.2:60.9%
  7. Claude Sonnet 4.6:60.7%
  8. Claude Sonnet 4.5:60.0%
  9. Qwen3.5-397B-A17B:59.9%
  10. Step-3.5-Flash:59.6%

智谱AIのオープンソースモデルGLM-5(MITライセンス)は62.8%で3位に入り、トップのオープンソースモデルです。中国のモデルはトップ10のうち4つを占めており、GLM-5のほかに深度求索のDeepSeek-V3.2(第6位)、阿里通义千問のQwen3.5-397B-A17B(第9位)、階段星辰のStep-3.5-Flash(第10位)があります。智谱Z.aiのグローバル責任者李子玄は、「前回のSWE-rebench更新時には中国モデルはすべてトップ10外だったが、『benchmaxing』(スコア稼ぎ)と批判された」とコメントしています。

原文表示
免責事項:このページの情報は第三者から提供される場合があり、Gateの見解または意見を代表するものではありません。このページに表示される内容は参考情報のみであり、いかなる金融、投資、または法律上の助言を構成するものではありません。Gateは情報の正確性または完全性を保証せず、当該情報の利用に起因するいかなる損失についても責任を負いません。仮想資産への投資は高いリスクを伴い、大きな価格変動の影響を受けます。投資元本の全額を失う可能性があります。関連するリスクを十分に理解したうえで、ご自身の財務状況およびリスク許容度に基づき慎重に判断してください。詳細は免責事項をご参照ください。
コメント
0/400
コメントなし