Soyons clairs : je ne suis pas contre une analyse détaillée. Ce qui me dérange, c'est l'incohérence.

Ces laboratoires présentent des scores GPQA de 0 à 100, puis changent soudainement de métriques en présentant des benchmarks SWE. Et ils choisissent soigneusement quels modèles comparer.

Je comprends que cela soit motivé par le marketing. Mais quand même. Le manque d'évaluation standardisée mine la crédibilité. Si vous établissez des références, au moins gardez la méthodologie cohérente à travers différents tests.