Deixe-me ser direto: não sou contra análises detalhadas. O que me irrita é a inconsistência.

Esses laboratórios mostram pontuações GPQA de 0 a 100, depois mudam repentinamente os métricas ao apresentar benchmarks SWE. E eles escolhem a dedo quais modelos comparar.

Eu entendo que é impulsionado pelo marketing. Mas ainda assim. A falta de uma avaliação padronizada mina a credibilidade. Se você está definindo referências, pelo menos mantenha a metodologia consistente entre diferentes testes.