Позвольте быть прямым: я не против детального анализа. Меня беспокоит непоследовательность.

Эти лаборатории демонстрируют оценки GPQA от 0 до 100, а затем внезапно переключаются на другие метрики при представлении эталонов SWE. И они выбирают, с какими моделями проводить сравнение.

Я понимаю, что это продиктовано маркетингом. Но всё же. Отсутствие стандартизированной оценки подрывает доверие. Если вы устанавливаете эталоны, по крайней мере, сохраняйте методику последовательной на разных тестах.