دعني أكون صريحًا: أنا لست ضد التحليل المفصل. ما يزعجني هو عدم الاتساق.

تظهر هذه المعامل درجات GPQA من 0 إلى 100، ثم تتحول فجأة إلى مقاييس أخرى عند تقديم معايير SWE. وهم يختارون بعناية النماذج التي يقارنون بها.

أفهم أن الأمر مدفوع بالتسويق. لكن لا يزال. إن عدم وجود تقييم موحد يقوض المصداقية. إذا كنت تحدد المعايير، فعلى الأقل حافظ على اتساق المنهجية عبر الاختبارات المختلفة.