Açık olayım: Detaylı analize karşı değilim. Beni rahatsız eden tutarsızlık.
Bu laboratuvarlar, 0'dan 100'e kadar GPQA puanlarını sergiliyor, ardından aniden SWE standartlarını sunarken metrikleri değiştiriyor. Ve hangi modellerle karşılaştırma yapacaklarını seçiyorlar.
Pazarlama odaklı olduğunu anlıyorum. Ama yine de. Standartlaştırılmış bir değerlendirme eksikliği güvenilirliği zayıflatıyor. Eğer kıstaslar belirliyorsanız, en azından farklı testler arasında metodolojiyi tutarlı tutun.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
11 Likes
Reward
11
5
Repost
Share
Comment
0/400
YieldWhisperer
· 17h ago
Açıkçası bu tipik bir "verilerle yalan söylemek" örneği, başka bir gösterge kullanarak sonucu değiştirebilirsiniz, gerçekten can sıkıcı.
View OriginalReply0
NervousFingers
· 19h ago
nah bu tuzak değerlendirme sistemi gerçekten istediğin gibi ölçmek için var... bir dakika GPQA, bir dakika SWE, veriler uyuyor olması tuhaf.
View OriginalReply0
LeekCutter
· 11-26 16:52
Tavuk yakalama, bir ölçü değiştirdiğinde bir hikaye değişir, bu tuzakla çok tanışığım.
View OriginalReply0
RealYieldWizard
· 11-26 16:41
Açıkçası bu değerlendirme standartlarının rastgele değiştirilmesi, bu verilere gerçekten güvenmeyi zorlaştırıyor...
View OriginalReply0
MysteryBoxAddict
· 11-26 16:40
Bu gerçekten saçmalık, başka bir göstergeyle insanları kandırmayı mı düşünüyorsunuz?
Açık olayım: Detaylı analize karşı değilim. Beni rahatsız eden tutarsızlık.
Bu laboratuvarlar, 0'dan 100'e kadar GPQA puanlarını sergiliyor, ardından aniden SWE standartlarını sunarken metrikleri değiştiriyor. Ve hangi modellerle karşılaştırma yapacaklarını seçiyorlar.
Pazarlama odaklı olduğunu anlıyorum. Ama yine de. Standartlaştırılmış bir değerlendirme eksikliği güvenilirliği zayıflatıyor. Eğer kıstaslar belirliyorsanız, en azından farklı testler arasında metodolojiyi tutarlı tutun.