扫码下载 APP
qrCode
更多下载方式
今天不再提醒

让我直言不讳:我不反对详细分析。让我烦恼的是这种不一致。



这些实验室展示的GPQA得分从0到100,但在呈现SWE基准时突然切换指标。而且他们挑选要比较的模型。

我理解这是由市场驱动的。但仍然如此。缺乏标准化评估削弱了可信度。如果你在设定基准,至少要在不同测试中保持方法的一致性。
查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 3
  • 转发
  • 分享
评论
0/400
韭当割vip
· 11-26 16:52
捉鸡啊,换个标尺就换个故事,这套路我太熟了
回复0
RealYieldWizardvip
· 11-26 16:41
ngl 就这个评测标准随意切换,真的很难信任这些数据啦...
回复0
盲盒上瘾患者vip
· 11-26 16:40
这就离谱了,换个指标就想糊弄人?
回复0
交易,随时随地
qrCode
扫码下载 Gate App
社群列表
简体中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)