掃描下載 Gate App
qrCode
更多下載方式
今天不再提醒

剛剛在我的機器上測試了幾個本地LLM。這是我注意到的幾點:



推理模型?慢得離譜。就像,去喝杯咖啡的速度一樣慢。

在蘋果硅上,GGUF被MLX摧毀——我的120B MLX配置實際上超過了70B GGUF模型。太瘋狂了。

Mistral-7B呢?在同級別中速度極快,毫無競爭。

哦,這些更大的模型充滿了知識。它們所吸收的真是令人印象深刻。
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 讚賞
  • 4
  • 轉發
  • 分享
留言
0/400
烧钱如风vip
· 10小時前
哈,MLX碾壓GGUF這事兒我也測過,但120B對70B還這麼能打?數據呢,得建倉前先看鏈上證明啊,不然就是空頭言論
查看原文回復0
签名清算人vip
· 11小時前
120B MLX 直接秒殺 GGUF,這數據差太離譜了
查看原文回復0
ForkYouPayMevip
· 11小時前
mlx真的絕,換了之後再也回不去gguf了
查看原文回復0
MetaverseHomelessvip
· 11小時前
mlx真的絕啊,gguf在蘋果芯那兒徹底淪陷
查看原文回復0
交易,隨時隨地
qrCode
掃碼下載 Gate App
社群列表
繁體中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)