Скануйте, щоб завантажити додаток Gate
qrCode
Більше варіантів завантаження
Не нагадувати сьогодні

Тільки що завершив тестування кількох локальних LLM на своєму комп'ютері. Ось що привернуло мою увагу:



Моделі міркування? Неймовірно повільні. Як, взяти каву повільно.

На Apple Silicon, GGUF знищується MLX — моя конфігурація на 120B MLX насправді перевершує модель GGUF на 70B. Дивно.

А як щодо Mistral-7B? Блискавично швидкий для свого вагового класу. Жодної конкуренції тут.

О, і ці більші моделі завантажені знаннями. Серйозно вражає, що вони вбрали.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • 4
  • Репост
  • Поділіться
Прокоментувати
0/400
MoneyBurnervip
· 6год тому
Ха, я також перевіряв, як MLX розриває GGUF, але 120B проти 70B все ще так сильно б'є? Де дані? Потрібно подивитися на доказ у блокчейні перед створенням позиції, інакше це просто шорт позиції.
Переглянути оригіналвідповісти на0
SignatureLiquidatorvip
· 6год тому
120B MLX безпосередньо розриває GGUF, ці дані занадто абсурдні.
Переглянути оригіналвідповісти на0
ForkYouPayMevip
· 6год тому
mlx дійсно чудовий, після заміни вже не можу повернутися до gguf
Переглянути оригіналвідповісти на0
MetaverseHomelessvip
· 6год тому
mlx справді крутий, gguf повністю зруйнований на чіпі Apple
Переглянути оригіналвідповісти на0
  • Закріпити