Отсканируйте, чтобы загрузить приложение Gate
qrCode
Больше вариантов загрузки
Не напоминай мне больше сегодня.

Только что закончил тестирование нескольких локальных LLM на моем компьютере. Вот что привлекло мое внимание:



Модели рассуждений? Ужасно медленные. Как, время на кофе.

На Apple Silicon GGUF уничтожается MLX — моя настройка 120B MLX на самом деле опережает модель GGUF на 70B. Дико.

Mistral-7B, правда? Молниеносный для своего весового класса. Здесь нет конкуренции.

О, и эти большие модели наполнены знаниями. Серьезно впечатляет, что они усвоили.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • 4
  • Репост
  • Поделиться
комментарий
0/400
MoneyBurnervip
· 6ч назад
Ха, я тоже проверял, как MLX раздавил GGUF, но 120B против 70B все еще так могут бить? Где данные? Перед созданием позиции нужно сначала смотреть на доказательства в блокчейне, иначе это просто позиции в шорт.
Посмотреть ОригиналОтветить0
SignatureLiquidatorvip
· 6ч назад
120B MLX напрямую уничтожает GGUF, эти данные просто абсурдные.
Посмотреть ОригиналОтветить0
ForkYouPayMevip
· 6ч назад
mlx действительно круто, после смены больше не вернусь к gguf
Посмотреть ОригиналОтветить0
MetaverseHomelessvip
· 6ч назад
mlx действительно круто, gguf полностью погрузился в яблочный чип.
Посмотреть ОригиналОтветить0
  • Закрепить