Acabei de testar alguns LLMs locais na minha máquina. Aqui está o que chamou a minha atenção:

Modelos de raciocínio? Ridiculamente lentos. Tipo, lentos como ir buscar um café.

No Apple Silicon, o GGUF é destruído pelo MLX—o meu setup de 120B MLX na verdade supera um modelo de 70B GGUF. Louco.

Mistral-7B, então? Relâmpago rápido para a sua categoria de peso. Sem competição aí.

Oh, e estes modelos maiores estão carregados de conhecimento. É realmente impressionante o que eles absorveram.

Ver original

Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.

7 gostos

Recompensa
7
4
Republicar
Partilhar

Comentar

0/400

MoneyBurner

· 3h atrás

Ha, eu também testei essa questão do MLX a esmagar o GGUF, mas 120B contra 70B ainda consegue ser tão forte? Onde estão os dados? Antes de criar uma posição, é preciso olhar as provas na cadeia, caso contrário, é apenas uma declaração de posições curtas.

Ver originalResponder0

SignatureLiquidator