Je viens de terminer de tester quelques LLM locaux sur ma machine. Voici ce qui a retenu mon attention :

Modèles de raisonnement ? Ridiculement lents. Comme, le temps d'aller prendre un café.

Sur Apple Silicon, GGUF est détruit par MLX—ma configuration 120B MLX dépasse en fait un modèle GGUF de 70B. Fou.

Mistral-7B cependant ? Éclair rapide pour sa catégorie de poids. Pas de compétition là.

Oh, et ces plus grands modèles sont chargés de connaissances. Vraiment impressionnant ce qu'ils ont absorbé.