لقد انتهيت للتو من اختبار بعض نماذج LLM المحلية على جهازي. إليكم ما لفت انتباهي:

نماذج التفكير؟ بطيئة بشكل مRidiculously. مثل، ببطء الحصول على قهوة.

على شريحة أبل سيليكون، يتم تدمير GGUF بواسطة MLX - إعداد MLX الخاص بي الذي يحتوي على 120 مليار في الواقع يتفوق على نموذج GGUF الذي يحتوي على 70 مليار. جنوني.

لكن Mistral-7B؟ سريع البرق بالنسبة لفئة وزنه. لا منافسة هناك.

أوه، وهذه النماذج الأكبر محملة بالمعرفة. إنه لأمر مثير للإعجاب حقًا ما اكتسبته.