Vừa mới hoàn thành việc thử nghiệm một số LLM địa phương trên máy của tôi. Đây là những gì đã thu hút sự chú ý của tôi:

Mô hình suy luận? Chậm một cách vô lý. Như kiểu, đi lấy cà phê thì chậm.

Trên Apple Silicon, GGUF bị MLX tiêu diệt—cài đặt 120B MLX của tôi thực sự vượt qua một mô hình GGUF 70B. Thật điên rồ.

Mistral-7B thì sao? Nhanh như chớp cho phân khúc trọng lượng của nó. Không có đối thủ ở đó.

Ồ, và những mô hình lớn hơn này được nạp đầy kiến thức. Thực sự ấn tượng với những gì chúng đã hấp thụ.