Baru saja menyelesaikan pengujian beberapa LLM lokal di mesin saya. Berikut yang menarik perhatian saya:

Model penalaran? Sangat lambat. Seperti, lambat sampai harus ambil kopi.

Di Apple Silicon, GGUF hancur oleh MLX—pengaturan MLX 120B saya sebenarnya melampaui model GGUF 70B. Gila.

Mistral-7B meskipun? Sangat cepat untuk kelas beratnya. Tidak ada kompetisi di sana.

Oh, dan model-model yang lebih besar ini penuh dengan pengetahuan. Sangat mengesankan apa yang mereka serap.

Lihat Asli

Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.

7 Suka

Hadiah
7
4
Posting ulang
Bagikan

Komentar

0/400

MoneyBurner

· 4jam yang lalu

Haha, saya juga sudah menguji tentang MLX yang mengalahkan GGUF, tapi 120B melawan 70B masih bisa bertarung? Datanya, harus melihat bukti on-chain sebelum membangun posisi, kalau tidak hanya pernyataan posisi short.

Lihat AsliBalas0

SignatureLiquidator