自分のマシンでいくつかのローカルLLMをテストしたばかりです。これは私の注意を引いたことです:

推論モデル？信じられないほど遅い。コーヒーを取りに行くくらい遅い。

Apple Siliconでは、GGUFはMLXによって破壊されます。私の120B MLX設定は実際に70B GGUFモデルを上回ります。すごい。

Mistral-7Bはどうですか？そのクラスの重さに対して驚くほど速いです。競争相手はいません。

ああ、これらの大きなモデルは知識が詰まっています。彼らが吸収したものは本当に印象的です。