H100 kümesinde bugün ilginç bir manzaraya tanık oldum.

İki model yan yana eğitim alıyor. Biri 7B parametreli hafif bir mimari, diğeri ise 1.8 trilyon parametreli karma uzman canavarı.

Epoch koşusu bittiğinde, o 7B küçük yaratık yanındaki SOTA canavarıyla göz göze geldi ve konuşmaya başladı: "Sen nasıl..."

Söyleyeceklerim henüz bitmedi, bir sonraki antrenman başladı.