Hoje, no cluster H100, testemunhei uma cena interessante.

Dois modelos a correr o treino lado a lado. Um é uma arquitetura leve com 7B parâmetros, o outro? Um monstro de especialistas mistos com 1,8 trilhões de parâmetros.

No intervalo da corrida do Epoch, aquele pequeno de 7B lançou um olhar para a besta SOTA ao lado e falou: "Como é que você..."

A conversa ainda não tinha terminado, e a próxima ronda de treino já começou.