A ByteDance inicia o pré-treino de um modelo com 10 mil milhões de parâmetros, aproximando-se da escala do Mythos 5 da Anthropic

De acordo com a monitorização realizada pela Beating, o Financial Times noticiou, citando três fontes, que a ByteDance iniciou o pré-treino de um modelo de linguagem de grande escala com até 10 biliões de parâmetros. O projeto ainda se encontra numa fase inicial e a escala final ainda não foi determinada. Se for treinado à capacidade máxima, o modelo superará o Kimi K3 em mais de três vezes, tornando-se o maior modelo conhecido em termos de número de parâmetros desenvolvido por uma equipa chinesa.

A Anthropic não divulgou o número de parâmetros do Mythos 5, mas o Financial Times citou estimativas do setor que apontam para aproximadamente 8 biliões de parâmetros. Se atingir os 10 biliões de parâmetros, o modelo da ByteDance ficará na mesma ordem de grandeza dos principais modelos proprietários dos EUA. Atualmente, o modelo encontra-se na fase de pré-treino, que normalmente exige entre três e seis meses, seguindo-se o pós-treino antes de um possível lançamento.