Vitalik compartilha solução de LLM privada local, enfatizando privacidade e segurança como prioridade

ME News Notícias, 2 de abril (UTC+8), Vitalik Buterin publicou um artigo compartilhando seu plano de implantação de LLMs localizados e privados até abril de 2026, cujo objetivo principal é colocar a privacidade, segurança e autonomia como premissas, minimizando ao máximo as oportunidades de contato de dados pessoais com modelos remotos e serviços externos, e reduzindo riscos de vazamento de dados, jailbreak de modelos e uso de conteúdo malicioso através de inferência local, armazenamento de arquivos local e isolamento em sandbox.
No que diz respeito ao hardware, ele testou notebooks equipados com GPU NVIDIA 5090, dispositivos de memória unificada AMD Ryzen AI Max Pro de 128 GB e soluções como DGX Spark, usando modelos Qwen3.5 35B e 122B para inferência local.
Dentre eles, o notebook 5090 atingiu cerca de 90 tokens/s com o modelo 35B, a solução AMD cerca de 51 tokens/s, e o DGX Spark aproximadamente 60 tokens/s.
Vitalik afirmou que prefere construir ambientes de IA local baseados em notebooks de alto desempenho, usando ferramentas como llama-server, llama-swap e NixOS para montar o fluxo de trabalho completo.
(Fonte: ODILY)