a16z: Implantação de grandes modelos é como perder a memória, será que "aprendizado contínuo" pode quebrar esse ciclo vicioso?

Autor: Malika Aubakirova, Matt Bornstein

Compilado: Deep Tide TechFlow

Leitura introdutória do Deep Tide: Grandes modelos de linguagem treinados ficam “congelados” após o treinamento, e sua implantação depende de patches externos como janelas de contexto, RAG, entre outros, para manter a operação — essencialmente iguais aos pacientes com amnésia em “Memórias de um Sósia” — capazes de recuperar informações, mas incapazes de aprender coisas novas de verdade. Dois sócios da a16z analisaram essa fronteira de pesquisa de ponta chamada “aprendizado contínuo”, desmembrando esse caminho tecnológico que pode redefinir o limite das capacidades de IA, através de três rotas: contexto, módulos e atualização de pesos.

No filme “Memento”, de Christopher Nolan, o protagonista Leonard Shelby vive num presente fragmentado. Uma lesão cerebral causa uma amnésia anterógrada, impedindo a formação de novas memórias. A cada poucos minutos, seu mundo se reinicia, preso no “agora” eterno, sem lembrar o que aconteceu há pouco, nem o que virá a seguir. Para sobreviver, ele tatua palavras, usa câmeras instantâneas, apoiando-se nesses dispositivos externos para substituir a memória que seu cérebro não consegue mais fazer.

Grandes modelos de linguagem também vivem num presente semelhante. Após o treinamento, seu vasto conhecimento fica congelado nos parâmetros, incapazes de formar novas memórias ou atualizar seus pesos com novas experiências. Para compensar essa limitação, criamos estruturas de suporte: histórico de conversas como notas de curto prazo, sistemas de recuperação como cadernos externos, prompts como tatuagens. Mas o próprio modelo, nunca internalizou de fato essas novas informações.

Cada vez mais pesquisadores acreditam que isso não basta. O aprendizado por contexto (ICL) funciona se a resposta (ou fragmentos dela) já estiver no mundo, em algum canto. Mas para problemas que exigem descoberta genuína (como novas provas matemáticas), cenários adversariais (como segurança ofensiva e defensiva), ou conhecimentos demasiado implícitos e difíceis de expressar em palavras, há razões para pensar que: o modelo precisa de uma forma de, após a implantação, escrever diretamente nos seus parâmetros o novo conhecimento e experiência.

O aprendizado por contexto é temporário. O verdadeiro aprendizado exige compressão. Antes de permitir que o modelo continue comprimindo, podemos estar presos no presente eterno de “Memórias de um Sósia”. Por outro lado, se pudermos treinar o modelo para aprender sua própria arquitetura de memória, ao invés de depender de ferramentas externas, poderemos desbloquear uma nova dimensão de escalabilidade.

Esse campo de pesquisa é chamado de aprendizado contínuo (continual learning). O conceito não é novo (ver trabalhos de McCloskey e Cohen, 1989), mas acreditamos que seja uma das direções mais importantes na IA atualmente. Nos últimos anos, a explosão de capacidades dos modelos evidenciou cada vez mais o abismo entre o “saber” e o “saber fazer”. Este artigo compartilha aprendizados de pesquisadores de ponta na área, ajudando a esclarecer diferentes caminhos do aprendizado contínuo e impulsionando seu desenvolvimento no ecossistema empreendedor.

Nota: Este artigo foi possível graças a profundas trocas com uma turma de pesquisadores, doutorandos e empreendedores, que generosamente compartilharam seus trabalhos e insights na área de aprendizado contínuo. Desde fundamentos teóricos até a prática de aprendizado pós-deploy, suas contribuições tornaram este texto muito mais sólido do que se fosse escrito por nós sozinhos. Agradecemos pelo tempo e pelas ideias!

Vamos falar primeiro de contexto

Antes de defender o aprendizado de peso (ou seja, atualizar os pesos do modelo), é preciso reconhecer um fato: o aprendizado por contexto realmente funciona. E há argumentos convincentes de que continuará a vencer.

A essência do Transformer é um preditor condicional sequencial de tokens. Com uma sequência correta, ele exibe comportamentos surpreendentes, sem precisar alterar pesos. É por isso que técnicas como gerenciamento de contexto, engenharia de prompts, fine-tuning por instruções e exemplos de poucos disparos são tão poderosas. A inteligência está nos parâmetros estáticos, enquanto a capacidade aparente varia drasticamente com o conteúdo fornecido na janela.

Um exemplo recente de um artigo profundo sobre escalabilidade de agentes autônomos com base em janelas de contexto é o trabalho do Cursor: os pesos do modelo permanecem fixos, e o que faz o sistema funcionar é a orquestração cuidadosa do contexto — o que inserir, quando fazer resumos, como manter a coerência durante horas de operação autônoma.

Outro exemplo é o OpenClaw. Seu sucesso não veio por ter um modelo com permissões especiais (todos podem usar o modelo base), mas por transformar contexto e ferramentas em um estado de trabalho altamente eficiente: rastreando o que você faz, estruturando resultados intermediários, decidindo quando reinjetar prompts, mantendo memória persistente do trabalho anterior. OpenClaw elevou o “design de casca” de agentes a uma disciplina independente.

Quando o prompting surgiu, muitos duvidaram que “apenas prompts” pudessem se tornar uma interface séria. Parecia um hack. Mas, na verdade, é uma manifestação direta da arquitetura Transformer, que não requer re-treinamento e evolui automaticamente com o avanço do modelo. Quanto mais forte o modelo, mais forte o prompt. Interfaces “simples, mas nativas” frequentemente vencem, pois se acoplam diretamente ao sistema subjacente, ao invés de lutar contra ele. E essa tem sido a trajetória do desenvolvimento de LLMs até hoje.

Modelo de espaço de estado: uma versão esteróide do contexto

À medida que os fluxos de trabalho principais migram de chamadas a LLMs para ciclos de agentes inteligentes, a pressão sobre os modelos de aprendizado por contexto aumenta. Raramente o contexto é totalmente preenchido na prática. Geralmente, isso ocorre quando o LLM precisa realizar uma longa sequência de tarefas discretas, onde a camada de aplicação pode cortar e comprimir o histórico de conversa de forma relativamente direta. Mas, para um agente, uma única tarefa pode consumir grande parte do limite de contexto disponível. Cada passo do ciclo do agente depende do contexto passado, e muitas vezes ele falha após 20 a 100 passos, porque “perde a linha”: o contexto fica cheio, a coerência se degrada, e a convergência falha.

Por isso, os principais laboratórios de IA estão investindo pesado em desenvolver modelos com janelas de contexto ultra longas. Essa é uma rota natural, pois se apoia em métodos já eficazes (aprendizado por contexto) e acompanha a tendência de computação para raciocínio. A arquitetura mais comum é inserir camadas de memória fixa entre cabeças de atenção padrão, formando modelos de espaço de estado (SSM) e variantes de atenção linear (que chamaremos genericamente de SSM). Em cenários de longo contexto, o SSM oferece curvas de escalabilidade fundamentalmente melhores.

Figura: comparação de escalabilidade entre SSM e atenção tradicional

O objetivo é aumentar em vários ordens de magnitude o número de passos que um agente pode manter coerente — de cerca de 20 para aproximadamente 20.000 — sem perder as habilidades e conhecimentos que um Transformer tradicional oferece. Se der certo, será um avanço significativo para agentes de longa duração. Pode-se até pensar nisso como uma forma de aprendizado contínuo: embora sem atualização de pesos, há uma camada de memória externa quase que irreversível.

Portanto, esses métodos não paramétricos são reais e poderosos. Qualquer avaliação de aprendizado contínuo deve começar por aqui. A questão não é se os sistemas de contexto atuais funcionam — eles funcionam. A dúvida é: já atingimos o limite? Novas abordagens podem nos levar além?

O que o contexto está perdendo: a “falácia do arquivo”

“AGI e o que acontece no pré-treinamento é que, de certa forma, eles superestimaram… Os humanos não são AGI. Sim, temos uma base de habilidades, mas faltam muitas informações. Dependemos do aprendizado contínuo. Se eu criar um adolescente super inteligente, ele não sabe de nada. Um bom estudante, ansioso por aprender. Pode-se dizer: vá ser programador, vá ser médico. A implantação envolve um processo de aprendizado, tentativa e erro. Não é simplesmente lançar um produto acabado.” — Ilya Sutskever

Imagine um sistema com espaço de armazenamento infinito. Um enorme arquivo, onde cada fato está perfeitamente indexado e acessível instantaneamente. Pode consultar qualquer coisa. Mas ele aprendeu?

Não. Nunca foi forçado a fazer compressão.

Essa é a tese central que citamos de Sutskever: os LLMs são, na essência, algoritmos de compressão. Durante o treinamento, eles comprimem a internet em seus parâmetros. Essa compressão é por natureza uma perda, e justamente essa perda é o que os torna poderosos. Compressão força o modelo a buscar estruturas, fazer generalizações, construir representações que possam migrar entre contextos. Um modelo que apenas memoriza exemplos de treinamento não é tão útil quanto um que extrai regras subjacentes. A compressão com perda é, na prática, uma forma de aprender.

Ironicamente, o mecanismo que torna os LLMs tão fortes durante o treinamento — transformar dados brutos em representações compactas e transferíveis — é exatamente o que deixamos de fazer após a implantação. Paramos de comprimir, usando memória externa para substituir. Claro, muitas cascas de agentes comprimem o contexto de forma personalizada, mas a lição amarga (bitter lesson) é que o próprio modelo deveria aprender a fazer essa compressão de forma direta e em larga escala.

Yu Sun exemplifica essa discussão com um caso: a matemática. Veja o teorema de Fermat. Por mais de 350 anos, nenhum matemático conseguiu prová-lo, não por falta de literatura adequada, mas porque a solução era altamente inovadora. O gap entre o conhecimento matemático existente e a resposta final era enorme. Quando Andrew Wiles finalmente resolveu o problema na década de 1990, trabalhou quase isolado por sete anos, inventando novas técnicas para chegar à prova. Sua demonstração dependia de conectar duas áreas distintas: curvas elípticas e formas modulares. Embora Ken Ribet já tivesse mostrado que, se essa conexão fosse estabelecida, o teorema de Fermat seria resolvido automaticamente, antes de Wiles ninguém tinha as ferramentas teóricas para construir essa ponte. Provas similares podem ser feitas para a conjectura de Poincaré, de Perelman.

A questão central é: esses exemplos demonstram que os LLMs carecem de algo? Uma capacidade de atualização de pré-requisitos ou de pensamento criativo genuíno? Ou, ao contrário, eles mostram que tudo que o conhecimento humano é — dados para treinar e recompor? Wiles e Perelman apenas ilustram que, em escala maior, os LLMs também podem fazer isso?

Essa é uma questão empírica, cuja resposta ainda não é clara. Mas sabemos que há categorias de problemas onde o aprendizado por contexto falha hoje, enquanto o aprendizado por peso pode ser útil. Por exemplo:

Figura: categorias de problemas onde o aprendizado por contexto falha e o aprendizado por peso pode vencer

Mais importante, o aprendizado por contexto só consegue lidar com conceitos que podem ser expressos em linguagem. Já os pesos podem codificar ideias que o prompt não consegue transmitir por palavras. Existem padrões de alta dimensionalidade, altamente implícitos, profundamente estruturados, que não cabem na janela de contexto. Como distinguir uma textura visual que diferencia um tumor de um falso positivo em uma varredura médica, ou um ritmo único de fala que define um locutor? Esses padrões não se decompõem facilmente em palavras. A linguagem só consegue aproximar. Mesmo uma janela de prompt longa não consegue transmitir esses conhecimentos — eles vivem na representação no espaço latente dos pesos, não na palavra. Conhecimentos que só existem na representação de aprendizado, não na linguagem. Por mais que aumentemos a janela de contexto, sempre haverá conhecimentos que só podem ser carregados nos pesos.

Talvez isso explique por que funções explícitas de “memória de você” — como o recurso de memória do ChatGPT — muitas vezes geram desconforto, ao invés de surpresa. O que o usuário realmente deseja não é “lembrar”, mas “capacidade”. Um modelo internalizado com seu padrão de comportamento pode generalizar para novos cenários; um que apenas recupera seu histórico não consegue. A diferença entre “isso foi o que você respondeu na última vez” e “eu já entendo seu modo de pensar o suficiente para prever o que você precisa” é a diferença entre recuperação e aprendizado.

Introdução ao aprendizado contínuo

O aprendizado contínuo possui várias rotas. A fronteira não está em “ter memória” ou não, mas sim: onde ocorre a compressão? Essas rotas variam ao longo de um espectro, desde sem compressão (recuperação pura, pesos congelados) até compressão total (aprendizado de peso, tornando o modelo mais inteligente), passando por uma zona intermediária (módulos).

Figura: três caminhos do aprendizado contínuo — contexto, módulos, pesos

Contexto

Na ponta do contexto, equipes constroem pipelines de recuperação mais inteligentes, cascas de agentes e orquestração de prompts. Essa é a categoria mais madura: infraestrutura validada, implantação clara. A limitação é a profundidade: o comprimento do contexto.

Uma direção emergente interessante é a arquitetura de múltiplos agentes como estratégia de escalabilidade do contexto. Se um único modelo é limitado a uma janela de 128K tokens, um grupo coordenado de agentes — cada um com seu próprio contexto, focado em uma fatia do problema, comunicando resultados entre si — pode, em conjunto, simular uma memória de trabalho quase infinita. Cada agente faz aprendizado de contexto na sua janela; o sistema faz agregação. Projetos como o autoresearch do Karpathy e exemplos de navegadores web construídos pelo Cursor são casos iniciais. Essa abordagem é puramente não paramétrica (não altera pesos), mas eleva drasticamente o limite do que sistemas de contexto podem alcançar.

Módulos

Na área de módulos, equipes constroem componentes plugáveis de conhecimento (caches de KV comprimidos, camadas adaptadoras, armazenamento externo de memória), permitindo que modelos genéricos se especializem sem re-treinamento. Um modelo de 8 bilhões de parâmetros, com módulos adequados, pode alcançar desempenho de um modelo de 109 bilhões na tarefa alvo, com uso de memória muito menor. A vantagem é a compatibilidade com infraestruturas Transformer existentes.

Pesos

Na ponta de atualização de pesos, pesquisadores buscam o verdadeiro aprendizado de peso: atualizar apenas partes relevantes dos parâmetros, usar feedback para otimizar o ciclo de RL, treinar em tempo de inferência para comprimir contexto nos pesos (test-time training). Essas são as abordagens mais profundas e difíceis de implantar, mas que permitem ao modelo internalizar novas informações ou habilidades de forma completa.

Diversas linhas de pesquisa em atualização de peso:

Figura: visão geral das rotas de pesquisa em aprendizado de peso

As rotas de atualização de peso correm em paralelo. Regularização e métodos de espaço de peso são os mais antigos: EWC (Kirkpatrick et al., 2017) penaliza mudanças nos pesos com base na importância para tarefas anteriores; interpolação de pesos (Kozal et al., 2024) mistura configurações antigas e novas, mas ambas são frágeis em grande escala. Treinamento na inferência, iniciado por Sun et al. (2020), evoluiu para primitivas arquiteturais (camadas TTT, TTT-E2E, TTT-Discover), que fazem gradiente na própria fase de teste, comprimindo novas informações nos pesos no momento necessário. Meta-aprendizado pergunta: podemos treinar um modelo que saiba “como aprender”? Desde a inicialização de poucos exemplos do MAML (Finn et al., 2017) até o aprendizado aninhado de Behrouz et al. (2025), que estrutura o modelo como um problema de otimização hierárquico, com módulos que se adaptam rápido em diferentes escalas de tempo, inspirado na consolidação da memória biológica.

Distorção por distilação: fazer um estudante imitar um professor congelado para reter tarefas anteriores. LoRD (Liu et al., 2025) combina poda de modelos e replay de buffer para tornar a distilação eficiente o suficiente para operação contínua. Auto-distilação (SDFT, Shenfeld et al., 2026) inverte a fonte: usa a própria saída do modelo sob condições de especialista como sinal de treinamento, evitando o esquecimento catastrófico do fine-tuning sequencial. Auto-aperfeiçoamento recursivo funciona com ideias similares: STaR (Zelikman et al., 2022) usa cadeias de raciocínio geradas automaticamente para melhorar a inferência; AlphaEvolve (DeepMind, 2025) descobre algoritmos que há décadas não eram aprimorados; Silver e Sutton (2025) definem o aprendizado de agentes como um fluxo contínuo de experiências, uma “era de experiência” sem fim.

Essas rotas estão convergindo. TTT-Discover já combina treinamento em tempo de teste com exploração por RL. HOPE embute ciclos de aprendizado rápido e lento em uma única arquitetura. SDFT transforma distilação em operação de autoaperfeiçoamento. As fronteiras entre estratégias estão se borrando. O próximo sistema de aprendizado contínuo provavelmente combinará várias dessas abordagens: regularização para estabilidade, meta-aprendizado para aceleração, autoaperfeiçoamento para efeito de alavanca. Cada vez mais startups apostam nesse stack de técnicas em diferentes níveis.

Mapa do ecossistema de startups de aprendizado contínuo

Na ponta não paramétrica, as empresas mais conhecidas (Letta, mem0, Subconscious) constroem camadas de orquestração e suporte, gerenciando o conteúdo inserido na janela de contexto. Infraestruturas externas de recuperação e RAG (como Pinecone, xmemory) fornecem o núcleo de busca. Os dados existem, o desafio é colocar as fatias corretas na frente do modelo na hora certa. Com o aumento do tamanho da janela, o espaço de design dessas empresas também cresce, especialmente na ponta de suporte, onde novas startups emergem para gerenciar estratégias cada vez mais complexas de contexto.

Na ponta paramétrica, há empresas mais antigas e diversificadas. Aqui, a aposta é em algum tipo de “compressão pós-deploy”, fazendo o modelo internalizar novas informações nos pesos. As estratégias variam: compressão parcial, aprendizado por sinal, novas arquiteturas.

Compressão parcial: aprender sem re-treinar. Algumas equipes constroem módulos plugáveis de conhecimento (caches de KV comprimidos, camadas adaptadoras, memória externa), permitindo que modelos genéricos se especializem sem alterar pesos centrais. A ideia comum é obter compressão significativa (não só recuperação), mantendo o trade-off entre estabilidade e plasticidade controlado, pois o aprendizado é isolado, não disperso por todo o espaço de peso. Um modelo de 8B com módulos adequados pode alcançar desempenho de um de 109B na tarefa alvo, com uso de memória muito menor. A vantagem é a compatibilidade: módulos podem ser trocados ou atualizados independentemente, com custos de experimentação muito menores do que re-treinar.

RL e ciclos de feedback: aprender a partir de sinais. Outros apostam que os sinais mais ricos já estão na própria interação com o ambiente — correções do usuário, sucesso ou fracasso na tarefa, recompensas do mundo real. A ideia é que o modelo trate cada interação como potencial fonte de treinamento, não apenas uma solicitação de inferência. Isso se assemelha ao modo como humanos evoluem no trabalho: fazer, receber feedback, internalizar o que funciona. O desafio é transformar sinais esparsos, ruidosos, às vezes adversariais, em atualizações de peso estáveis, sem esquecer o que foi aprendido. Um modelo que realmente aprende na implantação pode gerar efeitos de efeito composto que sistemas de contexto não conseguem.

Foco em dados: aprender a partir de sinais corretos. Uma aposta relacionada é que o gargalo não está na técnica de aprendizado, mas nos dados e sistemas de suporte. Essas equipes focam em selecionar, gerar ou sintetizar dados de alta qualidade, que possam impulsionar atualizações contínuas. A premissa é que, com sinais de alta qualidade, o modelo precisa de muito menos passos de gradiente para melhorar de forma significativa. Essa abordagem se conecta naturalmente ao ciclo de feedback, mas enfatiza a questão do que e como o modelo deve aprender.

Novas arquiteturas: aprender a aprender na base. A aposta mais radical é que a arquitetura Transformer, por si só, é um gargalo. Aprendizado contínuo requer uma mudança fundamental na computação: arquiteturas com dinâmica contínua e mecanismos de memória embutidos. A ideia é estrutural: se você quer um sistema que aprenda de forma contínua, deve embutir o mecanismo de aprendizado na própria arquitetura.

Figura: mapa de startups de aprendizado contínuo

Todos os principais laboratórios também atuam nessas categorias. Alguns exploram melhor gerenciamento de contexto e raciocínio em cadeia, outros testam módulos de memória externa ou pipelines de computação em sleep, e algumas empresas secretas buscam novas arquiteturas. A área ainda está em estágio inicial, sem uma abordagem vencedora clara, e considerando a diversidade de aplicações, é improvável que exista apenas uma solução.

Por que a atualização de peso ingênua falha

No ambiente de produção, atualizar os pesos do modelo gera uma série de falhas ainda não resolvidas em larga escala.

Figura: falhas da atualização ingênua de peso

Problemas de engenharia já bem documentados. A catástrofe do esquecimento (catastrophic forgetting) ocorre porque um modelo sensível a novos dados destrói suas representações existentes — o dilema de estabilidade versus plasticidade. A desconexão temporal significa que regras imutáveis e estados variáveis estão comprimidos nos mesmos pesos; atualizar um danifica o outro. A falha na integração lógica ocorre porque mudanças nos fatos não se propagam para suas inferências: alterações ficam restritas ao nível de tokens, não de conceitos semânticos. O “desaprender” ainda é impossível: não há uma operação diferenciável de subtração, então não há uma maneira precisa de remover conhecimento falso ou tóxico.

Há também uma segunda categoria de problemas, menos discutida. Separar treinamento e implantação não é só uma questão de engenharia: é uma fronteira de segurança, auditoria e governança. Abrir essa fronteira traz riscos múltiplos. Alinhamento de segurança pode se deteriorar de forma imprevisível: mesmo microajustes com dados benignos podem causar comportamentos desajustados. Atualizações contínuas criam uma superfície de ataque de envenenamento de dados — uma injeção lenta e persistente de prompts maliciosos, que fica nos pesos. A auditabilidade também colapsa: um modelo que se atualiza continuamente é um alvo móvel, difícil de versionar, testar ou certificar de uma vez só. Quando a interação do usuário é comprimida nos pesos, o risco de privacidade aumenta, pois informações sensíveis podem ficar embutidas na representação, mais difícil de filtrar do que em uma recuperação de contexto.

Essas questões são abertas, não impossíveis. Resolver esses problemas, assim como os desafios arquiteturais, faz parte da agenda de pesquisa de aprendizado contínuo.

De “Memórias de um Sósia” para memórias de verdade

A tragédia de Leonard em “Memórias de um Sósia” não está na sua incapacidade de operar — ele é inteligente, até brilhante em qualquer cenário. Sua tragédia é a incapacidade de gerar efeito composto. Cada experiência fica externa: uma foto instantânea, uma tatuagem, uma nota manuscrita. Ele consegue recuperar, mas não comprimir o novo conhecimento.

Ao navegar nesse labirinto auto-construído, a fronteira entre verdade e crença se torna difusa. Sua condição não apenas rouba sua memória; força-o a reconstruir significado continuamente, tornando-se ao mesmo tempo detetive de sua própria história e narrador não confiável.

Hoje, a IA opera sob restrições semelhantes. Construímos sistemas de recuperação muito poderosos: janelas de contexto maiores, cascas mais inteligentes, múltiplos agentes coordenados, e eles funcionam. Mas recuperar não é aprender. Um sistema que consegue consultar qualquer fato não é forçado a buscar estrutura. Não é forçado a generalizar. A compressão poderosa — transformar dados brutos em representações transferíveis — é exatamente o que desligamos na implantação.

O caminho provavelmente não é uma única inovação, mas uma arquitetura em camadas. O aprendizado por contexto continuará sendo a primeira linha de defesa: nativo, comprovado, em constante evolução. Módulos podem lidar com personalização e especialização intermediária. Mas, para problemas realmente difíceis — descoberta, adaptação adversarial, conhecimentos implícitos que não cabem em palavras — talvez precisemos que o modelo continue comprimindo experiências nos pesos após o treinamento. Isso exige avanços em arquiteturas esparsas, meta-aprendizado e ciclos de autoaperfeiçoamento. Pode também nos forçar a redefinir o que é um “modelo”: não uma coleção fixa de pesos, mas um sistema em evolução, que inclui sua memória, seu algoritmo de atualização, sua capacidade de abstração a partir da experiência própria.

Os arquivos estão cada vez maiores. Mas, por mais que aumentem, ainda são arquivos. A verdadeira inovação está em fazer o modelo, após o deploy, aprender — comprimir, abstrair, evoluir. Estamos na encruzilhada entre modelos com amnésia e modelos com uma centelha de experiência. Caso contrário, ficaremos presos na nossa própria “Memórias de um Sósia”.