26%-54% de taxa de desalinhamento indica que o modelo sabe o que deve fazer, mas não consegue, e a lacuna entre reconhecimento e ação é mais profunda do que se imagina

Esta pesquisa de interpretabilidade foca em ferramentas de agentes, revelando que, embora o modelo possa identificar a necessidade de chamar uma ferramenta, a chamada real falha, com uma taxa de erro de 26%-54%.
O problema concentra-se na fase de conversão do reconhecimento para a ação, não na cognição em si.
Sinais internos podem ser decodificados, mas o mecanismo de token final da camada subsequente causa rotação dos sinais, tornando-os quase ortogonais à ação.
A pesquisa visa prever o efeito de intervenções, apontando que atribuições como prompts ou treinamento insuficiente podem ignorar a estrutura geométrica das camadas posteriores, explicando assim o limite de desempenho dos testes A/B no uso de ferramentas.