Estudo do mecanismo de desconexão entre o reconhecimento e a ação no uso de ferramentas proxy
Esta pesquisa de interpretabilidade foca em ferramentas de agentes, revelando que, embora o modelo possa identificar a necessidade de chamar uma ferramenta, a chamada real falha, com uma taxa de erro de 26%-54%.
O problema concentra-se na fase de conversão do reconhecimento para a ação, não na cognição em si.
Sinais internos podem ser decodificados, mas o mecanismo de token final da camada subsequente causa rotação dos sinais, tornando-os quase ortogonais à ação.
A pesquisa visa prever o efeito de intervenções, apontando que atribuições como prompts ou treinamento insuficiente podem ignorar a estrutura geométrica das camadas posteriores, explicando assim o limite de desempenho dos testes A/B no uso de ferramentas.
O problema concentra-se na fase de conversão do reconhecimento para a ação, não na cognição em si.
Sinais internos podem ser decodificados, mas o mecanismo de token final da camada subsequente causa rotação dos sinais, tornando-os quase ortogonais à ação.
A pesquisa visa prever o efeito de intervenções, apontando que atribuições como prompts ou treinamento insuficiente podem ignorar a estrutura geométrica das camadas posteriores, explicando assim o limite de desempenho dos testes A/B no uso de ferramentas.
