Últimamente, la forma de medir el progreso de la inteligencia artificial ha sido muy simple y brutal: plantear una pregunta al modelo, comparar la respuesta con la respuesta estándar y puntuar. Pero ahora, este método va a dejar de funcionar.

La identidad de la IA ha cambiado. Ya no es una máquina pasiva que responde preguntas, sino que se ha convertido en un actor que puede actuar de forma proactiva. Planifica su itinerario, llama a diversas herramientas, toma decisiones en tareas complejas — la nueva generación de IA está tomando paso a paso el relevo de las tareas que antes hacían los humanos.

La pregunta que surge es: si la IA no solo produce una frase, sino que completa toda una tarea, ¿aún podemos evaluarla con un estándar de "correcto o incorrecto" en un examen?

Imagina una tarea que no tiene una única solución. La IA usa un método no previsto, pero más efectivo para resolverla. Según los métodos tradicionales de evaluación, esto sería un fracaso. Pero, ¿cuál es la realidad? La meta se ha alcanzado. Esto no solo es un detalle técnico, sino también un problema de sistema — cómo evalúas a la IA determina si realmente ha aprendido a resolver problemas o simplemente ha aprendido a complacer las reglas.

Por eso, en la comunidad de investigación en IA, ahora hay un consenso: no basta con mirar los resultados, hay que analizar el proceso. Las investigaciones más recientes y la experiencia práctica apuntan en la misma dirección: la evaluación no puede centrarse en una sola respuesta, sino en toda la cadena de acciones. Cómo la IA entiende la tarea, cómo desglosa los pasos, cuándo debe llamar a herramientas, si puede ajustar su estrategia según el entorno — esas son las cosas que realmente importan.