Agentes de IA predicen errores para mejorar código

Cómo los agentes de IA aprenden a perfeccionar su propio funcionamiento

Los agentes de IA han iniciado un proceso revolucionario de automejora. Equipos de investigadores de la Universidad de Virginia, Microsoft Research y la Universidad de Tsinghua han demostrado que estos sistemas pueden no solo modificar su propio código, sino también anticipar cuándo una alteración podría causar problemas. El desafío fundamental radica en que cualquier cambio en las instrucciones o el software de un agente de IA conlleva el riesgo de generar nuevas complicaciones mientras se intenta resolver otras.

El enfoque presentado en un estudio divulgado a través de arXiv introduce una metodología innovadora para que los agentes de IA evalúen la viabilidad de sus propias modificaciones antes de ejecutarlas. En lugar de entrenar completamente nuevos modelos, estos sistemas trabajan optimizando los programas y directrices que utilizan para completar tareas específicas. La estrategia busca orientar los esfuerzos de mejora hacia cambios que genuinamente beneficien el desempeño general del sistema.

El funcionamiento de HyperAgents y la arquitectura de mejora colaborativa

El fundamento de esta investigación descansa en HyperAgents, un sistema donde dos agentes de IA trabajan de forma coordinada. El primer agente se dedica a ejecutar y resolver tareas asignadas, mientras que el segundo se especializa en identificar oportunidades de optimización. Este segundo agente posee la capacidad de modificar tanto el código como las instrucciones que ambos utilizan, e incluso puede alterar su propio software de mejora. El sistema mantiene un registro histórico de todas las versiones anteriores, permitiendo que estas experiencias pasadas guíen futuras iteraciones de mejora.

Esta arquitectura no representa el primer intento en este campo. En 2025, Sakana AI presentó Darwin Gödel Machine, un proyecto que exploró mecanismos similares permitiendo que un agente de IA se perfeccione mediante cambios en su código. Sin embargo, el enfoque actual añade una capa adicional de sofisticación: la capacidad predictiva de anticipar problemas potenciales antes de que ocurran.

El Improvement Dynamics Model: predicción antes de la acción

La novedad central del trabajo investigativo es la incorporación del Improvement Dynamics Model (IDM). Este componente actúa como un evaluador predictivo que analiza las modificaciones propuestas por el agente de mejora. Utilizando los datos acumulados de intentos anteriores, el IDM estima las posibles consecuencias de cada cambio. Su capacidad discriminatoria le permite diferenciar entre escenarios donde una tarea resultaría con respuestas incorrectas y aquellos donde la tarea no se completaría en absoluto.

Cuando el modelo predice un empeoramiento potencial, el sistema otorga al agente de IA una oportunidad adicional para revisar y corregir su propuesta antes de someterla a evaluación. Un ejemplo ilustrativo ocurrió durante las pruebas iniciales: el agente propuso instrucciones que quedaron mal colocadas entre comillas, generando un error de sintaxis. Aunque el agente detectó el problema, agotó sus llamadas de herramientas antes de poder corregirlo. El predictor anticipó correctamente que las tareas permanecerían incompletas, motivando una revisión adicional. Tras implementar la corrección de código, la versión mejorada logró resolver exitosamente 11 tareas que anteriormente fallaban.

Resultados de las pruebas experimentales

Los investigadores evaluaron rigorosamente la efectividad del sistema mediante 166 tareas de programación que no habían sido utilizadas ni durante el proceso de mejora ni en la selección de versiones anteriores. Para considerar una tarea como resuelta, el sistema debía proponer una modificación de código que superara satisfactoriamente todas las pruebas asociadas. Los resultados revelaron un progreso incremental pero significativo.

El agente de IA inicial, sin optimizaciones, alcanzó una tasa de éxito aproximada del 16%. Cuando se aplicó HyperAgents sin el nuevo componente de predicción, la mediana de éxito ascendió a cerca del 22%. La introducción del método de predicción de errores elevó esta cifra hasta casi el 30%, representando una mejora sustancial dentro de las condiciones experimentales. Estos números surgieron a partir de cinco ejecuciones independientes por cada configuración probada.

La capacidad de aprendizaje del sistema predictor

Un aspecto particularmente interesante del diseño es que el predictor en sí mismo posee la capacidad de mejorar continuamente. Cada cinco rondas de operación, el agente responsable de las modificaciones propone cambios en el funcionamiento del predictor. Estas alteraciones solo se incorporan permanentemente si superan una verificación de desempeño posterior. Los investigadores además exploraron si la experiencia acumulada por el predictor podría transferirse a dominios completamente diferentes.

Para responder esta pregunta, entrenaron el predictor utilizando tareas de predicción de aceptación de artículos científicos y diseño de sistemas de recompensas para robots simulados. Posteriormente, utilizaron este predictor mejorado para orientar el desarrollo de nuevos agentes encargados de calificar soluciones matemáticas. En una batería de 100 ejercicios reservados exclusivamente para evaluación final, estos agentes coincidieron exactamente con las evaluaciones de expertos humanos en una mediana del 55% de los casos. Este desempeño contrastaba favorablemente con el 51% logrado usando un predictor inicial y el 47% obtenido con HyperAgents sin predicción.

El costo computacional de la mejora

A pesar de los resultados positivos en términos de precisión y rendimiento, existe una consideración importante respecto a los recursos computacionales requeridos. Durante las pruebas de programación, el nuevo método con capacidad de predicción consumió aproximadamente 170 millones de tokens en promedio para completar 40 rondas de mejora. En comparación, HyperAgents sin predicción utilizó alrededor de 49 millones de tokens. Esta diferencia es considerable y representa más del triple del consumo computacional.

Sin embargo, los investigadores encontraron que cuando ambos sistemas operaban bajo restricciones equivalentes de tokens, el método con predicciones mantenía una ventaja consistente en el desempeño. Específicamente, cuando se igualó el presupuesto computacional, el sistema predictivo superó a HyperAgents con una ventaja del 10,9% en medidas de rendimiento acumulado a lo largo del proceso. No obstante, el estudio no proporcionó una comparación exhaustiva del costo computacional total, dejando preguntas abiertas sobre la eficiencia relativa a largo plazo.

Limitaciones y futuras consideraciones

A pesar de los avances demostrados, es crucial reconocer las limitaciones inherentes a este trabajo investigativo. Mientras que los agentes de IA pueden superar pruebas de programación controladas, existe un abismo considerable entre estos escenarios experimentales y la aplicación en proyectos de software real y en producción. El hecho de que este trabajo se presente como prepublicación significa que aún no ha completado el proceso completo de revisión académica por pares.

Los experimentos no proporcionan evidencia concluyente de que el método funcione con idéntica efectividad en entornos complejos del mundo real ni demuestran la eliminación de la necesidad de supervisión humana. Tampoco sugieren que estos agentes de IA puedan reemplazar completamente a ingenieros de software profesionales encargados de desarrollar y revisar código en producción. Lo que sí demuestran es un principio fundamental: la capacidad de anticipar resultados potenciales puede mejorar significativamente la orientación de procesos de modificación automática.

El dilema inicial sobre cómo mejorar software sin introducir nuevos problemas se reexamina desde una perspectiva mejorada. Para que los agentes de IA logren una automejora genuina y confiable, requieren más que simplemente la habilidad técnica de alterar instrucciones y código; necesitan componentes predictivos sofisticados que evalúen las consecuencias antes de la implementación.