Saturday, Nov 21 | --:--
Volver a la portada

METR: la IA duplica su horizonte cada 3,6 meses, pero los agentes juzgan peor que expertos

La organización sin fines de lucro de evaluación METR dijo el 20 de noviembre que, entre su antiguo conjunto TH1.1 y un nuevo conjunto TH2, más difícil, la duración de las tareas que los agentes de frontera completan la mitad de las veces se duplica aproximadamente cada 3,61 meses (IC del 95 %: de 2,08 a 4,94). Con un análisis que abarca modelos públicos hasta Claude Opus 5.5 y GPT-6 Astra, METR afirma que la evidencia actual no basta para descartar una aceleración drástica de la I+D en IA en los próximos dos años, y constata que los agentes tienen peor criterio que los expertos humanos en tareas sin una retroalimentación clara. La mayoría de las duraciones de las tareas son estimaciones.

5 min de lectura Berkeley Ver como Markdown
Un collage editorial hecho a mano sobre papel marfil rasgado, en rojo sangre de buey y salvia: cinco cadenas de papel de grandes eslabones entrelazados en salvia, crema y rojo sangre de buey cuelgan una junto a otra de una fina varilla de madera, cada una más larga que la anterior, y la de la derecha casi llega abajo, con su último eslabón rasgado y deshilachado; un logotipo oficial de METR está pegado en un recorte de papel rasgado cuya esquina inferior izquierda queda metida bajo una capa de papel marfil rasgado, que proyecta una sombra suave sobre el recorte, con el logotipo completo a la vista.

El evaluador más conocido por el gráfico del «horizonte temporal» ha dejado de sostener que los modelos actuales son demasiado débiles para preocuparse. En una actualización de capacidades publicada el 20 de noviembre, METR afirma que los modelos públicos tienen ya habilidades de programación y de hacking lo bastante sólidas como para que «ya no» crea que puede argumentar que el riesgo es muy bajo solo por su falta de capacidad en tareas de software verificables. Su nueva línea de tendencia sigue subiendo; el punto débil que encontró es el criterio.

La tendencia#

METR evaluó modelos públicos hasta Claude Opus 5.5 y GPT-6 Astra. Entre su antiguo conjunto TH1.1 y un nuevo conjunto TH2, más difícil, los horizontes temporales —la duración, medida en tiempo humano, de las tareas que un modelo completa con un 50 % de éxito— se duplican aproximadamente cada 3,61 meses (intervalo de confianza del 95 %: de 2,08 a 4,94), es decir, cada 110 días. Es una cifra cercana a la duplicación cada 105 días que METR había informado antes solo para TH1.1. Extrapolada de forma ingenua, la tendencia alcanza el umbral de puntuación más largo de METR, 200 horas, en julio de 2027, según el informe.

En las pruebas más antiguas, el techo ya está cerca. METR dice que los modelos saturaron TH1.1, que incluye tareas de hasta 30 horas, en el plazo de un año desde el lanzamiento de la métrica en marzo de 2025, y que los modelos de frontera actuales alcanzan un horizonte temporal estimado de hasta 27 horas en la parte verificable de TH2. En las tres tareas para las que METR intentó reclutar referencias humanas, los modelos superaron a las personas que encontró.

De ahí se desprende la conclusión principal: METR afirma que la evidencia pública actual no basta para descartar una «aceleración drástica de la I+D en IA» en los próximos dos años, es decir, que las capacidades mejoren tan rápido que los humanos ya no puedan entender, evaluar y reaccionar de forma significativa ante los riesgos catastróficos de los nuevos sistemas. Dice que sigue teniendo una incertidumbre considerable sobre qué capacidades hacen falta para ello y a qué ritmo mejoran. METR añade que la tendencia combinada es similar a la que OpenAI informó recientemente sobre sus propias tareas internas de investigación.

Dónde se quedan cortos los agentes#

En tareas que exigen tomar decisiones sin una retroalimentación empírica clara, METR concluye que los agentes de IA parecen tener peor criterio que los expertos humanos. En una tarea, los modelos que actuaban como jueces sobrevaloraron, en comparación con un evaluador experto, los resultados producidos por modelos de potencia similar o superior.

MIT Technology Review, que entrevistó a investigadores externos, informa de que ninguna de las evaluaciones diseñadas por IA en una tarea de TH2 fue lo bastante buena para que el personal de METR la considerara útil, y de que los modelos tampoco alcanzaron el desempeño humano al puntuar argumentos filosóficos. Opus 5.5 llegó a lo que METR denomina «en el límite, por encima del listón» en la tarea de diseño de evaluaciones, frente al «claramente por debajo del listón» de todos los modelos hace un año, según la revista. Sayash Kapoor, que se incorporará como profesor a UC Berkeley, le dijo: «Estamos en un punto en que las evaluaciones de IA tienen que ser más creativas».

Nuestra lectura: la tasa de duplicación es la cifra que circulará, pero la brecha de criterio es la que importa para automatizar la investigación, y se apoya en los datos más escasos del informe.

Limitaciones#

  • TH2 tiene 36 tareas en 12 familias, y pocas dependen mucho del criterio, así que las conclusiones sobre el criterio se basan en una muestra pequeña.
  • La mayoría de las duraciones de las tareas de TH2 son estimaciones y no intentos humanos cronometrados, informa MIT Technology Review, y en la tarea de filosofía una sola persona calificó la mayoría de los argumentos.
  • El intervalo de confianza del tiempo de duplicación es amplio, y METR dice que la extrapolación es ingenua.
  • METR tiene acuerdos de evaluación con acceso profundo con OpenAI; este informe solo abarca modelos públicos.

Fuentes#

Cobertura anterior

Informaciones anteriores de Times of AI sobre este tema.