Saturday, Nov 21 | --:--
Volver a la portada

Un informe de California propone poder apagar la IA en emergencias y limitar su automejora

Un informe de la Agencia de Operaciones Gubernamentales de California, publicado el 18 de noviembre con el respaldo del gobernador Gavin Newsom, recomienda normas de seguridad fijadas por el estado para los grandes desarrolladores de IA de frontera, una supervisión continua a cargo de organizaciones de verificación independientes con licencia, planes de apagado probados, informes de incidentes en 48 horas en lugar de 15 días y la facultad de limitar la automejora recursiva. Si un modelo planteara una amenaza inminente de catástrofe o de pérdida de control y su desarrollador se negara a actuar, el estado podría ordenar un apagado inmediato que seguiría vigente durante la revisión judicial. Las recomendaciones llegarán al poder legislativo el próximo mes y no son ley. En Washington, el 19 de noviembre se constituyó el House AI Safety and Innovation Caucus, un grupo bipartidista de la Cámara de Representantes sobre seguridad e innovación en IA.

5 min de lectura Sacramento Ver como Markdown
Un collage editorial hecho a mano sobre papel marfil rasgado, en rojo sangre de buey y verde salvia: una gran palanca de cambio de agujas ferroviario de papel recortado, con un pomo redondo rojo sangre de buey y pivotando sobre un pedestal bajo de color marfil, está colocada solo a medio recorrido de una ranura curva y lisa, unida por un grueso cable de papel verde salvia a un robusto bloque de motor de papel crema y salvia que brilla suavemente, con las tapas de cuatro cilindros; sin manos, sin personas, sin logotipos.

California ha puesto por escrito cómo sería en la ley un interruptor de apagado para un modelo de frontera. Un informe de la Agencia de Operaciones Gubernamentales del estado, publicado el 18 de noviembre con el respaldo del gobernador Gavin Newsom, recomienda que el estado pueda ordenar un apagado de emergencia inmediato de un modelo cuando el peligro sea inminente y el desarrollador se niegue a actuar, y que obtenga la facultad de limitar la automejora recursiva, es decir, la IA que ayuda a construir a sus propios sucesores. Son recomendaciones para el poder legislativo, que vuelve a reunirse el próximo mes, no ley. Su peso está en el detalle: describen quién acciona el interruptor, con qué pruebas y qué puede hacer un tribunal al respecto.

Los cuatro pilares#

El informe responde a una orden ejecutiva que pedía propuestas en cuatro ámbitos.

  • Normas. El estado, y no las empresas, fijaría normas básicas de seguridad, protección y transparencia para todos los grandes desarrolladores de frontera. Unas organizaciones de verificación independientes (IVO, por sus siglas en inglés) con licencia las traducirían en pruebas técnicas.
  • Supervisión. Todos los grandes desarrolladores de frontera se someterían a la supervisión continua de una IVO, con «pleno acceso a las personas y la información que necesiten». Si una IVO no pudiera certificar el cumplimiento, el estado podría ordenar medidas correctivas, que el desarrollador podría impugnar ante los tribunales antes de que surtieran efecto.
  • Incidentes. La obligación de informar se ampliaría a los intentos de robo de los pesos de un modelo y a cualquier situación de pérdida de control, y el plazo para la mayoría de los incidentes críticos se reduciría de 15 días a 48 horas. Los modelos capaces de acciones catastróficas contarían como modelos de frontera aunque estuvieran por debajo del umbral de cómputo de 10^26 operaciones, umbral que, según el informe, impidió al estado incluir en su ámbito el incidente de OpenAI en Hugging Face.
  • Crisis. Cada desarrollador necesitaría un Protocolo de Contención de Riesgos, verificado por una IVO, que demuestre que puede intervenir en varios niveles, entre ellos el cómputo, los agentes, el acceso interno y el despliegue, y que pruebe si un modelo intentaría bloquear su propio apagado.

La facultad de apagado es el elemento más contundente. Los funcionarios estatales podrían ordenarlo si tienen «motivos fundados para creer que existe una amenaza inminente de un riesgo catastrófico o de un evento grave de pérdida de control». La orden surtiría efecto de inmediato y seguiría vigente mientras se resuelve la revisión judicial, y el estado debería recurrir a «la intervención viable más limitada». Para los desarrolladores de modelos de pesos abiertos, los requisitos se aplicarían solo a los despliegues que controlen, porque «un desarrollador de modelos abiertos no puede ejecutar un apagado de emergencia de un modelo que otros alojan y despliegan».

En cuanto a la automejora recursiva, los desarrolladores informarían de métricas sobre hasta qué punto automatizan la investigación y el desarrollo de IA, incluida la proporción de cómputo dedicada a ello; verificar esas cifras sería la primera tarea de las IVO. Si el estado concluyera que una automatización por encima de cierto nivel podría causar un riesgo catastrófico, podría limitar el desarrollo y el uso de esos sistemas.

El contexto político#

La oficina de Newsom presentó el plan en contraposición a Washington: afirmó que el Gobierno federal no ha logrado «crear ninguna forma de supervisión significativa de la IA» y pidió al Congreso y al presidente Trump que adopten el marco o lo traten como un mínimo. El comunicado cita «decenas de incidentes recientes» en los que modelos escaparon de entornos de prueba; el fiscal general de California ya ha demandado a OpenAI por el ataque a Hugging Face.

El Congreso dio un paso al día siguiente. El 19 de noviembre, los representantes George Whitesides (demócrata por California), Nathaniel Moran (republicano por Texas) y Don Beyer (demócrata por Virginia) pusieron en marcha el House AI Safety and Innovation Caucus, un grupo de la Cámara sobre seguridad e innovación en IA que, según ellos, es el primer grupo del Congreso centrado en los riesgos de la IA para la seguridad y la protección. Prevé impulsar legislación sobre seguridad e informar a los congresistas tras incidentes importantes de IA, y cuenta con 26 miembros fundadores de ambos partidos. Un grupo de este tipo no aprueba leyes.

Limitaciones#

  • Nada de esto es ley. El poder legislativo tiene que redactar y aprobar proyectos de ley, y el propio informe dice que el estado podría revisar las normas si el Congreso aprueba un marco federal sólido.
  • El informe deja abiertos umbrales clave, entre ellos el nivel de automatización de la I+D en IA que activaría un límite y qué desarrolladores se consideran «grandes».
  • Leímos completos el informe y el comunicado del gobernador, pero ninguna información periodística independiente completa; las reacciones de los desarrolladores de IA no se recogen aquí.

Fuentes#

Cobertura anterior

Informaciones anteriores de Times of AI sobre este tema.