OpenAI y Anthropic acuerdan probar sus modelos antes de su lanzamiento público

OpenAI y la empresa rival Anthropic firmaron un acuerdo con el gobierno de EE. UU. para probar nuevos modelos antes de su lanzamiento al público.

El jueves, el Instituto Nacional de Estándares y Tecnología (NIST) anunció que su Instituto de Seguridad de la IA supervisará la “investigación, prueba y evaluación de la seguridad de la IA” con ambas empresas. “Estos acuerdos son sólo el comienzo, pero son un hito importante a medida que trabajamos para ayudar a gestionar el futuro de la IA de manera responsable”, dijo en el anuncio Elizabeth Kelly, directora del AI Safety Institute.

No es ningún secreto que la IA generativa plantea riesgos de seguridad. Su tendencia a generar inexactitudes y desinformación, permitir comportamientos dañinos o ilegales y reforzar la discriminación y los prejuicios está bien documentada en este momento. OpenAI tiene sus propias pruebas de seguridad internas, pero ha mantenido en secreto cómo funcionan sus modelos y cómo se entrenan. Este es el primer ejemplo de cómo OpenAI abre el acceso a la investigación y la rendición de cuentas de terceros. Altman y OpenAI han comentado sobre la necesidad de regular y estandarizar la IA. Pero los críticos dicen que la voluntad de cooperar con el gobierno es un estrategia para que OpenAI pueda regularse favorablemente y eliminar la competencia.

“Por muchas razones, creemos que esto debería suceder a nivel nacional. ¡Estados Unidos debe seguir liderando!”. se coloca El director ejecutivo de OpenAI, Sam Altman, en X.

Un tweet se puede eliminar

La asociación formal con el NIST se basa en la orden ejecutiva de IA de la Administración Biden firmada en octubre pasado. Entre otros poderes que varias agencias federales han utilizado para garantizar el despliegue seguro y responsable de la IA, la orden exige que las empresas de IA den al NIST acceso a una marca roja antes de lanzar un modelo de IA.

El anuncio también decía que compartirá hallazgos y comentarios en colaboración con el Instituto de Seguridad de IA del Reino Unido.