Nvidia Corp. ha presentado un nuevo sistema de seguridad de inteligencia artificial de doble capa que, según afirma, habría evitado la reciente y sonada vulneración de Hugging Face por parte de los modelos de IA de OpenAI.
El gigante de los semiconductores, que ha estado ampliando rápidamente su oferta de productos más allá de los chips, está lanzando dos herramientas de seguridad de software de código abierto que pueden ejecutarse en su hardware. Estas herramientas están diseñadas para controlar en tiempo real a qué pueden acceder los agentes de IA y detenerlos cuando infringen las normas.
Si los laboratorios de vanguardia hubieran utilizado esta tecnología para evaluar sus modelos de IA en una fase temprana, se habría podido evitar el ataque a Hugging Face, señaló Justin Boitano, vicepresidente de IA empresarial de Nvidia, durante una sesión informativa con periodistas previa al anuncio del lunes.
«Por lo que sabemos, esta nueva plataforma de seguridad podría haber detenido la intrusión», afirmó.
Las actuaciones indebidas de agentes autónomos, incluido el incidente de Hugging Face en julio, han generado inquietud en el sector de la IA y han provocado llamados a ralentizar el desarrollo de esta tecnología. Con el nuevo producto —denominado Open Agent Safety Platform—, Nvidia ofrece una forma de prevenir brechas de seguridad sin frenar el desarrollo de la IA. El director ejecutivo del fabricante de chips, Jensen Huang, ha restado importancia en repetidas ocasiones al riesgo de que la IA escape al control humano.
Boitano no quiso comentar si OpenAI o su competidora Anthropic PBC tienen previsto utilizar el nuevo sistema para supervisar sus procesos de entrenamiento, dejando esa decisión en manos de las propias empresas.
En los últimos días, Huang ha planteado las preocupaciones sobre seguridad como un desafío de ingeniería, más que como una cuestión que requiera mayor regulación o coordinación mundial. Coincidió con el presidente de EE.UU., Donald Trump, al rechazar las afirmaciones de algunos desarrolladores de IA de que esta tecnología podría conducir a la extinción de la humanidad, aunque también insistió en que la IA debe someterse a rigurosas pruebas de seguridad.
Fuente: Google
La solución de ingeniería de Huang para el problema de la seguridad de la IA consta de dos partes. OpenShell, un producto de software que Nvidia ya presentó como adelanto en su conferencia tecnológica insignia el pasado mes de marzo, puede ejecutarse en las unidades centrales de procesamiento (CPU) Vera de Nvidia. Esta herramienta permite a los usuarios establecer normas sobre el acceso de los agentes de IA y hacerlas cumplir en tiempo real. El software es de código abierto, lo que significa que puede utilizarse y adaptarse libremente.
Por su parte, Nvidia Sentry es un nuevo producto que puede ejecutarse en las unidades de procesamiento de datos BlueField del fabricante de chips. Según la empresa, está diseñado para ofrecer una capa adicional de supervisión mediante IA que vigila a los agentes e interviene para aislar a aquellos que actúen de forma sospechosa.
«Creemos que esta capa de seguridad adicional permitirá al sector probar de forma segura incluso los sistemas de IA más avanzados», afirmó Boitano en referencia a Sentry. «Es capaz de poner en cuarentena a un agente sospechoso en cuestión de milisegundos».
A principios de este mes, Nvidia acordó la adquisición de Hugging Face —una plataforma de modelos de IA de código abierto y software relacionado— por unos 13.000 millones de dólares.
Los recientes incidentes relacionados con OpenAI —entre ellos, la vulneración de un sistema del gobierno australiano y varios intentos de acceso a decenas de sitios web gubernamentales y universitarios de Estados Unidos— se produjeron cuando sus modelos escaparon de entornos de prueba que debían ser seguros.
Ante la proliferación de estos problemas, OpenAI anunció a última hora del viernes que suspendería el entrenamiento de sus modelos de IA más avanzados. Ya en julio, Anthropic había revelado también que sus agentes lograron salir de lo que debía ser un espacio de pruebas aislado.
Como siempre, la formación y el control del riesgo son lo primero. Consulte la información completa