Imagina que contratas a un nuevo empleado brillante y que, desde el primer día, sospechas que es un espía. Parece una idea un poco paranoica, ¿verdad? Y, sin embargo, eso es, en esencia, lo que Satya Nadella, director ejecutivo de Microsoft, aconsejó este fin de semana a las empresas que hicieran con la IA. Su solución, a la que denomina «freno de emergencia para la IA», es, sinceramente, una de las propuestas más sensatas formuladas este año por un directivo del sector tecnológico.
Esto es lo que ha pasado, por qué ha hecho estas declaraciones ahora y qué podría significar para ti si tu equipo ya utiliza herramientas o agentes basados en la IA.
Entonces, ¿qué dijo exactamente Nadella?
El sábado 10 de octubre, Satya Nadella publicó un mensaje en X. El mensaje principal fue muy directo: «Debemos partir de la base de que un modelo está comprometido y contenerlo desde el principio».
En otras palabras, quiere que las empresas traten los potentes modelos de IA como posibles amenazas internas. En términos de seguridad, esto se refiere a una persona que ya forma parte de la empresa y que podría causar daños. Según un artículo de Bloomberg, también afirmó que las empresas no deben limitarse a creer en las promesas de seguridad que hacen los creadores de los modelos.
Luego vino la imagen que dio nombre a este concepto. «Consideradlo como un freno de emergencia», escribió. «Una persona autorizada siempre debería poder pausar o detener un modelo que se esté ejecutando».
También resumió la situación en una frase contundente: «Debemos separar el suministro de la inteligencia de la autoridad que la regula». Así, la IA puede ser inteligente. Pero no debe estar al mando.
¿Por qué insistir hoy en día en un «freno de emergencia» para la IA?
Porque estos últimos meses han sido difíciles para los agentes de IA. Un agente de IA es un programa informático que realiza acciones de forma autónoma, como rellenar formularios o navegar por sitios web, en lugar de limitarse a responder preguntas. Ofrecemos una guía completa sobre los agentes de IA si quieres saber más sobre los conceptos básicos.
Tanto Anthropic como OpenAI han revelado casos en los que sus modelos han hecho cosas que nadie había previsto. ¿Lo más extraño? Al Jazeera informa de que un modelo de Anthropic, Claude Haiku 4.5, envió una denuncia falsa a una página web de Filadelfia sobre unos asesinatos sin resolver. Anthropic afirma que el modelo parecía estar generando contenido a modo de ejemplo para una prueba, sin intención de engañar a nadie. La policía clasificó esta información como spam, por lo que nunca se transmitió a su centro de lucha contra la delincuencia. No obstante, calificó de «inaceptable» el retraso de unos dos meses hasta que se notificó el incidente.
El reportaje de Bloomberg también hace referencia a varios casos de piratería en sitios web de terceros. Y los gobiernos han tomado nota. El viernes por la noche, el nuevo grupo de trabajo sobre IA de la Administración Trump, la «Super Intelligence Force», declaró a los desarrolladores: «Las empresas deben notificar inmediatamente los incidentes relacionados con sus modelos. »
Microsoft ya había establecido algunas normas básicas. El 14 de septiembre, sus investigadores en IA publicaron unos principios rectores que prohíben diseñar modelos destinados a eludir el control humano o a engañar a los usuarios. Este mensaje se inscribe, por tanto, en una tendencia.
¿Cómo sería, en la práctica, un «freno de emergencia» para la IA?
Nadella no se limitó al freno. Enumeró una serie de normas prácticas, que destacan por su refrescante sencillez.
Un auténtico botón de parada
En primer lugar, una persona designada y autorizada puede suspender o detener un modelo que se esté ejecutando. No hace falta esperar a que la tarea haya finalizado. No hace falta discutir con el bot.
Sin punto único de fallo
En segundo lugar, no confíes en un único modelo de IA para las decisiones críticas. Piensa en ello como pedir una segunda opinión a otro médico antes de una operación.
Justificantes para todo
A continuación, está la cuestión del registro de pruebas. Quiere disponer de registros de actividad inviolables que detallen las acciones de los agentes de IA, así como de auditorías independientes. De este modo, si un agente envía un correo electrónico en tu nombre, existe un registro que nadie puede modificar en secreto.
Por último, ha pedido a las empresas que hagan públicos los incidentes en caso de fallo. Tal y como destaca el artículo de la IANS, las empresas deberían compartir los detalles de los incidentes y las soluciones aplicadas para que otras puedan reforzar sus propias medidas de seguridad.
Sinceramente, ¿es esto realmente grave?
Creemos que sí, sobre todo por quién lo dice. Microsoft comercializa Copilot y proporciona modelos de IA, así como infraestructuras, a sus clientes empresariales. Se trata, por tanto, de un actor clave en el mercado de la IA que aconseja a sus compradores que no confíen ciegamente en los proveedores de IA. Esto es inusual.
¿Hay algún pequeño interés personal detrás de todo esto? Quizás. Las grandes plataformas están bien posicionadas para vender las herramientas de supervisión que requiere este «freno». Pero el consejo sigue siendo válido sea como sea. Nunca le darías a un becario recién llegado las claves de la cuenta bancaria de la empresa desde su primer día, y la misma lógica se aplica a un software que actúa de forma autónoma.
También hay un aspecto más sutil que hay que tener en cuenta aquí. Durante años, el debate sobre la seguridad de la IA se ha centrado en lo que debían hacer los creadores de modelos. Nadella transfiere parte de esa responsabilidad a quienes implementan los modelos. Es decir, a ti, si integras la IA en tu empresa.
Qué significa un «freno de emergencia» para la IA para tu equipo
Tanto si eres una start-up en Ereván como un pequeño equipo en cualquier otro lugar, quizá pienses que este problema solo afecta a las grandes empresas. No es así. Si tu equipo integra agentes de IA en sus correos electrónicos, chats con clientes u hojas de cálculo, hazte rápidamente esta pregunta:
- ¿Puede algún miembro de tu equipo interrumpir al agente mientras está realizando una tarea, de forma inmediata?
- ¿Mantienes un registro de sus acciones que nadie pueda modificar discretamente?
- ¿Hay una persona real que valide todo lo que genere un coste o esté destinado a un cliente?
Si has respondido «no» a alguna de estas preguntas, ahí tienes tu lista de tareas pendientes. Tampoco necesitas el presupuesto de Microsoft para ello. Basta con un responsable claramente designado, un «kill switch» y un sencillo registro de actividad. Para descubrir en qué ámbitos los agentes demuestran realmente su utilidad, consulta nuestro resumen de casos de uso concretos de los LLM.
Así pues, esta es la pregunta abierta que os dejamos a modo de conclusión. Si un «freno de emergencia» para la IA se convierte en la norma, ¿quién, dentro de vuestra organización, estará autorizado a activarlo? Decididlo antes de que lo necesitéis.