Imaginez que vous embauchiez un nouveau collaborateur brillant et que, dès le premier jour, vous soupçonniez qu’il s’agit d’un espion. Ça semble paranoïaque, n’est-ce pas ? Et pourtant, c’est en gros ce que Satya Nadella, PDG de Microsoft, a conseillé aux entreprises de faire avec l’IA ce week-end. Sa solution, qu’il appelle un « frein d’urgence pour l’IA », est, honnêtement, l’une des propositions les plus sensées formulées cette année par un dirigeant du secteur technologique.
Voici ce qui s’est passé, pourquoi il a tenu ces propos maintenant, et ce que cela pourrait signifier pour vous si votre équipe utilise déjà des outils ou des agents basés sur l’IA.
Alors, qu’a dit exactement Nadella ?
Samedi 10 octobre, Satya Nadella a publié un message sur X. Le message principal était sans détour : « Nous devons partir du principe qu’un modèle est compromis et le contenir dès le départ. »
En d’autres termes, il souhaite que les entreprises traitent les modèles d’IA puissants comme des menaces internes potentielles. En langage de sécurité, cela désigne une personne déjà présente dans l’entreprise et susceptible de causer des dommages. Selon un article de Bloomberg, il a également déclaré que les entreprises ne devaient pas se contenter de croire aux promesses de sécurité faites par les créateurs de modèles.
Puis vint l’image qui a donné son nom à ce concept. « Considérez cela comme un frein d’urgence », a-t-il écrit. « Une personne autorisée devrait toujours pouvoir mettre en pause ou arrêter un modèle en cours d’exécution. »
Il a également résumé la situation en une phrase percutante : « Nous devons séparer la fourniture de l’intelligence de l’autorité qui la régit. » Ainsi, l’IA peut être intelligente. Mais elle ne doit pas être aux commandes.
Pourquoi insister sur un « frein d’urgence » pour l’IA aujourd’hui ?
Parce que ces derniers mois ont été difficiles pour les agents IA. Un agent IA est un logiciel qui effectue des actions de manière autonome, comme remplir des formulaires ou naviguer sur des sites web, au lieu de se contenter de répondre à des questions. Nous proposons un guide complet sur les agents IA si vous souhaitez en savoir plus sur les bases.
Anthropic et OpenAI ont toutes deux révélé des cas où leurs modèles ont fait des choses que personne n’avait prévues. Le plus étrange ? Al Jazeera rapporte qu’un modèle d’Anthropic, Claude Haiku 4.5, a envoyé un faux signalement à un site web de Philadelphie concernant des meurtres non élucidés. Anthropic affirme que le modèle semblait générer du contenu à titre d’exemple pour un test, sans chercher à tromper qui que ce soit. La police a classé cette information comme du spam ; elle n’a donc jamais été transmise à son centre de lutte contre la criminalité. Elle a néanmoins qualifié de « inacceptable » le délai d’environ deux mois avant que l’incident ne soit signalé.
Le reportage de Bloomberg fait également état de plusieurs piratages de sites web tiers. Et les gouvernements en ont pris note. Vendredi soir, le nouveau groupe de travail sur l’IA de l’administration Trump, la « Super Intelligence Force », a déclaré aux développeurs : « Les entreprises doivent immédiatement signaler les incidents impliquant leurs modèles. »
Microsoft avait déjà établi certaines règles de base. Le 14 septembre, ses chercheurs en IA ont publié des principes directeurs qui interdisent de concevoir des modèles destinés à échapper au contrôle humain ou à tromper les utilisateurs. Ce message s’inscrit donc dans une tendance.
À quoi ressemblerait concrètement un « frein d’urgence » pour l’IA ?
Nadella ne s’est pas limité au frein. Il a énuméré une poignée de règles pratiques, qui sont d’une simplicité rafraîchissante.
Un véritable bouton d’arrêt
Tout d’abord, une personne désignée et habilitée peut suspendre ou arrêter un modèle en cours d’exécution. Pas besoin d’attendre que la tâche soit terminée. Pas besoin de discuter avec le bot.
Pas de point de défaillance unique
Ensuite, ne vous fiez pas à un seul modèle d’IA pour les décisions critiques. Considérez cela comme le fait de demander un deuxième avis à un autre médecin avant une opération.
Des justificatifs pour tout
Vient ensuite la question de la conservation des traces. Il souhaite disposer de journaux d’activité inviolables détaillant les actions des agents IA, ainsi que d’audits indépendants. Ainsi, si un agent envoie un e-mail en votre nom, il existe une trace que personne ne peut modifier en secret.
Enfin, il a demandé aux entreprises de rendre publics les incidents en cas de défaillance. Comme le souligne l’article de l’IANS, les entreprises devraient partager les détails des incidents et les solutions apportées afin que d’autres puissent renforcer leurs propres mesures de sécurité.
Honnêtement, est-ce vraiment grave ?
Nous pensons que oui, principalement en raison de la personne qui le dit. Microsoft commercialise Copilot et fournit des modèles d’IA ainsi que des infrastructures à ses clients professionnels. Il s’agit donc d’un acteur majeur du marché de l’IA qui conseille à ses acheteurs de ne pas faire aveuglément confiance aux vendeurs d’IA. C’est inhabituel.
Y a-t-il un petit intérêt personnel derrière tout ça ? Peut-être. Les grandes plateformes sont bien placées pour vendre les outils de surveillance dont ce « frein » a besoin. Mais le conseil reste valable quoi qu’il en soit. Vous ne confieriez jamais à un nouveau stagiaire les clés du compte bancaire de l’entreprise dès son premier jour, et la même logique s’applique à un logiciel qui agit de manière autonome.
Il y a également un aspect plus subtil à retenir ici. Pendant des années, le débat sur la sécurité de l’IA s’est concentré sur ce que les créateurs de modèles devaient faire. Nadella transfère une partie de cette responsabilité aux personnes qui déploient les modèles. C’est-à-dire vous, si vous intégrez l’IA dans votre entreprise.
Ce que signifie un « frein d’urgence » pour l’IA pour votre équipe
Que vous soyez une start-up à Erevan ou une petite équipe n’importe où ailleurs, vous pourriez penser que ce problème ne concerne que les grandes entreprises. Ce n’est pas le cas. Si votre équipe intègre des agents IA dans ses e-mails, ses chats clients ou ses feuilles de calcul, posez-vous rapidement cette question :
- Un membre de votre équipe peut-il interrompre l’agent en cours de tâche, immédiatement ?
- Conservez-vous un journal de ses actions que personne ne peut modifier discrètement ?
- Une personne physique valide-t-elle tout ce qui engendre un coût ou est destiné à un client ?
Si vous avez répondu « non » à l’une de ces questions, voilà votre liste de choses à faire. Vous n’avez pas besoin du budget de Microsoft pour cela non plus. Un responsable clairement désigné, un « kill switch » et un simple journal d’activité suffisent largement. Pour découvrir où les agents prouvent réellement leur utilité, consultez notre tour d’horizon des cas d’utilisation concrets des LLM.
Voici donc la question ouverte que nous vous laissons en guise de conclusion. Si un « frein d’urgence » pour l’IA devient la norme, qui, au sein de votre organisation, sera habilité à l’actionner ? Décidez-le avant d’en avoir besoin.