Un petit modèle linguistique est exactement ce que son nom indique. Il s’agit d’un système d’IA compact capable de comprendre et de générer du texte. Cependant, il utilise bien moins de paramètres qu’un modèle géant. Il est donc plus rapide et moins coûteux. De plus, il peut fonctionner sur du matériel courant. L’intérêt pour ces systèmes compacts a fortement augmenté au cours de l’année écoulée. Ce guide explique le fonctionnement d’un petit modèle linguistique. Il présente également les points forts et les limites de ces modèles.
Qu’est-ce qu’un petit modèle linguistique ?
Un petit modèle linguistique, ou SLM (Small Language Model), apprend les schémas linguistiques à partir de données. Il prédit ensuite le mot suivant dans une phrase. Les systèmes plus volumineux font la même chose à très grande échelle. En revanche, un SLM conserve délibérément une taille modeste. Bon nombre de modèles populaires comptent quelques milliards de paramètres, voire moins. Certains en comptent même moins d’un milliard.
Mais « plus petit » ne signifie pas « moins performant ». Un entraînement minutieux rend ces modèles particulièrement performants pour des tâches ciblées. Par exemple, un modèle peut être doué pour résumer des e-mails, tandis qu’un autre peut répondre facilement à des questions sur des produits. Pour revoir les bases, notre guide sur les modèles d’IA explique comment un logiciel apprend et fonctionne. En bref, un SLM sacrifie l’étendue de ses capacités au profit de la vitesse et de l’efficacité.
Petits modèles linguistiques vs grands modèles linguistiques
La différence entre les deux réside essentiellement dans leur échelle. Un grand modèle linguistique peut contenir des centaines de milliards de paramètres. Il nécessite donc des serveurs puissants et une grande quantité d’énergie. Un petit modèle linguistique, en revanche, reste léger. Il fonctionne sur un ordinateur portable, un téléphone ou une instance cloud modeste.
Le coût constitue une autre différence notable. Les grands modèles facturent plus cher par requête et répondent plus lentement. À l’inverse, les modèles compacts répondent rapidement et ne coûtent que quelques centimes. Bien sûr, les plus grands systèmes restent les plus performants pour les tâches les plus complexes et les plus vastes. Pour comprendre le fonctionnement interne de ces géants, consultez notre explication sur l’architecture des grands modèles linguistiques. Pour la plupart des tâches spécifiques, cependant, un modèle plus petit suffit amplement.
Comment l’IA embarquée exécute un petit modèle linguistique
L’IA sur appareil signifie que le modèle s’exécute directement sur votre appareil. En d’autres termes, c’est votre téléphone ou votre ordinateur portable qui effectue le traitement. Il n’envoie pas vos requêtes vers un serveur distant. Par conséquent, les réponses semblent instantanées. De plus, vos données personnelles restent chez vous.
Pour y parvenir, les développeurs réduisent la taille des modèles. Tout d’abord, ils suppriment les paramètres superflus grâce à l’élagage. Ensuite, ils simplifient les calculs mathématiques par quantification. Le modèle tient alors dans une mémoire limitée. Cette approche s’accorde parfaitement avec l’IA en périphérie, où le traitement s’effectue à proximité de l’utilisateur. Comme aucune donnée ne quitte l’appareil, l’IA sur appareil favorise également la confidentialité et l’utilisation hors ligne.
Dans quels cas l’IA SLM apporte-t-elle le plus de valeur ?
L’IA SLM est particulièrement adaptée lorsque la tâche reste ciblée et claire. Les chatbots destinés aux clients en sont un excellent exemple. Ils répondent toute la journée à un ensemble fixe de questions. Un petit modèle suffit à gérer cette charge à moindre coût. De plus, il répond sans délai.
La classification de textes et la rédaction simple constituent d’autres applications particulièrement adaptées. Les appareils domotiques tirent également parti d’un modèle local. Parallèlement, les usines utilisent l’IA SLM pour analyser les journaux des capteurs sur site. Même les outils de programmation intègrent des modèles compacts pour fournir des conseils rapides. Ainsi, les équipes déploient des fonctionnalités utiles plus rapidement et à moindre coût. Dans chaque cas, la spécialisation l’emporte sur la taille.
Aperçu de la manière dont les SLM deviennent plus compacts
Deux astuces principales permettent de conserver la compacité de ces modèles. La distillation vient en premier lieu. Ici, un grand modèle transmet ses meilleures pratiques à un modèle plus petit. Le modèle « élève » imite alors le modèle « enseignant » tout en ne représentant qu’une fraction de sa taille. La quantification vient ensuite. Cette méthode stocke les nombres avec moins de détails. Le modèle utilise ainsi beaucoup moins de mémoire.
Ces deux astuces préservent la majeure partie de la précision. Parallèlement, elles réduisent considérablement les coûts matériels. Les équipes peuvent désormais faire fonctionner des assistants performants hors ligne. Ainsi, les coûts et la confidentialité s’améliorent simultanément. Grâce à cet équilibre, les petits modèles ne cessent de s’améliorer d’année en année. Les développeurs intègrent désormais des capacités surprenantes dans de minuscules fichiers. En effet, certains modèles, plus petits qu’un fichier musical, sont capables de mener une véritable conversation.
Compromis et limites des petits modèles linguistiques
Les petits modèles présentent de réelles limites. Ils ont une connaissance globalement moins étendue du monde. Ils peuvent donc buter sur des questions générales ou complexes. Ils peuvent également passer à côté de faits rares qu’un modèle plus grand serait capable de rappeler. En bref, une expertise ciblée implique un champ d’application restreint.
La précision mérite également une attention particulière. Un modèle compact peut paraître sûr de lui tout en commettant des erreurs. Les équipes testent donc les résultats avant de s’y fier. Hugging Face héberge de nombreux modèles ouverts que vous pouvez comparer vous-même sur Hugging Face. Néanmoins, pour une tâche adaptée, le compromis en vaut la peine. La rapidité, la confidentialité et le faible coût l’emportent souvent sur une légère perte d’étendue.
Comment se lancer avec de petits modèles linguistiques
Se lancer est plus facile que beaucoup ne le pensent. Tout d’abord, choisissez une tâche claire et bien ciblée que vous souhaitez résoudre. Ensuite, parcourez une bibliothèque de modèles ouverts et sélectionnez une option compacte. Enfin, testez-la sur des exemples concrets tirés de votre travail.
Testez plusieurs modèles et comparez leurs réponses. Certains outils vous permettent d’exécuter un modèle sur votre ordinateur portable en quelques minutes. Microsoft Research, par exemple, met à disposition des modèles compacts conçus pour cet usage. Les petits modèles linguistiques mettent une IA utile à la portée de presque tout le monde. En outre, ils permettent de limiter les coûts et de conserver les données à portée de main. Surtout, adaptez le modèle à la tâche qui vous attend. Commencez modestement, évaluez les résultats, puis progressez à partir de là.