Les Small Language Models (SLM), ou modèles de langage légers, sont des versions réduites et optimisées des Large Language Models (LLM). Ils sont conçus pour offrir des performances similaires à leurs homologues plus volumineux, tout en nécessitant moins de ressources informatiques et de stockage.
Les SLM sont créés par un processus de distillation à partir d'un LLM existant. Cette technique consiste à transférer les connaissances du modèle plus grand vers un modèle plus petit, en préservant autant que possible ses capacités. L'objectif est d'obtenir un modèle plus efficace et flexible, capable de fonctionner sur des appareils moins puissants ou dans des environnements avec des contraintes de ressources.
Les avantages des SLM incluent :
- Une empreinte mémoire réduite
- Des temps d'inférence plus rapides
- Une consommation d'énergie moindre
- Une plus grande facilité de déploiement sur des appareils mobiles ou embarqués
Un exemple d'application pratique des SLM pourrait être un assistant virtuel intégré à une application mobile, capable de comprendre et de générer du texte de manière fluide, tout en fonctionnant entièrement sur l'appareil de l'utilisateur sans nécessiter de connexion à un serveur distant.
Les SLM s'inscrivent dans une tendance plus large de l'IA frugale ou IA économe, qui vise à développer des solutions d'intelligence artificielle plus durables et accessibles. Ils sont particulièrement pertinents dans des domaines tels que l'edge computing, l'IoT (Internet des Objets), et les applications nécessitant une confidentialité accrue des données.
