Distillation
La distillation entraîne un petit modèle « élève » à imiter les réponses d'un plus grand modèle « maître ». L'élève est moins coûteux et plus rapide, tout en conservant une bonne part des compétences du maître pour les tâches courantes.
En une ligne, pour un jeune de 12 ans
La distillation, c'est une grande IA qui donne des cours à une petite jusqu'à ce qu'elle soit presque aussi bonne.
Un exemple
Une entreprise propose une version « mini » ou « flash » de son modèle, distillée à partir de son modèle phare.
Pourquoi c'est important pour les gens
Des modèles moins chers rendent l'IA accessible à plus de gens et d'organisations. Distiller le modèle d'un concurrent sans permission est toutefois contesté et peut violer ses conditions.