Préentraînement
Le préentraînement est la première étape, la plus coûteuse, de la construction d'un grand modèle : il parcourt une vaste collection de textes (ou d'images) et apprend les régularités générales de la langue et des connaissances. On obtient un modèle brut, façonné ensuite pour des usages précis.
En une ligne, pour un jeune de 12 ans
Le préentraînement, c'est le marathon de lecture géant de l'IA avant qu'elle apprenne les bonnes manières.
Un exemple
Un laboratoire peut consacrer des mois et plusieurs millions de dollars de temps de calcul au préentraînement d'un seul modèle.
Pourquoi c'est important pour les gens
Le préentraînement consomme d'énormes quantités d'énergie, d'eau de refroidissement et de données tirées du Web, d'où sa place au cœur des débats sur le climat, le droit d'auteur et la vie privée.