Quantification
La quantification enregistre les paramètres d'un modèle avec moins de chiffres de précision, ce qui le rend beaucoup plus petit et rapide, avec une faible perte de qualité. C'est ainsi qu'on fait tenir de grands modèles ouverts sur des portables et des téléphones.
En une ligne, pour un jeune de 12 ans
La quantification, c'est rapetisser une IA en arrondissant ses nombres, comme enregistrer une photo en plus petit format.
Un exemple
Une version « 4 bits » d'un modèle ouvert occupe environ le quart de la mémoire de l'original.
Pourquoi c'est important pour les gens
Des modèles plus petits et locaux aident à garder les renseignements sensibles sur votre propre appareil plutôt que dans le nuage de quelqu'un d'autre.