Exemple concret
Llama 70B en 4 bits tient sur un GPU grand public. En 16 bits, il faut un datacenter. La quantization, c'est cette compression.
Pourquoi ça compte
C'est ce qui rend l'IA locale possible. Sans quantization, faire tourner un gros modèle chez soi est impossible.
Tu la vois dans Ollama, LM Studio et les modèles qui tournent localement.
À ne pas confondre
Distillation : La distillation entraîne un petit modèle à imiter un modèle plus puissant.
Modèle IA : Un modèle IA est le moteur qui lit ta demande et produit une réponse.
Erreurs fréquentes
- Croire qu'une quantization en 4 bits donne la même qualité que 16 bits.
- Oublier que la quantization plus agressive casse les modèles de raisonnement.
- Confondre quantization (poids du modèle) et précision de calcul (runtime).
Mini-checklist
- Je vérifie d'abord si le mot désigne un concept, un outil, un risque ou une métrique.
- Je le relie à un cas concret : Llama 70B en 4 bits tient sur un GPU grand public. En 16 bits, il faut un datacenter. La quantization, c'est cette compression.
- Je garde en tête le piège principal : Croire qu'une quantization en 4 bits donne la même qualité que 16 bits.
Questions rapides
C'est quoi Quantization en IA ?
La quantization réduit la précision interne d'un modèle pour gagner en mémoire et vitesse.
Où vais-je croiser Quantization ?
Tu la vois dans Ollama, LM Studio et les modèles qui tournent localement.
Quel mot lire après Quantization ?
Commence par Distillation, Modèle IA, Open source vs open weight.