Donnez à votre adaptation la capacité dont elle a besoin.

Définissez le gain qui justifiera votre campagne.

Définissez une tâche observable : classer un ticket, extraire des champs ou respecter une forme de réponse. Travaillez d’abord une instruction de référence et conservez ses sorties. Si un changement de prompt suffit, il devient un candidat à comparer. Sans ce témoin, un gain attribué au fine-tuning peut provenir simplement d’une meilleure formulation ou d’un autre traitement des réponses.

Séparez la validité du format et l’exactitude du contenu. Un objet JSON qui passe le parseur peut contenir la mauvaise catégorie. Ajoutez les comportements à préserver, par exemple le traitement d’un champ absent ou une classe rare. Fixez les règles d’acceptation et les motifs de rejet avant de choisir le rang, le taux d’apprentissage ou le nombre d’étapes.

Choisissez des données qui permettent de trancher.

Gardez les variantes d’une même conversation, d’un même document ou d’une même source dans un seul ensemble lorsque leur proximité menace l’indépendance de l’évaluation. Faites la séparation avant les transformations apprises ou les réglages guidés par les résultats. Un découpage aléatoire par ligne peut donner une impression de progrès sur des exemples déjà presque vus.

Exemple pédagogique : 1 200 tickets regroupés par conversation sont répartis en 840 exemples d’apprentissage, 180 de validation et 180 de test après respect des groupes. Ces nombres décrivent un plan illustratif, pas un corpus fourni. La validation sert au choix de la variante ; le test final est gardé à l’écart. Examinez les catégories et longueurs dans chaque ensemble plutôt que de croire que le seul ratio garantit leur qualité.

Retenez l’adaptation à comparer à votre référence.

L’adaptation complète modifie les poids concernés de la base. LoRA ajoute des matrices de faible rang aux modules ciblés et apprend leur contribution. Rang, modules visés, échelle et options choisies définissent l’expérience. Un rang supérieur augmente le nombre de paramètres de l’adaptateur, sans démontrer qu’il améliorera votre tâche.

Pour une matrice illustrative de 4 096 × 4 096, deux matrices LoRA de rang 8 contiennent 8 × (4 096 + 4 096) = 65 536 valeurs, contre 16 777 216 dans la matrice dense, hors biais et autres modules. Ce rapport de nombres ne décrit ni tout le modèle ni le pic mémoire : la base, les activations et les états des paramètres appris restent à considérer.

Sources techniques : PEFT — configuration et matrices LoRA

Choisissez la précision pour tout le cycle de travail.

Une base chargée en quatre bits ne signifie pas que toutes les opérations, tous les tenseurs et le cache utilisent quatre bits. Les métadonnées de quantification et les modules conservés dans une autre précision influencent l’allocation. Dans bitsandbytes, l’entraînement de modèles chargés en quatre ou huit bits concerne des paramètres supplémentaires ; ce n’est pas une mise à jour générale des poids quantifiés.

Enregistrez le format de la base, le type de calcul, les modules entraînables et les versions. Comparez une vraie étape, l’évaluation et l’opération d’export que vous souhaitez utiliser. Fusionner, déquantifier ou produire un autre format peut demander un espace différent de celui de l’entraînement. Une méthode qui tient pendant l’adaptation n’est pas encore une preuve que tout le cycle tiendra sur la même carte.

Sources techniques : Transformers 5.17 — bitsandbytes et paramètres supplémentaires

Comparez vos variantes avec un budget d’essais défini.

Sur le jeu illustratif, gardez une référence sans adaptation, une LoRA de rang 8 et une variante de rang 16, avec les mêmes modules, données, budget d’étapes et règles d’évaluation. Le rang est alors le facteur étudié. Si vous changez simultanément rang et taux d’apprentissage, vous créez une autre question ; le guide d’ablations explique comment rendre cette interaction lisible.

Avant chaque essai, vérifiez quelques exemples tokenisés et les portions qui contribuent à la perte. Après l’essai, confrontez les prédictions identifiées au même évaluateur. Notez les sorties manquantes et les régressions, pas seulement la moyenne. Une classe rare qui devient systématiquement incorrecte peut invalider un gain global selon votre contrat de qualité.

Documentez aussi alpha, dropout et initialisation. Avec le réglage LoRA classique, l’échelle est alpha/r ; annoncez si vous conservez alpha ou le rapport alpha/r lorsque le rang change. Ces protocoles ne répondent pas exactement à la même question. Une autre règle d’échelle, comme rsLoRA, doit être identifiée séparément.

Sources techniques : PEFT — rang, alpha et règles d’échelle LoRA

Décidez quoi corriger avant d’engager plus de calcul.

Une perte qui baisse tandis que la qualité de validation stagne demande une analyse, pas automatiquement plus d’étapes. Examinez les erreurs de labels, la répétition de formulations, les entrées tronquées et les divergences entre le format d’entraînement et celui d’inférence. Conservez un échantillon d’erreurs par catégorie pour choisir la correction.

Si vous corrigez une taxonomie ou le parsing, versionnez l’évaluateur et recalculez les scores des candidats nécessaires. Ne comparez pas directement deux chiffres obtenus avec des règles différentes. Si vous inspectez le test final pour choisir une correction, il participe désormais au développement : préparez une nouvelle évaluation indépendante pour la prochaine conclusion.

Vérifiez le résultat que vous voulez réutiliser.

Le format PEFT conserve les paramètres de l’adaptateur et sa configuration ; il ne contient généralement pas les poids de la base. Gardez donc l’identifiant et la révision exacte de cette base avec l’artefact. Un nom de modèle seul qui pointe vers une version évolutive ne suffit pas à reconstruire les conditions.

Rechargez dans un nouveau processus le résultat réellement destiné à l’usage. Rejouez quelques entrées de contrôle, puis le protocole d’évaluation. Archivez tokenizer, gabarit, paramètres de génération, dépendances, métriques et provenance des données. Si l’artefact est fusionné, notez cette transformation et contrôlez ses sorties ; elle constitue une étape à vérifier, pas une formalité invisible.

Sources techniques : PEFT — contenu du checkpoint et modèle de base

Choisissez la prochaine étape à partir des résultats.

Comparez les GPU à partir du pic de l’étape complète et de l’évaluation, des entrées maximales nécessaires et de la pile logicielle compatible. Réservez dans le forfait du temps pour le témoin, les variantes prioritaires, la lecture des erreurs et la récupération. Le choix d’un environnement à la commande exprime une préparation souhaitée, sans qualification automatique de votre adaptation.

La conclusion doit nommer le candidat retenu ou l’absence de gain suffisant, les groupes couverts, les régressions connues et les conditions de rechargement. Votre carnet conserve les références et la raison du choix. Le pack de mesure mémoire aide à comprendre l’instrumentation ; il ne fournit pas un entraînement LoRA testé à votre place.