Scegliere una quantizzazione sui suoi risultati, non sui suoi bit.

Descrivere la variante al di là del suo numero di bit

Indica il metodo, la sua implementazione, la versione e la revisione esatta dell'artefatto. Due varianti a quattro bit possono impiegare rappresentazioni, gruppi, metadati e kernel diversi. Separa il formato di archiviazione dei pesi da quello delle operazioni di calcolo. Annota anche i moduli mantenuti a un'altra precisione e ogni trasferimento sulla CPU.

In bitsandbytes, alcuni layer lineari quantizzati sostituiscono certi layer ordinari; gli altri moduli seguono il dtype configurato. Questo comportamento, da solo, non descrive quindi il picco del processo. Leggi la configurazione effettiva dopo il caricamento, poi verifica che la variante realizzi davvero l'elaborazione attesa anziché un ripiego software diverso.

Fonti tecniche: Hugging Face Transformers 5.17 — layer quantizzati e altri dtype

Separare calibrazione e valutazione

Alcuni metodi utilizzano esempi per preparare la quantizzazione. La procedura GPTQ documentata in Transformers richiede in particolare un set di calibrazione e un tokenizer. Questo set partecipa alla produzione dell'artefatto: non costituisce una prova indipendente di qualità. Altri metodi seguono un percorso diverso; non dare per scontato che uno stesso protocollo di calibrazione valga per tutti i formati.

Riserva gli esempi di calibrazione ai dati autorizzati per preparare il modello, poi annota identificatori, provenienza, lunghezze e trasformazione applicata. Usa la validazione per scegliere le impostazioni e il test finale per la conferma. Se scegli più set di calibrazione dopo aver confrontato i loro punteggi, questa ricerca fa parte dello sviluppo e deve essere registrata nel bilancio.

Fonti tecniche: Hugging Face Transformers 5.17 — calibrazione di una quantizzazione GPTQ · Costruire partizioni in base al loro ruolo

Calcolare un limite teorico dei pesi senza venderlo come picco

Prendiamo un modello fittizio da tre miliardi di parametri, tutti archiviati allo stesso numero di bit. Il volume lordo si calcola con parametri × bit / 8. A 16 bit otteniamo 6 miliardi di byte; a 8 bit, 3 miliardi; a 4 bit, 1,5 miliardi. Questi numeri sono un'aritmetica illustrativa, non le dimensioni osservate di un artefatto né il fabbisogno di un modello in esecuzione.

La differenza lorda tra 16 e 4 bit è di 4,5 GB, ovvero circa 4,191 GiB. Esclude scale, metadati, moduli non quantizzati, cache e file temporanei. Permette di formulare un'ipotesi di memoria da verificare, senza prevedere una divisione per quattro del picco. Il dossier memoria spiega come separare le fasi e interpretare i contatori.

Fonti tecniche: NIST — prefissi binari e decimali · IteraGPU — stime e picchi di memoria

Cambiare i pesi prima di cambiare la cache

Inizia con una baseline di cui conosci il comportamento. Confronta poi le varianti dei pesi con la stessa cache, le stesse lunghezze, lo stesso batch o la stessa concorrenza. Se cambi anche questi parametri, stai confrontando configurazioni complete: dichiaralo e non attribuire tutta la differenza alla quantizzazione dei pesi.

Anche la cache KV può essere quantizzata quando il modello e il motore lo consentono. Si tratta di una scelta distinta. La documentazione Transformers segnala in particolare che una cache quantizzata può penalizzare la latenza per contesti brevi quando resta abbastanza memoria. Testa questo secondo cambiamento in una serie separata; più memoria risparmiata non garantisce un tempo di risposta migliore.

Fonti tecniche: Hugging Face Transformers 5.17 — cache KV quantizzata e compromesso sulla latenza

Esempio di regola di qualità: un piccolo calo può restare inaccettabile

Ecco un'illustrazione di decisione, senza esecuzione del modello. Un progetto valuta 200 documenti e definisce prima delle prove una perdita massima di un punto percentuale rispetto al riferimento. Richiede anche almeno il 90% di successo su 20 documenti critici inclusi in questi 200. Un documento è accettato solo se tutti i suoi campi richiesti sono corretti.

I valori fittizi qui sotto rendono A ammissibile su entrambe le regole: 94% invece di 95%, e 18/20 sul gruppo critico. B fallisce su entrambe. Non si può ancora dichiarare A vincente: non sono indicati né il picco di memoria né la durata. Inoltre, i totali non mostrano quali documenti sono cambiati; esamina gli errori appaiati per individuare nuove regressioni importanti.

Fonti tecniche: Esaminare gli errori invece del solo totale

Eseguire un confronto i cui scostamenti si spiegano

Prepara prima il contratto di confronto, poi i file dei risultati. Il protocollo seguente va realizzato sul tuo carico; i numeri precedenti non lo sostituiscono. Se una variante non si carica o non possiede gli operatori richiesti, conserva questo fallimento come informazione di compatibilità.

• Fissa corpus, riferimenti, modello, tokenizer, prompt e regole di output; mantieni identificabili i casi lunghi e difficili.
• Registra calibrazione, artefatto esportato e configurazione effettiva. Verifica i dispositivi utilizzati e gli eventuali trasferimenti CPU/GPU.
• Separa fabbricazione, caricamento, riscaldamento e trattamento stabilizzato. Usa gli stessi limiti di misura e conserva le ripetizioni grezze.
• Rileva il picco per dispositivo e per fase; mantieni allocated e reserved separati. Non sommare questi contatori e non sottrarre i loro massimi indipendenti.
• Valuta il formato, il contenuto e i sottogruppi concordati, poi raffronta gli errori per identificatore.
• Ricarica l'artefatto scelto in un nuovo processo e ripeti un controllo definito. Un risultato ottenuto prima dell'esportazione non convalida automaticamente il ricaricamento.

Fonti tecniche: Misurare correttamente la memoria · Definire le ripetizioni e la misurazione dei tempi

Collegare il compromesso al costo sostenuto

Un risparmio di memoria può ampliare le configurazioni possibili, consentire più concorrenza o semplicemente lasciare margine. Non riduce automaticamente la spesa. Se il periodo, i lotti riservati e i deliverable accettati restano identici, il costo del forfait resta identico, anche se un passaggio è più veloce.

Includi nel calendario l'eventuale calibrazione, la quantizzazione, la valutazione, i tentativi respinti e il ricaricamento. Confronta poi i forfait completi di 3, 7 o 30 giorni tra le opzioni che soddisfano i tuoi criteri. Il rapporto per corpus utile si calcola solo con corpus realmente completati e accettati; le ripetizioni di misurazione dei tempi non creano nuovi deliverable.

Se un'unica locazione serve a confrontare più varianti, il suo importo è una spesa comune di campagna. Non addebitare mentalmente l'intero forfait a ogni variante per poi sommare questi importi come spese reali distinte. Per attribuire una quota analitica, annuncia una convenzione; essa non cambia il totale sostenuto.

Fonti tecniche: IteraGPU — forfait intero e costo di un esperimento

Concludere con una configurazione e i suoi limiti

La decisione finale nomina l'artefatto, l'ambiente, il carico coperto, il criterio di qualità superato e il vincolo migliorato. Se le varianti sono vicine, conserva questa incertezza e privilegia una scelta che sai ricaricare e spiegare. Il numero di bit non è di per sé un ordine di preferenza.

Una conclusione su un corpus breve non si estende automaticamente ai contesti lunghi, a un'altra lingua o a un maggior numero di richieste simultanee. Una quantizzazione scelta per l'inferenza non definisce nemmeno i parametri addestrabili di un fine-tuning. Tieni separate queste questioni e conferma la variante scelta sul test tenuto da parte.

Domande pratiche