Hoeveel geheugen voor uw hypothese?

Een configuratie kiezen voor een gedefinieerde belasting

Een lijst met GPU's, een advies voor je model en een alternatief voor je huidige configuratie vragen dezelfde startfiche: model en revisie, inferentie of aanpassing, formaat van de gewichten, benodigde lengte, gelijktijdigheid of microbatch, en kwaliteitscriterium. Houd deze eisen aan wanneer je de aanbiedingen vergelijkt. Een configuratie die minder context verwerkt of een vereenvoudigde taak uitvoert, beantwoordt niet automatisch aan dezelfde behoefte.

Classificeer elke verplichte eis: toelaatbaar als het beschikbare bewijsstuk deze binnen jouw scope bevestigt; te bevestigen als het ontbreekt; uitsluiten als een vastgesteld falen verhindert dat de belasting wordt gehaald. Een kandidaat wordt alleen weerhouden wanneer al deze eisen zijn vervuld. Maak vervolgens een onderscheid tussen de toelaatbare kandidaten op basis van de totale kosten van het pakket, de nuttige marge en de gedocumenteerde planning. Een voorkeur weegt niet op tegen een uitsluitend criterium.

Elk criterium koppelen aan een bewijsstuk en een beslissing

De commerciële fiche bevestigt wat wordt aangeboden; jouw protocol stelt vast wat werkt op de belasting. De omgeving die bij de bestelling wordt gevraagd, blijft een voorkeur voor de voorbereiding. Een nominale geheugencapaciteit of een opgegeven voorraad bewijst noch een software-installatie noch een beschikbaarheidsduur.

Bewaar het bewijsstuk met zijn versie en zijn scope. Als een verplichte informatie niet is gedocumenteerd, noteer dan precies de voorwaarde die moet worden bevestigd. De tabel maakt het mogelijk een voorselectie te maken zonder die onbekenden om te zetten in garanties.

Technische bronnen: Belastingsfiche voor inferentie · Fasen en tellers meten · Kwaliteitscriteria vaststellen · Kosten van het experiment plannen

Weten wat het resultaat berekent

Het aantal parameters komt overeen met de waarden die je in de dense berekening voorstelt. Het formaat geeft hun aantal bits per waarde aan. Het resultaat “Alleen gewichten” zet dit volume om in Gio, en “Indicatieve enveloppe” voegt jouw reserve toe. De keuze training of adaptatie in de tool past geen verborgen universele multiplier toe; ze nodigt je uit de ontbrekende posten te documenteren.

Deze eenvoud maakt het mogelijk de aanname na te lezen. Ze vereist ook dat je weet wat buiten de berekening blijft: quantisatiemetadata, modules van een ander formaat, werkgeheugen, tijdelijke belasting en gebruik buiten het proces. De voorgestelde GPU-fiche is een kandidaat om te onderzoeken, geen garantie dat jouw model erop zal werken. De naam en het nominale geheugen van een kaart beschrijven niet de rest van zijn server.

Lees de eenheden voordat je een kaart vergelijkt

Een decimale GB komt overeen met een miljard bytes; een Gio komt overeen met 2³⁰ bytes. De catalogus toont een nominale capaciteit in GB. De tool past de decimale conventie toe; om een configuratie te valideren, noteer ook de capaciteit in bytes die het apparaat aangeeft. De tellers van jouw programma kunnen worden weergegeven in bytes of Gio. Zet hoeveelheden met dezelfde definitie om voordat je hun grootte vergelijkt; meng geen nominaal geheugen, vrij geheugen en gereserveerde piek.

Rekenvoorbeeld: 24 miljard bytes komen overeen met ongeveer 22,35 Gio. Dit resultaat voorspelt niet de vrije hoeveelheid van een kaart van 24 GB. Het systeem, de uitvoeringscontext en andere allocaties kunnen meetellen. Houd de eenheid en de scope in de naam van elke kolom van je testblad.

Technische bronnen: NIST — binaire en decimale prefixen

Uitgewerkt voorbeeld: zeven miljard parameters

Voor 7 miljard parameters op 16 bits is het dense volume 14 miljard bytes, dus ongeveer 13,04 GiB. Met een gekozen reserve van 6 GiB wordt de enveloppe 19,04 GiB. De berekening bewijst niet dat een reserve van 6 GiB bij jouw model past: dat is juist de aanname die je met de gekozen inputs en bewerkingen moet controleren.

De tabel houdt dezelfde reserve aan om alleen het rekenkundige effect van het gewichtsformaat te tonen. In een echte run kunnen de andere allocaties anders uitvallen. Een vier-bits representatie bevat vaak extra informatie en kan sommige lagen in een ander formaat laten. Lees de laatste rij dus niet als een gegarandeerde totale piek.

Technische bronnen: Transformers 5.17 — formaten en beperkingen van bitsandbytes

Een verklaarbare reserve opbouwen

Ontleed de reserve in plaats van een percentage uit gewoonte te kiezen. Noteer bij autoregressieve inferentie de architectuur, cache, bewaarde tokens en gelijktijdige sequenties. Noteer bij training de geleerde parameters, gradients, optimizer, activaties en buffers. De invoerlengte en microbatch horen bij de fiche, ook wanneer het aantal parameters niet verandert.

Sommige posten bereiken hun maximum niet op hetzelfde moment. Een som van onafhankelijke maximale marges kan als conservatieve enveloppe dienen als ze als zodanig wordt aangegeven, maar het is geen waargenomen piek. Noteer de geschatte posten, de gemeten posten en de nog onbekende. De gids over de KV-cache werkt een van die berekeningen uit; het geheugendossier plaatst de tellers terug in de fasen van het programma.

Valideren in stappen zonder de taak stilzwijgend te veranderen

Begin met een korte invoer en een kleine batch om fouten in de voorbereiding op te sporen. Ga daarna naar een gebruikelijke invoer en vervolgens naar je werkelijk noodzakelijke limiet. Als het programma de data afkapt, minder tokens bewaart of een deel van het corpus overslaat, dan valideert het geval dat past niet de aangekondigde workload. Noteer de afmetingen die daadwerkelijk zijn uitgevoerd.

Noteer de piek per fase en per GPU met de bijbehorende teller. Het geheugen dat aan tensors is toegewezen en het geheugen dat de PyTorch-allocator reserveert, mag je niet bij elkaar optellen. Een systeemmeting kan meer omvatten dan het geïnstrumenteerde proces. Als meerdere batches worden overwogen, documenteer hun softwarematige verdeling; twee kaarten vormen niet automatisch één enkele geheugenruimte.

Technische bronnen: PyTorch — CUDA-geheugenbeheer

Beslissen na de eerste overschrijding

Een fout bij het laden wijst op de gewichten, het formaat of een tijdelijke allocatie. Een fout bij het genereren vraagt om onderzoek van context en gelijktijdigheid. Een fout bij de backward pass kan wijzen op microbatch, activaties of berekeningsstrategie. Die lokalisatie voorkomt dat je willekeurig precisie, model en data tegelijk verandert.

Controleer na elke correctie de kwaliteit en het gedekte bereik. De noodzakelijke lengte verkleinen kan onaanvaardbaar zijn; de kwantisatie wijzigen kan de uitvoer veranderen. Als een andere capaciteit nodig is, ga dan terug naar de catalogus met een fiche die de waargenomen piek, de onderbouwde marge, de versies en de grenswaarden voor inputs vermeldt. Een marge zonder reden is niet betrouwbaarder dan een resultaat dat op de GB is afgerond.

Een korte selectie, onder dezelfde eisen

Voor de illustratieve inferentie met 7 miljard parameters op 16 bits en 6 GiB reserve geeft het uitgewerkte voorbeeld 19,04 GiB. Je kunt de RTX 4090 met 24 GB of de RTX 6000 Ada met 48 GB bekijken. Hun aangegeven prijzen voor een batch van één kaart gedurende 3 dagen zijn respectievelijk 47,14 USD en 55,71 USD. Het zijn twee kandidaten met verschillende capaciteiten: context, gelijktijdigheid, werkelijk beschikbaar geheugen, compatibiliteit en kwaliteit moet je nog verifiëren. Deze prijzen leveren geen enkele snelheidsrangschikking op.

Voor een aanpassing neem je hetzelfde raster met de geleerde parameters en de extra fasen: achterwaartse doorgang, eerste update, validatie en export. Het aantal LoRA-parameters is niet genoeg om het totale geheugen te valideren. Het fine-tuningtraject helpt het resultaat te kwalificeren; batch en accumulatie dienen om een vergelijkbare update te documenteren.

Als je na een overschrijding een alternatief zoekt, lokaliseer dan de foutieve fase en houd je uitvoereisen aan. Vergelijk één wijziging tegelijk: capaciteit, cache, microbatch of precisie. Een ander formaat moet de vastgelegde minimale kwaliteit terugvinden. Als je behoefte een beheerde applicatie, een precieze RAM of een aangetoonde interconnectie vereist, laat een enkele GPU-fiche de beslissing nog te bevestigen. Twee kaarten vereisen een geverifieerde softwareplaatsing; hun geheugens vormen niet automatisch één enkele ruimte.

Technische bronnen: RTX 4090 — partij, capaciteit en abonnementen · RTX 6000 Ada — partij, capaciteit en abonnementen · Kwaliteit na kwantisatie · Een aanpassing voorbereiden · Batch en accumulatie bepalen

De berekening behouden met wat ze bevestigt

Bewaar de oorspronkelijke hypothese, de tabel met posten, de procedure en de ruwe metingen. Maak onderscheid tussen schatting, gemeten teller en commerciële beslissing. De notebook IteraGPU Lab helpt deze instrumentatie te begrijpen op een klein netwerk; hij vervangt geen test met jouw model. De numerieke voorbeelden op deze pagina zijn berekeningen, zonder beweerdelijk waargenomen doorvoer of GPU-verbruik.

Een goede dimensioneringsuitvoer past op één fiche: model en revisie, taak, precisie, lengte, microbatch of gelijktijdigheid, geheugen per GPU en meetomstandigheden. Voeg toe wat de conclusie zou ontkrachten, bijvoorbeeld een langer venster of een andere evaluatie. Zo kun je een abonnement kiezen dat bij de campagne past, in plaats van de hele schatting opnieuw te doen bij elke variant.

Praktische vragen