Koop een beslissing, geen eindeloze reeks.

Bepalen wat de campagne zal afsluiten

‘Een model trainen’ definieert noch het werk dat je koopt, noch het moment waarop het klaar is. Verkies een doel zoals een controle en twee varianten vergelijken op een vast corpus, en daarna hun voorspellingen, een foutenanalyse en een herlaadbaar artefact leveren. Een negatief resultaat kan volstaan: aantonen dat geen enkele variant de drempel respecteert, voorkomt een langere slecht gerichte campagne.

Scheid drie categorieën vóór de bestelling: onmisbaar om te concluderen, nuttig als de tijd het toelaat, verkennend. De controle, de datacontrole en een hervattingsverificatie horen doorgaans bij de eerste. Leg een beslissingspunt vast na de piloot: doorgaan, een optionele variant beperken of de vraag herzien. Het beschikbare pakket mag geen verplichting worden om elk uur te vullen.

Een end-to-end planning opbouwen

Een extrapolatie op basis van een al warme trainingsstap vergeet soms het laden, de lange invoer, de validatie en de uitvoerbestanden. Maak onderscheid tussen de periodes waarin de machine bezet is en de menselijke voorbereidingstijd. Onafhankelijke periodes kunnen elkaar overlappen; twee stappen die dezelfde GPU gebruiken worden niet parallel omdat ze twee regels in een tabel hebben.

Hier is een illustratieve planning, zonder gemeten GPU-snelheid. Ze reserveert 48 opeenvolgende uren vanaf de start van de voorbereiding tot het ophalen van de resultaten. Binnen een venster van 72 uur laat ze 24 uur onbenut. Deze aftrekking controleert alleen de planning: noch de installatie, noch een variant van tien uur zijn termijnen die IteraGPU belooft.

Vergelijk forfaits zonder een uurtarief te verzinnen

De prijs van een batch dekt de gekozen duur. Een RTX 4090 uit de catalogus kost 47,14 USD voor drie dagen, 110 USD voor zeven dagen en 390 USD voor dertig dagen. Deze bedragen zijn de tarieven van IteraGPU; ze meten niet het aantal getrainde modellen. Twee batches van drie dagen komen neer op 94,28 USD. Het B200-forfait bevat al twee GPU's: de samenstelling ervan vermenigvuldigt de prijs niet een tweede keer.

Als de illustratieve planning met 30 uur uitloopt, komt ze op 78 uur en overschrijdt ze drie dagen met zes uur. Bekijk dan het forfait van zeven dagen, of een verkort protocol dat nog steeds de vraag beantwoordt. Twee batches kopen kan onafhankelijke varianten helpen als je omgeving dat toelaat; het verkort een run niet automatisch en voegt geheugens niet samen.

Technische bronnen: IteraGPU-tarieven en huureenheden · Forfaits berekenen en het venster controleren

Prioriteer varianten op hun nut voor de beslissing

Werk na de piloot je aannames over de duur bij en vraag welk resultaat de keuze zou veranderen. Een variant die bijna identiek is aan de referentie kan minder informatief zijn dan een controle die één oorzaak isoleert. Start niet in één keer alle combinaties van rang, precisie, leersnelheid en lengte. De gids over ablaties laat zien hoe je een klein, interpreteerbaar plan opstelt.

Leg de stopregel vast vóór de tests: niet-eindige loss, kwaliteit onder een drempel, een onmisbare invoer die is afgekapt, of geen bruikbare herstart. Als de stop optreedt, bewaar dan de identificatie en de reden. Een onderbroken run wordt geen geaccepteerd resultaat, maar blijft wel een uitgave en soms beslissende informatie. Een nieuwe configuratie na correctie verdient een nieuwe identificatie.

Voorzie de kosten van een onderbreking

Een training herstarten vraagt meer dan alleen de gewichten. De PyTorch-documentatie onderscheidt de modelparameters en de toestand van de optimizer; ook de voortgang moet bewaard blijven. Voeg afhankelijk van de lus de nodige toestanden van de scheduler, de scaler, de randomness en de datapassage toe. Besluit of je het leren wilt hervatten of gewoon een inferentie opnieuw wilt starten.

Test een vroege opslag en laad die vervolgens opnieuw in een nieuw proces. Reken de tijd voor schrijven, overdragen en herstellen mee in de planning. Een opslaginterval kies je niet alleen om veel bestanden te produceren: breng het tolereerbare werkverlies en de waargenomen kost van de handeling dichter bij elkaar. Controleer ook waar die bestanden staan en hoe je ze vóór het einde van de periode terugkrijgt.

Technische bronnen: PyTorch — opslaan en herstarten

Breng het budget in verhouding tot het nuttige resultaat

Geef bij de afronding het aangegane forfait, de andere werkelijk inbegrepen kosten en het aantal resultaten dat de aangekondigde controles heeft doorstaan. Eventuele externe kosten blijven gescheiden van de huurprijs; verzin geen belastingtarief of niet-verstrekte overdrachtskost. De kost van een campagne verdwijnt niet wanneer het resultaat negatief is.

Voorwaardelijk rekenvoorbeeld: als een pakket van 47,14 USD het mogelijk maakt om twee afzonderlijke, volledige en geaccepteerde corpora op te leveren, is het aandeel verhuur 23,57 USD per corpus. Hetzelfde corpus vijf keer opnieuw draaien om te timen levert geen vijf bruikbare corpora op. Met nul geaccepteerde corpora is de ratio ongedefinieerd; toon de gemaakte kosten en de reden van afwijzing, nooit een kost van nul. Voor een onderzoeksbeslissing beschrijf je liever de behaalde conclusie dan een kunstmatige eenheid te creëren.

Afsluiten met bestanden die je kunt herladen

Bereid de uitvoermap tijdens de campagne voor: manifest, parameters, ruwe metingen, voorspellingen, stopredenen en herlaadinstructies. Controleer de verwachte identifiers, lege bestanden en paden die afhankelijk zijn van een tijdelijke map. Bewaar voor een adapter de exacte revisie van de basis. Een bestand dat aanwezig is maar niet te herladen valt, is geen geverifieerde uitvoer.

Vergelijk het geplande met het gerealiseerde zonder het oorspronkelijke plan te herschrijven: gereserveerde tijd, vastgestelde tijd, verklaarde afwijkingen, genomen beslissingen. Het IteraGPU-logboek kan de samenvatting en de orderreferentie bewaren; je ruwe bestanden en back-ups moet je nog organiseren. De volgende campagne start dan met een betere schatting en een kortere lijst van onzekerheden.

Praktische vragen