Timing meten van wat je applicatie echt doet
Een test op tensoren die al op de GPU staan, beschrijft alleen de berekening. Een service of een training moet zijn invoer ook decoderen, voorbereiden en overdragen. Bouw daarom twee metingen: de geïsoleerde rekenlus en een lus die vertrekt van je gebruikelijke data. Het verschil geeft aan waar je verbetering moet zoeken. Wacht tot het GPU-werk echt klaar is voordat je een tijd afleest; CUDA-launches zijn vaak asynchroon.
De batch als gecontroleerde variabele gebruiken
Vergelijk voor offline inferentie meerdere batchgroottes terwijl je de lengte en het type van de invoer gelijk houdt. Meet voor een interactieve applicatie ook de latentie van één verzoek en die van de traagste verzoeken. De batch die het verwerkte volume maximaliseert, kan het wachten minder acceptabel maken. Reserveer op 80 GB ruimte voor de cache of activaties in plaats van de dimensionering te stoppen bij het laden van het model.
Noteer de precisie van de gewichten en van de berekening afzonderlijk. Een model dat in een gereduceerd formaat is opgeslagen, kan tijdens de uitvoering nog buffers of bewerkingen met hogere precisie gebruiken.
Vergelijken zonder de H100-varianten op één hoop te gooien
Deze pagina gaat over de H100 PCIe 80 GB. De resultaten van een H100 SXM of van meerdere kaarten samen beschrijven deze configuratie niet automatisch. Controleer CUDA, PyTorch en de gespecialiseerde bibliotheken voor jouw architectuur en kies daarna een gemeenschappelijk recept voor de vergeleken GPU's. Als 80 GB niet volstaat, onderzoek dan de H200; als je behoefte binnen 48 GB past, voeg dan de L40S toe aan je economische vergelijking.
Een pipelinegerichte bestelling voorbereiden
Drie dagen kunnen dienen om het aandeel van rekenwerk en overdrachten te identificeren. Zeven dagen maken het mogelijk correcties te testen en metingen te herhalen. Dertig dagen begeleiden een inferentiecampagne of een geplande training. Selecteer duur en aantal, geef je omgeving op en daarna je trackinggegevens. De crypto-instructies van de bestelling vermelden het netwerk en het bedrag; de knop « Ik heb betaald » meldt je overdracht.