Zuerst festlegen, was sich die beiden Karten teilen
Beim klassischen Datenparallelismus behält jede GPU eine Kopie des Modells und erhält einen Teil des Batches. Für ein Modell, das zu groß für eine einzelne Karte ist, braucht es eine Aufteilung der Parameter oder der Schichten. Die addierten 360 GB bilden also nicht automatisch eine einzige Zuweisung. Schreiben Sie Ihre Hypothese vor der Miete auf: den globalen Batch erhöhen, die Zeit eines Schritts reduzieren oder eine Ausführung ermöglichen.
Ein Aufteilungstest, der zu einem Ergebnis führt
Beginnen Sie mit demselben reduzierten Datensatz auf einer Karte, falls das Modell darauf passt, und dann auf zwei. Erfassen Sie den Speicherspitzenwert jeder GPU, die Zeit pro Schritt nach dem Aufwärmen und die Kosten des Austauschs. Eine fast leere Karte und eine gesättigte deuten auf eine unausgewogene Aufteilung hin. Zwei unabhängige Experimente können nützlicher sein als ein verteiltes Training, wenn Ihre Frage mehrere Hyperparameter betrifft.
Halten Sie während dieses Vergleichs die Präzision und die Anzahl der verarbeiteten Beispiele konstant. Eine Verbesserung, die durch gleichzeitige Änderung des Zahlenformats und der Batch-Größe erzielt wird, ließe sich kaum der Hardware zuschreiben.
Den Blackwell-Stack vorbereiten und eine Alternative wählen
Vergewissern Sie sich, dass Ihre PyTorch-Version, Ihre CUDA-Distribution und die kompilierten Erweiterungen korrekt auf Blackwell ausgerichtet sind. Ein benutzerdefinierter Kernel, der mit einer anderen Generation kompatibel ist, reicht nicht aus, um diese Kompatibilität zu belegen. Testen Sie die wesentlichen Operationen vor der vollständigen Kampagne. Wenn Ihr Modell und sein Ausführungsspielraum auf 141 GB passen, erlaubt der H200 die Untersuchung einer Ausführung auf einer einzigen GPU; der MI300X eröffnet eine weitere Möglichkeit für ein für ROCm vorbereitetes Projekt.
Ein nutzbares Forschungsfenster reservieren
Drei Tage eignen sich für eine im Voraus vorbereitete Verteilungsvalidierung. Sieben Tage lassen die Organisation mehrerer Varianten und ihrer Bewertung zu. Dreißig Tage entsprechen einer begleiteten Kampagne mit definierten Checkpoints und Abbruchkriterien. Wählen Sie die Anzahl der Lose zu je zwei Karten, die Dauer und die gewünschte Umgebung und geben Sie dann Ihre Kontaktdaten an. Verwenden Sie nach Ihrer Krypto-Überweisung „J’ai payé“ in der Bestellung; folgen Sie anschließend den Schritten zur Zahlung und zur Vorbereitung des Zugangs.