Auflösung und Batch-Größe getrennt betrachten
Ein Vision-Modell, das mit kleinen Bildern funktioniert, lässt nicht direkt auf den Speicherbedarf Ihrer Arbeitsbilder schließen. Erstellen Sie zunächst eine Reihe mit konstanter Batch-Größe und steigenden Auflösungen, dann eine Reihe mit fester Auflösung und steigenden Batch-Größen. So lassen sich Unterschiede klar zuordnen. Behalten Sie dieselben Regeln für Skalierung und Zuschnitt bei: Eine Änderung der Vorverarbeitung kann das Ergebnis ebenso stark beeinflussen wie die Wahl des Modells.
Ein vollständiges Training oder eine vollständige Anpassung messen
Die 48 GB bieten mehr Platz für Aktivierungen und Hilfskomponenten als eine 24-GB-Karte. Sie definieren jedoch keine universell zulässige Modellgröße. Messen Sie die Rückpropagation, wenn Sie trainieren, die gesamte Pipeline, wenn Sie Embeddings erzeugen, und die größten Stichproben, wenn die Formen variieren. Notieren Sie den Spitzenwert und die Parameter, die ihn verursacht haben.
Vergleichen Sie bei einer Anpassung die Qualität anhand eines vom Training getrennten Datensatzes. Eine größere Batch-Größe nur zur Auslastung des Speichers stellt für sich genommen keinen wissenschaftlichen Fortschritt dar.
Ada und Ampere: ein Vergleich bei konstantem Rezept
Die RTX 6000 Ada und die RTX A6000 haben beide 48 GB in diesem Katalog, gehören aber unterschiedlichen Architekturen an. Halten Sie daher Ihre Versionen von CUDA, PyTorch und Bibliotheken so vergleichbar wie möglich. Prüfen Sie die für Ada kompilierten Erweiterungen und testen Sie die spezialisierteste Operation Ihres Modells. Die L40S ist ein weiterer 48-GB-Vergleich; eine RTX 4090 kann ausreichen, wenn Ihre Spitzenwerte innerhalb ihres 24-GB-Budgets bleiben.
Die Daten vor dem Tarif vorbereiten
Drei Tage eignen sich für eine Auflösungs-/Batch-Kartierung. Sieben Tage ermöglichen die Anpassung und Bewertung einiger Varianten. Dreißig Tage begleiten eine Vision-Kampagne mit Wiederholungen und organisierten Exporten. Bereiten Sie das Bildmanifest, die Aufteilungen und das Auswertungsskript vor, bevor Sie die Dauer wählen. Die Bestellung umfasst die Konfiguration, die gewünschte Umgebung und Ihre Kontaktdaten; Ihre Krypto-Zahlung lässt sich anschließend im selben Vorgang verfolgen.