Embeddings erzeugen, die vergleichbar bleiben
Eine Embedding-Kampagne muss das Modell, die Tokenisierung, die Trunkierungsregel, das Pooling und die Normalisierung festlegen. Diese Entscheidungen verändern die erhaltenen Repräsentationen. Bei Texten variabler Länge sollten Sie Batches ausprobieren, die nach Länge gruppiert sind, und sie mit Ihrer ursprünglichen Organisation vergleichen. Halten Sie die Anzahl der verarbeiteten Dokumente und der genutzten Tokens fest, damit eine Änderung der Batch-Auffüllung nicht wie ein unerklärlicher Gewinn wirkt.
Die 48 GB zwischen Modell und nutzbarer Arbeit aufteilen
Erhöhen Sie den Batch anhand einer Stichprobe, die die längsten Texte oder die größten Bilder enthält. Eine Messung über den Durchschnitt kann eine späte Sättigung mitten im Korpus übersehen. Exportieren Sie die Repräsentationen im Verlauf der Verarbeitung, statt alle Ergebnisse unnötig auf der GPU anzusammeln. Behalten Sie eine stabile Kennung, um beispielsweise jede Ausgabe mit ihrer Eingabe zu verknüpfen und eine unterbrochene Kampagne fortzusetzen.
Für die Anpassung gilt dieselbe Disziplin bei den Checkpoints: Basismodell, trainierte Parameter und Daten müssen miteinander verbunden bleiben. Die Kapazität von 48 GB entbindet nicht davon, die Aktivierungen und die Zustände des Optimierers zu messen.
Ampere oder Ada bei gleicher Kapazität
Die RTX A6000 und die RTX 6000 Ada sind trotz ihrer 48 GB zwei verschiedene Modelle. Prüfen Sie die angesteuerten CUDA-Kernels und die PyTorch-Versionen Ihres Projekts, bevor Sie vergleichen. Ein kurzer Test kann über die Kosten des vollständigen Korpus entscheiden, bei gleichen erwarteten Ausgaben. Die A40 ist eine weitere Ampere-Option mit 48 GB; die A100 SXM wird relevant, wenn der benötigte Speicher diesen Rahmen überschreitet.
Mit einem Wiederaufnahmeplan bestellen
Drei Tage können das Profiling und einen ersten Stapel Embeddings abdecken. Sieben Tage erlauben, einen Korpus zu erstellen und anschließend zu kontrollieren. Dreißig Tage begleiten mehrere Repräsentationsversionen oder eine Anpassungskampagne. Bereiten Sie die Zugangsdaten, die Exportverzeichnisse und die Liste der Batches vor der Miete vor. Wählen Sie Dauer und Menge, geben Sie die gewünschte Umgebung und Ihre Kontaktdaten an, und verfolgen Sie dann die Krypto-Zahlung und den Fortschritt in der Bestellung.