Kup decyzję, a nie serię bez końca.

Zdefiniować, co pozwoli zamknąć kampanię

„Wytrenować model” nie określa ani pracy do zakupu, ani momentu jej zakończenia. Wybierz cel taki jak porównanie próby kontrolnej i dwóch wariantów na zamrożonym korpusie, a następnie dostarczenie ich predykcji, analizy błędów i artefaktu do ponownego załadowania. Wynik negatywny może wystarczyć: pokazanie, że żaden wariant nie spełnia progu, pozwala uniknąć dłuższej, źle ukierunkowanej kampanii.

Przed zamówieniem rozdziel trzy kategorie: niezbędne do wyciągnięcia wniosków, użyteczne, jeśli starczy czasu, eksploracyjne. Próba kontrolna, kontrola danych i weryfikacja wznowienia należą zwykle do pierwszej. Ustal punkt decyzyjny po pilotażu: kontynuować, ograniczyć opcjonalny wariant czy zmienić pytanie. Dostępny forfait nie może stać się obowiązkiem wypełnienia każdej godziny.

Zbudować harmonogram od początku do końca

Ekstrapolacja z już rozgrzanego kroku treningowego czasami pomija ładowanie, długie dane wejściowe, walidację i pliki wyjściowe. Rozróżnij okresy, w których maszyna jest zajęta, oraz ludzki czas przygotowania. Niezależne okresy mogą się nakładać; dwa etapy korzystające z tego samego GPU nie stają się równoległe tylko dlatego, że mają dwa wiersze w tabeli.

Oto ilustracyjny harmonogram, bez zmierzonej szybkości GPU. Rezerwuje 48 kolejnych godzin od rozpoczęcia przygotowań do odbioru wyników. W oknie 72 godzin pozostawia 24 godziny niezaangażowane. To odejmowanie weryfikuje wyłącznie harmonogram: ani instalacja, ani wariant dziesięciogodzinny nie są terminami obiecywanymi przez IteraGPU.

Porównuj forfaity, nie wymyślając rozliczenia godzinowego

Cena lotu obejmuje wybrany czas trwania. RTX 4090 z katalogu kosztuje 47,14 USD za trzy dni, 110 USD za siedem dni i 390 USD za trzydzieści dni. Te kwoty to stawki IteraGPU; nie mierzą liczby wytrenowanych modeli. Dwa loty po trzy dni to 94,28 USD. Lot B200 zawiera już dwa GPU: jego skład nie mnoży drugi raz jego ceny.

Jeśli ilustracyjny harmonogram wydłuży się o 30 godzin, osiągnie 78 godzin i przekroczy trzy dni o sześć godzin. Rozważ wtedy forfait siedmiodniowy albo zredukowany protokół, który wciąż odpowiada na pytanie. Zakup dwóch lotów może pomóc przy niezależnych wariantach, jeśli twoje środowisko na to pozwala; nie skraca to automatycznie pojedynczego przebiegu ani nie łączy pamięci.

Źródła techniczne: Stawki IteraGPU i jednostki najmu · Oblicz forfaity i sprawdź okno

Priorytetyzuj warianty według ich użyteczności dla decyzji

Po przebiegu pilotażowym zaktualizuj założenia dotyczące czasu trwania i zapytaj, jaki wynik zmieniłby wybór. Wariant niemal identyczny z próbą kontrolną może być mniej informacyjny niż kontrola izolująca jedną przyczynę. Unikaj uruchamiania naraz wszystkich kombinacji rangi, precyzji, współczynnika uczenia i długości. Przewodnik po ablacjach pokazuje, jak ułożyć mały, interpretowalny plan.

Zapisz regułę zatrzymania przed próbami: nieskończona strata, jakość poniżej progu, obcięte niezbędne dane wejściowe lub brak użytecznego wznowienia. Jeśli zatrzymanie nastąpi, zachowaj jego identyfikator i powód. Przerwany przebieg nie staje się zaakceptowanym produktem, ale pozostaje wydatkiem, a czasem kluczową informacją. Nowa konfiguracja po poprawce zasługuje na nowy identyfikator.

Zaplanuj koszt przerwania

Wznowienie treningu wymaga więcej niż samych wag. Dokumentacja PyTorch rozróżnia parametry modelu i stan optymalizatora; trzeba też zachować postęp. W zależności od pętli dodaj niezbędne stany planisty, skalera, losowości i przebiegu danych. Zdecyduj, czy chcesz wznowić uczenie, czy po prostu ponownie uruchomić wnioskowanie.

Przetestuj wczesny zapis, a następnie jego ponowne wczytanie w nowym procesie. Uwzględnij w harmonogramie czas zapisu, transferu i przywracania. Interwał zapisu nie jest wybierany wyłącznie po to, by tworzyć dużo plików: zestaw tolerowaną utratę pracy z zaobserwowanym kosztem operacji. Sprawdź też, gdzie znajdują się te pliki i jak je odzyskasz przed końcem okresu.

Źródła techniczne: PyTorch — zapis i wznowienie

Odnieś budżet do użytecznego wyniku

Na zamknięciu podaj zaangażowany forfait, pozostałe faktycznie uwzględnione wydatki i liczbę produktów, które przeszły zapowiedziane kontrole. Ewentualne wydatki zewnętrzne pozostają oddzielone od ceny najmu; nie wymyślaj stawki podatku ani kosztu transferu, którego nie podano. Koszt kampanii nie zostaje zamazany, gdy jej wynik jest negatywny.

Przykład arytmetyczny warunkowy: jeśli pakiet za 47,14 USD pozwala dostarczyć dwa odrębne, kompletne i zaakceptowane korpusy, jego część za wynajem wynosi 23,57 USD na korpus. Pięciokrotne powtórzenie tego samego korpusu w celu pomiaru czasu nie daje pięciu użytecznych korpusów. Przy zerowej liczbie zaakceptowanych korpusów wskaźnik jest nieokreślony; pokaż poniesiony koszt i przyczynę odrzucenia, nigdy koszt zerowy. Przy decyzji badawczej opisz raczej uzyskany wniosek, niż twórz sztuczną jednostkę.

Zamknij kampanię plikami, które możesz ponownie odczytać

Przygotuj katalog wynikowy w trakcie kampanii: manifest, parametry, surowe pomiary, predykcje, powody zatrzymania i instrukcje ponownego wczytania. Sprawdź oczekiwane identyfikatory, puste pliki i ścieżki zależne od katalogu tymczasowego. W przypadku adaptera zachowaj dokładną rewizję bazy. Plik, który istnieje, ale nie da się go ponownie wczytać, nie jest zweryfikowanym wynikiem.

Porównaj plan z realizacją, nie przepisując pierwotnego planu: zarezerwowany czas, zaobserwowany czas, wyjaśnione odchylenia, podjęte decyzje. Dziennik IteraGPU może zachować podsumowanie i numer zamówienia; Twoje surowe pliki i kopie zapasowe wciąż wymagają uporządkowania. Kolejna kampania startuje wtedy z lepszym szacunkiem i krótszą listą niepewności.

Praktyczne pytania