Jeden pełny krok przed tysiącem prób.

Sprawdź przykłady i to, co reprezentuje strata

Zacznij od wyświetlenia kilku przetworzonych wejść i ich celów. Sprawdź podział, padding, maski i etykiety faktycznie przekazywane do funkcji straty. W generacji instrukcja może występować w wejściu, nie musząc przyczyniać się do tego samego celu co odpowiedź. W klasyfikacji błąd dopasowania między numerem a klasą może pozostawić stratę obliczalną, jednocześnie trenując niewłaściwe zadanie.

Wyodrębnij bardzo mały podzbiór, aby sprawdzić mechanikę, a nie ogłaszać generalizację. Czy pętla może nauczyć się tych przykładów, wygenerować skończone wartości i odtworzyć właściwe identyfikatory? Jeśli zawiedzie, długa dzierżawa nie rozwiąże diagnozy. Następnie utrzymuj uczenie, walidację i test oddzielone jednostką, która zapobiega wyciekom: rozmowa, pacjent, dokument źródłowy lub okres, w zależności od projektu.

Przejście przez bramkę kontrolną na każdym etapie

Pilotaż musi przejść przez wszystkie operacje kampanii. Pierwszy krok, który alokuje stan optymalizatora, może różnić się od kolejnych. Ewaluacja na dłuższych sekwencjach może wywołać największy szczyt. Zapis lub eksport może również wymagać pamięci i czasu. Nie wyciągaj więc wniosków wyłącznie na podstawie samego ładowania wag.

Zachowaj jeden wiersz na etap z parametrami wejściowymi, licznikiem pamięci, zmierzonym czasem i werdyktem. W PyTorch liczniki przydzielonych tensorów i pamięci zarezerwowanej przez alokator są rozdzielne; nie sumują się. Zmierz każdy GPU z tymi samymi ograniczeniami pomiaru. Dokumentacja pamięci zawiera szczegóły dotyczące wartości bazowych, synchronizacji i szczytów absolutnych.

Źródła techniczne: PyTorch — liczniki i zarządzanie pamięcią

Zliczanie przykładów na aktualizację

Mikrobatch jest przetwarzany podczas jednego przejścia. Akumulacja łączy kilka przejść przed aktualizacją. W przykładzie z jednym GPU, dwoma przykładami na mikrobatch i ośmioma akumulacjami otrzymujemy szesnaście przykładów na pełną aktualizację. Przy 3 200 przykładach przetworzonych jednokrotnie i bez niepełnego batcha daje to 200 aktualizacji. Te obliczenia nie przewidują czasu ani jakości.

Ustalenie liczby aktualizacji i zmiana batcha może zmienić liczbę zobaczzonych przykładów. Ustalenie epok może zmienić liczbę aktualizacji. Wybierz to, co ma zostać zachowane w porównaniu, i zanotuj drugą wielkość. Przy wielu replikach danych zliczanie uwzględnia ich liczbę; równoległość modelu nie mnoży automatycznie efektywnego batcha. Końcowe batche i sekwencje o różnych długościach wymagają spójnej normalizacji.

Źródła techniczne: PyTorch — akumulacja i mieszana precyzja

Zmiana pamięci bez utraty pytania badawczego

Jeśli pilotaż przekracza pamięć, zlokalizuj etap i wejście, które są przyczyną. Zredukowany mikrobatch może zmniejszyć aktywacje; mniejsza długość maksymalna może usunąć niezbędną część zadania. Akumulacja sama w sobie nie zwalnia wag ani stanu optymalizatora. Nie przedstawiaj przypadku, który mieści się po obcięciu, jako tego samego eksperymentu, jeśli oczekiwane wyjście się zmieniło.

Checkpointing aktywacji przechowuje mniej wartości pośrednich i przelicza je podczas przejścia w tył. Porównaj pamięć i czas w swojej pętli. Mieszana precyzja wybiera formaty niektórych operacji; ustawienia skalowania gradientów i moment ich aktualizacji muszą odpowiadać efektywnemu batchowi. Zapisuj te zmiany jako warianty i sprawdź, czy zachowują cel jakościowy.

Źródła techniczne: PyTorch — checkpointing aktywacji · PyTorch — reguły AMP

Przykład: porównanie trzech współczynników uczenia

Przygotuj punkt odniesienia na poziomie 0,0001 oraz dwa warianty ilustracyjne na 0,00005 i 0,0002. Te wartości nie są zaleceniami dla Twojego modelu: służą do napisania planu. W tym uproszczonym przypadku utrzymaj architekturę, dane, efektywny batch i budżet 200 aktualizacji bez zmian. Przed próbą określ częstotliwość walidacji i przyczyny zatrzymania.

Zachowaj krzywą straty, punkty walidacji i predykcje potrzebne do analizy. Jeśli wariant się rozbiega, jego linia pozostaje w podsumowaniu. Ponowne uruchomienie z innym batchem otrzymuje nowy identyfikator i nie zastępuje po cichu niepowodzenia. Jeśli różnica w jakości jest niewielka, metoda oparta na ziarnach wyjaśnia, jak porównać kilka prób, nie wybierając tylko najlepszej.

Wznowienie uczenia, a potem ponowne sprawdzenie wyniku

Zapis wag umożliwia niektóre zastosowania inferencji; wznowienie uczenia musi także odtworzyć istotne stany i postęp. Przewodnik PyTorch rozróżnia między innymi model i optymalizator. Przetestuj wznowienie wcześnie w nowym procesie, z elementami niezbędnymi dla Twojej pętli, a następnie sprawdź krok, współczynnik uczenia i ciągłość danych.

Na zakończenie wczytaj ponownie artefakt przeznaczony do ewaluacji i odtwórz wejścia kontrolne. Zarchiwizuj model lub adapter, konfigurację, rewizje, surowe metryki i instrukcje. Nie ładuj pliku o nieznanym pochodzeniu tylko po to, by sprawdzić jego zawartość: używaj artefaktów, których pochodzenie i zasady deserializacji w Twoim środowisku znasz.

Źródła techniczne: PyTorch — wagi i checkpointy wznowienia

Od pilotażu do dopasowanego wynajmu

Twoja karta wyboru zbiera pamięć na GPU, maksymalne wymiary, precyzję, mikrobatch, akumulację, strategię podziału i oczekiwany wynik. Konfiguracja z wystarczającą pamięcią jest wybierana dopiero po sprawdzeniu stosu oprogramowania. Preferencja PyTorch przy zamówieniu opisuje życzone przygotowanie; nie gwarantuje Twojego modelu ani wszystkich jego rozszerzeń.

Następnie uporządkuj priorytetowe warianty w pakiecie 3, 7 lub 30 dni, zachowując czas na ewaluację i eksport. Żaden czas trwania nie narzuca typu treningu. Notes może przechowywać decyzję i wpisane obserwacje, a Twoje kopie zapasowe przechowują pliki. Udana kampania daje wniosek możliwy do odtworzenia, także gdy punkt odniesienia pozostaje najlepszym wyborem.

Praktyczne pytania