Daj swojemu dostrajaniu potrzebną mu pojemność.

Zdefiniuj zysk, który uzasadni twoją kampanię.

Zdefiniuj obserwowalne zadanie: klasyfikację zgłoszenia, wyodrębnienie pól lub zachowanie formy odpowiedzi. Najpierw opracuj instrukcję odniesienia i zachowaj jej wyniki. Jeśli zmiana promptu wystarczy, staje się ona kandydatem do porównania. Bez tego odniesienia zysk przypisywany fine-tuningowi może wynikać po prostu z lepszego sformułowania lub innego przetwarzania odpowiedzi.

Oddziel poprawność formatu od dokładności treści. Obiekt JSON, który przechodzi parser, może zawierać niewłaściwą kategorię. Dodaj zachowania, które chcesz zachować, na przykład obsługę brakującego pola lub rzadkiej klasy. Ustal reguły akceptacji i powody odrzucenia, zanim wybierzesz rangę, współczynnik uczenia czy liczbę kroków.

Wybierz dane, które pozwolą rozstrzygnąć.

Trzymaj warianty tej samej rozmowy, tego samego dokumentu lub tego samego źródła w jednym zbiorze, gdy ich bliskość zagraża niezależności oceny. Podział wykonaj przed przekształceniami wyuczonymi lub dostrajaniem kierowanym wynikami. Losowy podział po wierszach może sprawiać wrażenie postępu na przykładach już prawie widzianych.

Przykład dydaktyczny: 1200 zgłoszeń pogrupowanych według rozmowy dzieli się na 840 przykładów uczących, 180 walidacyjnych i 180 testowych po uwzględnieniu grup. Te liczby opisują plan poglądowy, a nie dostarczony korpus. Walidacja służy do wyboru wariantu; końcowy test trzyma się z boku. Sprawdzaj kategorie i długości w każdym zbiorze, zamiast wierzyć, że sam stosunek gwarantuje ich jakość.

Wybierz adaptację, którą porównasz ze swoim punktem odniesienia.

Pełny trening dostraja odpowiednie wagi modelu bazowego. LoRA dodaje macierze niskiego rzędu do wybranych modułów i uczy ich wkładu. Ranga, wybrane moduły, skala i wybrane opcje definiują eksperyment. Wyższa ranga zwiększa liczbę parametrów adaptera, nie dowodząc, że poprawi Twoje zadanie.

Dla poglądowej macierzy 4096 × 4096 dwie macierze LoRA rangi 8 zawierają 8 × (4096 + 4096) = 65 536 wartości, wobec 16 777 216 w macierzy gęstej, nie licząc obciążeń i innych modułów. Ten stosunek liczb nie opisuje ani całego modelu, ani szczytowego zużycia pamięci: model bazowy, aktywacje i stany uczonych parametrów wciąż trzeba uwzględnić.

Źródła techniczne: PEFT — konfiguracja i macierze LoRA

Wybierz precyzję dla całego cyklu pracy.

Baza wczytana w czterech bitach nie oznacza, że wszystkie operacje, wszystkie tensory i pamięć podręczna używają czterech bitów. Metadane kwantyzacji i moduły zachowane w innej precyzji wpływają na alokację. W bitsandbytes trening modeli wczytanych w czterech lub ośmiu bitach dotyczy parametrów dodatkowych; to nie jest ogólna aktualizacja skwantyzowanych wag.

Zapisuj format bazy, typ obliczeń, moduły trenowalne i wersje. Porównaj prawdziwy krok, ocenę i operację eksportu, której chcesz użyć. Scalanie, dekwantyzacja lub tworzenie innego formatu może wymagać innej przestrzeni niż trening. Metoda, która mieści się podczas dostrajania, nie jest jeszcze dowodem, że cały cykl zmieści się na tej samej karcie.

Źródła techniczne: Transformers 5.17 — bitsandbytes i parametry dodatkowe

Porównaj swoje warianty w ramach określonego budżetu prób.

Na zbiorze poglądowym utrzymaj punkt odniesienia bez dostrajania, LoRA rangi 8 i wariant rangi 16, z tymi samymi modułami, danymi, budżetem kroków i regułami oceny. Rangą jest wtedy badany czynnik. Jeśli zmienisz jednocześnie rangę i współczynnik uczenia, tworzysz inne pytanie; przewodnik po ablacjach wyjaśnia, jak uczynić tę interakcję czytelną.

Przed każdą próbą sprawdź kilka stokenizowanych przykładów i fragmenty, które wpływają na stratę. Po próbie skonfrontuj zidentyfikowane predykcje z tym samym ewaluatorem. Notuj brakujące wyjścia i regresje, nie tylko średnią. Rzadka klasa, która staje się systematycznie niepoprawna, może unieważnić ogólny zysk zgodnie z Twoim kontraktem jakości.

Udokumentuj także alpha, dropout i inicjalizację. Przy klasycznym ustawieniu LoRA skalą jest alpha/r; ogłoś, czy zachowujesz alpha, czy stosunek alpha/r, gdy ranga się zmienia. Te protokoły nie odpowiadają dokładnie na to samo pytanie. Inną regułę skalowania, jak rsLoRA, należy zidentyfikować osobno.

Źródła techniczne: PEFT — rang, alpha i reguły skalowania LoRA

Zdecyduj, co poprawić, zanim zaangażujesz więcej mocy obliczeniowej.

Strata, która spada, podczas gdy jakość walidacji stoi w miejscu, wymaga analizy, a nie automatycznie większej liczby kroków. Zbadaj błędy etykiet, powtarzanie sformułowań, obcięte dane wejściowe oraz rozbieżności między formatem treningu a formatem wnioskowania. Zachowaj próbkę błędów w każdej kategorii, aby wybrać poprawkę.

Jeśli poprawiasz taksonomię lub parsing, wersjonuj ewaluator i przelicz wyniki niezbędnych kandydatów. Nie porównuj bezpośrednio dwóch liczb uzyskanych według różnych reguł. Jeśli przeglądasz test końcowy, aby wybrać poprawkę, uczestniczy on odtąd w rozwoju: przygotuj nową niezależną ewaluację dla kolejnego wniosku.

Sprawdź wynik, który chcesz wykorzystać ponownie.

Format PEFT zachowuje parametry adaptera i jego konfigurację; zazwyczaj nie zawiera wag bazy. Zachowaj więc dokładny identyfikator i rewizję tej bazy wraz z artefaktem. Sama nazwa modelu wskazująca na rozwijającą się wersję nie wystarczy do odtworzenia warunków.

Wczytaj w nowym procesie wynik faktycznie przeznaczony do użycia. Powtórz kilka wejść kontrolnych, a następnie protokół ewaluacji. Zarchiwizuj tokenizer, szablon, parametry generowania, zależności, metryki i pochodzenie danych. Jeśli artefakt jest scalony, odnotuj tę transformację i sprawdź jego wyjścia; stanowi ona krok do zweryfikowania, a nie niewidoczną formalność.

Źródła techniczne: PEFT — zawartość checkpointu i model bazowy

Wybierz następny krok na podstawie wyników.

Porównaj GPU na podstawie szczytu pełnego kroku i ewaluacji, maksymalnych potrzebnych danych wejściowych oraz zgodnego stosu oprogramowania. Zarezerwuj w pakiecie czas na próbę kontrolną, priorytetowe warianty, czytanie błędów i odzyskiwanie. Wybór środowiska przy zamówieniu wyraża oczekiwane przygotowanie, bez automatycznej kwalifikacji twojej adaptacji.

Wniosek powinien wskazywać wybranego kandydata lub brak wystarczającego zysku, objęte grupy, znane regresje oraz warunki ponownego wczytania. Twój notes zachowuje referencje i powód wyboru. Pakiet pomiaru pamięci pomaga zrozumieć instrumentację; nie zapewnia w twoim imieniu przetestowanego treningu LoRA.