Hãy trao cho bản tinh chỉnh dung lượng mà nó cần.

Xác định mức tăng sẽ biện minh cho chiến dịch của bạn.

Hãy xác định một tác vụ quan sát được: phân loại một ticket, trích xuất các trường hoặc tuân theo một dạng trả lời. Trước tiên hãy xử lý một chỉ dẫn tham chiếu và giữ lại các đầu ra của nó. Nếu chỉ đổi prompt là đủ, nó trở thành một ứng viên để so sánh. Không có đối chứng này, một lợi ích được gán cho fine-tuning có thể chỉ đến từ một cách diễn đạt tốt hơn hoặc một cách xử lý câu trả lời khác.

Tách biệt tính hợp lệ của định dạng và tính chính xác của nội dung. Một đối tượng JSON vượt qua được bộ phân tích cú pháp vẫn có thể chứa sai danh mục. Hãy thêm các hành vi cần giữ nguyên, ví dụ cách xử lý một trường bị thiếu hoặc một lớp hiếm gặp. Hãy đặt ra các quy tắc chấp nhận và lý do loại bỏ trước khi chọn hạng, tốc độ học hoặc số bước.

Chọn dữ liệu cho phép đưa ra quyết định.

Hãy giữ các biến thể của cùng một cuộc hội thoại, cùng một tài liệu hay cùng một nguồn trong một tập duy nhất khi mức độ gần gũi của chúng đe dọa tính độc lập của việc đánh giá. Hãy thực hiện việc tách biệt trước các phép biến đổi được học hoặc các điều chỉnh dựa trên kết quả. Việc chia ngẫu nhiên theo từng dòng có thể tạo cảm giác tiến bộ trên những ví dụ gần như đã từng thấy.

Ví dụ minh họa: 1.200 ticket được nhóm theo cuộc hội thoại, sau khi tôn trọng các nhóm, được chia thành 840 ví dụ học, 180 ví dụ kiểm định và 180 ví dụ kiểm tra. Những con số này mô tả một kế hoạch minh họa, không phải một tập dữ liệu được cung cấp. Tập kiểm định dùng để chọn biến thể; tập kiểm tra cuối cùng được giữ tách riêng. Hãy xem xét các danh mục và độ dài trong mỗi tập thay vì tin rằng chỉ riêng tỷ lệ là đủ đảm bảo chất lượng của chúng.

Giữ lại phương án thích ứng để so với mốc tham chiếu của bạn.

Việc tinh chỉnh toàn bộ sẽ thay đổi các trọng số liên quan của mô hình cơ sở. LoRA thêm các ma trận hạng thấp vào các mô-đun được nhắm mục tiêu và học phần đóng góp của chúng. Hạng, các mô-đun được nhắm mục tiêu, hệ số tỷ lệ và các tùy chọn được chọn sẽ xác định thí nghiệm. Hạng cao hơn làm tăng số lượng tham số của bộ điều hợp, nhưng không chứng minh rằng nó sẽ cải thiện tác vụ của bạn.

Với một ma trận minh họa 4.096 × 4.096, hai ma trận LoRA hạng 8 chứa 8 × (4.096 + 4.096) = 65.536 giá trị, so với 16.777.216 giá trị trong ma trận đặc, chưa kể độ lệch và các mô-đun khác. Tỷ lệ giữa các con số này không mô tả toàn bộ mô hình cũng như đỉnh bộ nhớ: vẫn cần xem xét mô hình cơ sở, các activation và trạng thái của các tham số được học.

Nguồn kỹ thuật: PEFT — cấu hình và ma trận LoRA

Chọn độ chính xác cho toàn bộ chu kỳ làm việc.

Một mô hình cơ sở được tải ở dạng bốn bit không có nghĩa là mọi phép toán, mọi tensor và bộ nhớ đệm đều dùng bốn bit. Siêu dữ liệu lượng tử hóa và các mô-đun được giữ ở độ chính xác khác sẽ ảnh hưởng đến việc phân bổ. Trong bitsandbytes, việc huấn luyện các mô hình được tải ở dạng bốn hoặc tám bit liên quan đến các tham số bổ sung; đây không phải là một cập nhật chung cho các trọng số đã lượng tử hóa.

Hãy ghi lại định dạng của mô hình cơ sở, kiểu tính toán, các mô-đun có thể huấn luyện và các phiên bản. Hãy so sánh một bước thực sự, việc đánh giá và thao tác xuất mà bạn muốn sử dụng. Việc hợp nhất, giải lượng tử hóa hoặc tạo ra một định dạng khác có thể đòi hỏi dung lượng khác với khi huấn luyện. Một phương pháp trụ được trong lúc tinh chỉnh vẫn chưa đủ chứng minh rằng toàn bộ chu trình sẽ trụ được trên cùng một card.

Nguồn kỹ thuật: Transformers 5.17 — bitsandbytes và các tham số bổ sung

So sánh các biến thể với ngân sách thử nghiệm đã định.

Trên tập minh họa, hãy giữ một mốc tham chiếu không tinh chỉnh, một LoRA hạng 8 và một biến thể hạng 16, với cùng các mô-đun, dữ liệu, ngân sách số bước và quy tắc đánh giá. Khi đó hạng chính là yếu tố được nghiên cứu. Nếu bạn thay đổi đồng thời hạng và tốc độ học, bạn tạo ra một câu hỏi khác; hướng dẫn về ablation giải thích cách làm cho tương tác này trở nên dễ hiểu.

Trước mỗi lần thử, hãy kiểm tra một vài ví dụ đã được token hóa và các phần đóng góp vào hàm mất mát. Sau lần thử, hãy đối chiếu các dự đoán đã nhận diện với cùng một bộ đánh giá. Hãy ghi lại các đầu ra bị thiếu và các trường hợp suy giảm, chứ không chỉ giá trị trung bình. Một lớp hiếm gặp trở nên sai một cách có hệ thống có thể vô hiệu hóa một lợi ích tổng thể theo hợp đồng chất lượng của bạn.

Hãy ghi lại cả alpha, dropout và khởi tạo. Với cấu hình LoRA cổ điển, hệ số tỷ lệ là alpha/r; hãy nêu rõ liệu bạn giữ nguyên alpha hay giữ nguyên tỷ lệ alpha/r khi hạng thay đổi. Những giao thức này không trả lời chính xác cùng một câu hỏi. Một quy tắc hệ số tỷ lệ khác, như rsLoRA, cần được nhận diện riêng.

Nguồn kỹ thuật: PEFT — thứ hạng, alpha và quy tắc tỉ lệ LoRA

Quyết định cần sửa gì trước khi dùng thêm tài nguyên tính toán.

Một loss giảm trong khi chất lượng validation giậm chân tại chỗ đòi hỏi phân tích, chứ không tự động cần thêm bước. Hãy xem xét lỗi nhãn, sự lặp lại cách diễn đạt, đầu vào bị cắt cụt và sự khác biệt giữa định dạng huấn luyện với định dạng suy luận. Giữ một mẫu lỗi theo từng nhóm để chọn cách sửa.

Nếu bạn sửa một taxonomy hoặc phần parsing, hãy đánh phiên bản cho bộ đánh giá và tính lại điểm của các ứng viên cần thiết. Đừng so sánh trực tiếp hai con số thu được với các quy tắc khác nhau. Nếu bạn kiểm tra tập test cuối để chọn cách sửa, thì nó đã tham gia vào quá trình phát triển: hãy chuẩn bị một đánh giá độc lập mới cho kết luận tiếp theo.

Kiểm tra kết quả bạn muốn tái sử dụng.

Định dạng PEFT lưu tham số của adapter và cấu hình của nó; thường thì nó không chứa trọng số của base. Vì vậy hãy giữ định danh và revision chính xác của base đó cùng với artefact. Chỉ một tên model trỏ tới một phiên bản có thể thay đổi là không đủ để tái dựng các điều kiện.

Hãy nạp lại trong một tiến trình mới kết quả thực sự dành cho mục đích sử dụng. Chạy lại vài đầu vào kiểm soát, rồi chạy lại giao thức đánh giá. Lưu trữ tokenizer, template, tham số sinh, phụ thuộc, chỉ số và nguồn gốc dữ liệu. Nếu artefact đã được hợp nhất, hãy ghi lại phép biến đổi đó và kiểm tra đầu ra của nó; đó là một bước cần xác minh, không phải một thủ tục vô hình.

Nguồn kỹ thuật: PEFT — nội dung checkpoint và model base

Chọn bước tiếp theo dựa trên kết quả.

So sánh các GPU dựa trên đỉnh của bước hoàn chỉnh và đánh giá, đầu vào tối đa cần thiết và stack phần mềm tương thích. Trong gói thuê, hãy dành thời gian cho đối chứng, các biến thể ưu tiên, đọc lỗi và khôi phục. Việc chọn một môi trường khi đặt hàng thể hiện sự chuẩn bị mong muốn, không tự động công nhận adaptation của bạn.

Kết luận phải nêu rõ ứng viên được chọn hoặc việc không đủ mức cải thiện, các nhóm được bao phủ, các hồi quy đã biết và điều kiện nạp lại. Sổ tay của bạn lưu các tham chiếu và lý do lựa chọn. Gói đo bộ nhớ giúp hiểu cách instrumentation; nó không cung cấp một huấn luyện LoRA đã kiểm nghiệm thay bạn.