Một ablation phải cô lập một quyết định.

Viết một giả thuyết có thể bị phản bác

«Cải thiện model» không nêu rõ thí nghiệm. Thay vào đó hãy viết: «Việc đánh trọng số lớp cải thiện chất lượng trên các lớp hiếm, mà không vượt quá mức hồi quy được chấp nhận trên các lớp phổ biến.» Hãy nêu một chỉ số chính, các nhóm con quan trọng và ngưỡng hiệu ứng hữu ích. Đồng thời cố định ràng buộc luôn được ưu tiên: bộ nhớ, thời hạn, độ bao phủ đầu vào hoặc sự đơn giản của model.

Phân biệt giữa thêm vào và loại bỏ. Thêm một thành phần vào một tham chiếu đơn giản đo lường đóng góp của nó trong bối cảnh đó. Loại bỏ nó khỏi một hệ thống hoàn chỉnh đo lường những gì hệ thống đó mất đi. Hai câu hỏi này có thể cho ra những câu trả lời khác nhau khi các thành phần tương tác với nhau. Do đó, kết luận của bạn phải nêu rõ tham chiếu và trạng thái của các yếu tố còn lại.

Sản phẩm bàn giao mong đợi là một quyết định kèm theo bảng các biến thể, chứ không chỉ là một điểm số tốt hơn. Trước khi đặt lịch cho các lần thử nghiệm, hãy viết ra điều gì sẽ khiến bạn giữ lại, từ bỏ hoặc đào sâu từng hướng đi.

Nguồn kỹ thuật: NIST — xác định mục tiêu của kế hoạch thực nghiệm

Xây dựng một đối chứng và các biến thể có thể diễn giải được

Đối chứng sử dụng lại quy trình tham chiếu, với các phiên bản, dữ liệu và quy tắc chọn checkpoint của nó. Nó phải có thể chạy được trong chiến dịch hiện tại. Một chỉ số cũ không có dự đoán cũng như giao thức đầy đủ có thể dùng làm mốc tham chiếu, nhưng nó không tự động thay thế đối chứng này.

Với mỗi yếu tố, hãy khai báo chính xác hai trạng thái được so sánh. "Bật tăng cường dữ liệu" là quá mơ hồ: hãy giữ nguyên phép biến đổi, xác suất và dữ liệu liên quan. Mô tả các tham số vẫn giữ nguyên chung: tiền xử lý ngoài yếu tố đang nghiên cứu, các split, optimizer, ngân sách huấn luyện và phương pháp đánh giá. Nếu số bước huấn luyện giữ nguyên nhưng số token được xử lý thay đổi, hãy ghi chú hệ quả này.

Giữ tập test cuối cùng nằm ngoài các lựa chọn biến thể. Các phép biến đổi được học và các quyết định tinh chỉnh phải sử dụng dữ liệu được dành cho mục đích đó. Một cải thiện đạt được sau khi điều chỉnh mô hình dựa trên lỗi của tập test không còn là một đánh giá độc lập nữa.

Nguồn kỹ thuật: scikit-learn — tránh rò rỉ dữ liệu

Hai yếu tố đòi hỏi bốn tình huống

Giả sử bạn nghiên cứu A, một cách đánh trọng số các lớp, và B, một quy tắc tăng cường dữ liệu khi huấn luyện. Để thấy tương tác giữa chúng, hãy xem xét đối chứng, chỉ A, chỉ B và A cùng với B. Kế hoạch hai yếu tố và hai mức này chứa bốn cấu hình. Với k yếu tố nhị phân, kế hoạch đầy đủ chứa 2ᵏ cấu hình trước khi lặp lại: số lần thử nghiệm tăng rất nhanh.

Bảng sau đây là một ví dụ số được bịa ra để giải thích lập luận. Các điểm số của nó không đến từ bất kỳ quá trình huấn luyện nào. Chúng đại diện cho các giá trị trung bình macro-F1 hư cấu trên thang điểm từ 0 đến 100; trong công việc thực tế, các giá trị riêng lẻ và mức độ biến thiên của chúng vẫn là điều không thể thiếu.

Nguồn kỹ thuật: NIST — kế hoạch yếu tố đầy đủ ở hai mức

Đọc các hiệu ứng và tương tác của chúng

Trong ví dụ này, A mang lại 1,2 điểm khi không có B, nhưng chỉ 0,7 điểm khi B đã được bật. B mang lại 0,8 điểm khi không có A và 0,3 điểm khi có A. Lợi ích kết hợp là 1,5 điểm, trong khi tổng của hai lợi ích riêng lẻ là 2,0 điểm. Chênh lệch −0,5 điểm ở đây mô tả một tương tác không cộng tính.

Phép tính này không thiết lập được tính vững chắc của nó cũng không đưa ra lời giải thích cho cơ chế. Nó cho bạn biết cần xác nhận câu hỏi nào: việc thêm B vào hệ thống chứa A có biện minh cho độ phức tạp của nó chỉ với 0,3 điểm trong ví dụ này không? Hãy xem xét cả các nhóm con đã dự kiến. Một giá trị trung bình duy nhất có thể che giấu những lợi ích và mất mát khác nhau.

Hãy so sánh những khác biệt này trên các lần lặp lại được ghép cặp khi giao thức của bạn cho phép. Đừng chọn hạt giống tốt nhất của mỗi biến thể. Nếu dấu hoặc độ lớn thay đổi mạnh giữa các lần thử nghiệm, quyết định vẫn còn chưa chắc chắn.

Nguồn kỹ thuật: NIST — các tổ hợp và tương tác trong một kế hoạch yếu tố

Phân bổ ngân sách cho những quyết định quan trọng

Một hạn mức thử nghiệm là một công cụ lập kế hoạch, không phải một dự báo về tốc độ GPU. Ví dụ: bạn có một ngân sách tổ chức gồm 24 lần chạy hoàn chỉnh. Bạn phân bổ 12 lần chạy cho bốn cấu hình với ba hạt giống mỗi cấu hình, 10 lần cho một xác nhận đối chứng và một ứng viên với năm hạt giống mới, và 2 lần cho các lần chạy lại có lý do chính đáng. Tổng cộng là 24; chưa có gì cho biết chúng sẽ cần bao nhiêu giờ.

Ba hạt giống đầu tiên ở đây dùng để khám phá, không phải để xác nhận một người thắng. Hãy cố định quy tắc chọn ứng viên trước khi quan sát chuỗi này. Bước xác nhận sử dụng giao thức đã định; các hạt giống mới giúp giảm sự phụ thuộc vào lựa chọn ban đầu nhưng không khắc phục được tập kiểm tra đã dùng để điều chỉnh mô hình.

Nếu ngân sách không cho phép số lần lặp cần thiết, hãy giảm bớt các yếu tố hoặc hoãn một câu hỏi. Ưu tiên những thay đổi ảnh hưởng đến một quyết định thực tế: loại bỏ một thành phần tốn kém, giải quyết một thất bại hoặc phân định hai lựa chọn gần nhau. Hãy dành thời gian cho việc đánh giá và các tạo tác trước khi so sánh các gói.

Chuẩn bị thứ tự và quy tắc dừng

Hãy viết danh sách các lần thử trước khi khởi chạy, kèm mã định danh, cấu hình, hạt giống và mức ưu tiên. Hãy phân bổ các biến thể theo thứ tự chạy thay vì hoàn thành tất cả đối chứng rồi mới đến tất cả ứng viên. Nếu một giai đoạn, một tập dữ liệu hoặc một máy tạo thành một khối so sánh, hãy ghi chép khối đó. Một thay đổi môi trường ở giữa chuỗi phải được thể hiện rõ.

Hãy chuẩn bị các lý do dừng kỹ thuật, như lỗi lặp lại hoặc tràn bộ nhớ. Hãy giữ lại mỗi lần thử và trạng thái của nó. Đừng âm thầm thay thế một thất bại bằng một lần chạy ngắn hơn, cũng đừng thay một lần thử đáng thất vọng bằng một hạt giống mới cho đến khi đạt được điểm mong đợi.

Một lần dừng sớm được quyết định dựa trên điểm số sẽ thay đổi giao thức phân tích. Nếu bạn dự kiến các quyết định trung gian, hãy công bố quy tắc và phạm vi khám phá của chúng. Để có kết luận xác nhận, hãy giữ một kế hoạch phân tích phù hợp với những quyết định đó.

Kết thúc phép loại bỏ bằng một kết luận có thể kiểm chứng

Phiếu kết quả cuối cùng nêu rõ giả thuyết, đối chứng, các yếu tố, số lần lặp, các chênh lệch và các trường hợp thất bại. Hãy liên kết mỗi giá trị với các dự đoán và lần chạy đã tạo ra nó. Kết thúc bằng một quyết định rõ ràng: giữ lại thành phần, loại bỏ thành phần, hoặc không đủ dữ liệu để lựa chọn.

Hãy tránh ba lối tắt: quy một thay đổi cho A trong khi bước tiền xử lý cũng đã thay đổi; cộng dồn các lợi ích riêng lẻ mà không kiểm tra sự kết hợp của chúng; công bố một quy tắc chung từ chỉ một tập ngữ liệu. Một phép loại bỏ thiết lập một quan sát trong một giao thức đã định. Phạm vi của nó phụ thuộc vào dữ liệu, mô hình và các biến thể thực sự được nghiên cứu.

Câu hỏi thực tế