Đặt ngân sách phục vụ các ablation
Một ablation hữu ích loại bỏ hoặc thay đổi từng yếu tố một: một loại dữ liệu, một augmentation, một thành phần loss hoặc một module được huấn luyện. Hãy viết các biến thể trước lần chạy đầu tiên và giữ một thử nghiệm cơ sở. Thời gian có sẵn cũng phải tài trợ cho việc đánh giá chúng. Một bảng lớn các cấu hình không thể so sánh được ít hữu ích hơn một tập nhỏ cho phép quy rõ ràng một khác biệt kết quả.
Dùng bộ nhớ để giữ công thức ổn định
48 GB có thể tạo dư địa để giữ nguyên cùng độ phân giải hoặc độ dài giữa các biến thể. Đây là một lợi thế phương pháp luận nếu một card nhỏ hơn buộc bạn phải sửa đổi quy trình ở mỗi thử nghiệm. Tuy nhiên, hãy đo các đỉnh của từng biến thể: thay đổi một thành phần của mô hình có thể thay đổi bộ nhớ activation. Giữ một quy tắc chung về batch hiệu dụng và ghi lại mọi việc giảm microbatch.
Hãy dự phòng các checkpoint dễ nhận biết và tên xuất có chứa định danh của thí nghiệm. Trước một chuỗi dài, hãy kiểm tra rằng một lần chạy khởi động lại sẽ tiếp tục với đúng các tham số thay vì âm thầm bắt đầu lại từ đầu.
Giữ một stack Ampere có thể kiểm chứng
Hãy kiểm tra tính tương thích của CUDA, PyTorch và các toán tử đặc thù của mô hình bạn với Ampere. Một phiên bản cũ được giữ để tái tạo một bài báo xứng đáng có một thử nghiệm đầy đủ trước chiến dịch. RTX A6000 cho phép so sánh với một card Ampere 48 GB khác. Nếu thời lượng của một bước trở thành trở ngại chính, hãy đo cả một cấu hình Ada như L40S, mà không đồng thời thay đổi dữ liệu hay độ chính xác của bạn.
Ba khung thời gian cho một ma trận thí nghiệm
Ba ngày dùng để xác nhận nền tảng và một phép loại bỏ đầu tiên. Bảy ngày cho phép dựng một ma trận ngắn và rà soát lại. Ba mươi ngày phù hợp với các lần lặp lại với nhiều seed và kiểm tra độ bền vững. Hãy chọn thời lượng, số lượng card và môi trường mong muốn, rồi điền thông tin liên hệ. Bạn tự chuẩn bị phần mềm và tính toán của mình; việc theo dõi thanh toán crypto vẫn luôn có sẵn trong không gian đơn hàng của bạn.