Kiểm tra pipeline trước khi nhân rộng các lần thử
Trên một tập dữ liệu nhỏ, hãy kiểm tra kích thước tensor, nhãn, việc tách tập validation và tính nhất quán của kết quả đầu ra. Trước tiên, hãy thử học một batch cực nhỏ khi điều đó phù hợp với tác vụ của bạn: thất bại có thể hé lộ vấn đề về dữ liệu, loss hoặc gradient. Bước này tạo nền tảng hữu ích hơn một lần chạy dài được khởi động mà không có kiểm tra trung gian.
Xây dựng một bảng ghi nhớ đơn giản
Với ngưỡng 24 GB này, hãy ghi lại dung lượng sau khi tải, mức đỉnh của một bước huấn luyện và mức đỉnh của bước đánh giá. Thêm độ chính xác, microbatch và độ dài hoặc độ phân giải của đầu vào. Một bảng ghi ngắn như vậy giúp phân biệt tình trạng bão hòa do mô hình với tình trạng bão hòa liên quan đến dữ liệu. Nó cũng dùng để chọn GPU tiếp theo nếu bạn mở rộng thử nghiệm.
Đối với suy luận của một mô hình đã lượng tử hóa, hãy giữ lại các ví dụ so sánh với một kết quả tham chiếu. Đối với việc tinh chỉnh, hãy giữ các tham số đã huấn luyện và tải lại bản export trong một phiên sạch. Tệp đã lưu và lệnh tái tạo nó phải luôn được gắn với nhau.
Giữ nhất quán với thế hệ Ampere
Hãy kiểm tra rằng ngăn xếp CUDA/PyTorch và các thư viện chuyên dụng của bạn hỗ trợ Ampere. Nên bắt đầu với một tổ hợp được dự án của bạn ghi lại trong tài liệu, rồi thay đổi từng phiên bản một nếu cần. RTX 3090 tạo thành một so sánh khác ở mức 24 GB. Nếu không thể giảm đầu vào mà không thay đổi bài toán, hãy xem xét A40 48 GB thay vì tích lũy những điều chỉnh khó diễn giải.
Biến gói thuê thành điểm khởi đầu có thể tái sử dụng
Ba ngày có thể tạo ra một pipeline đã được xác thực và một checkpoint tải lại được. Bảy ngày cho phép xem xét nhiều lựa chọn về dữ liệu hoặc siêu tham số. Ba mươi ngày phù hợp với một chiến dịch khiêm tốn đã sẵn sàng chạy và được đánh giá. Trước khi đặt hàng, hãy chuẩn bị dữ liệu thử nghiệm và danh sách kết quả cần export. Chọn thời lượng, số lượng và môi trường mong muốn, rồi hoàn tất thông tin liên hệ. Việc thanh toán crypto được báo trong hồ sơ bằng « J’ai payé ».