Tạo ra các embeddings vẫn có thể so sánh được
Một chiến dịch embeddings phải cố định mô hình, cách token hóa, quy tắc cắt ngắn, pooling và chuẩn hóa. Những lựa chọn này làm thay đổi các biểu diễn thu được. Với văn bản có độ dài thay đổi, hãy thử các lô được nhóm theo độ dài và so sánh chúng với cách tổ chức ban đầu của bạn. Ghi lại số tài liệu đã xử lý và số token hữu ích, để một thay đổi cách lấp đầy lô không trông giống như một mức tăng không giải thích được.
Phân bổ 48 GB giữa mô hình và công việc hữu ích
Hãy tăng batch trên một mẫu chứa các văn bản dài nhất hoặc các hình ảnh lớn nhất. Một phép đo trên giá trị trung bình có thể bỏ lọt sự bão hòa muộn ở giữa corpus. Hãy xuất các biểu diễn ngay trong khi xử lý thay vì tích lũy vô ích toàn bộ kết quả trên GPU. Giữ một định danh ổn định, chẳng hạn, để liên kết mỗi đầu ra với đầu vào của nó và tiếp tục một chiến dịch bị gián đoạn.
Đối với việc adaptation, hãy áp dụng cùng một kỷ luật với các checkpoint: mô hình cơ sở, tham số được huấn luyện và dữ liệu phải luôn gắn với nhau. Dung lượng 48 GB không miễn trừ việc đo các activation và trạng thái của optimizer.
Ampere hay Ada ở cùng dung lượng
RTX A6000 và RTX 6000 Ada là hai mô hình khác nhau dù đều có 48 GB. Hãy kiểm tra các kernel CUDA mục tiêu và phiên bản PyTorch của dự án trước khi so sánh. Một thử nghiệm ngắn có thể phân định chi phí của toàn bộ corpus, với cùng các đầu ra mong đợi. A40 là một lựa chọn Ampere 48 GB khác; A100 SXM trở nên phù hợp khi bộ nhớ yêu cầu vượt quá mức này.
Đặt hàng với một kế hoạch khôi phục
Ba ngày có thể bao gồm việc profiling và một lô embeddings đầu tiên. Bảy ngày cho phép sản xuất rồi kiểm tra một corpus. Ba mươi ngày đồng hành với nhiều phiên bản biểu diễn hoặc một chiến dịch adaptation. Hãy chuẩn bị định danh, thư mục xuất và danh sách các lô trước khi thuê. Chọn thời hạn và số lượng, ghi rõ môi trường mong muốn và thông tin liên hệ của bạn, rồi theo dõi thanh toán crypto và tiến độ trong đơn hàng.