H100 SXM 80 GB: thuê năng lực cho chiến dịch Hopper của bạn.

Đánh giá độ chính xác cùng với hội tụ

Hopper hỗ trợ các phép toán FP8, nhưng định dạng này đòi hỏi một ngăn xếp phần mềm và một mô hình phù hợp. Hãy bắt đầu bằng một lần chạy BF16 hoặc FP16 đã được dự án của bạn kiểm chứng, rồi mới xem xét một biến thể có độ chính xác thấp hơn. Giữ nguyên các ví dụ đánh giá và theo dõi mất mát, các giá trị không hữu hạn và chỉ số cuối cùng. Số bước mỗi giây cao hơn chỉ có giá trị nếu thí nghiệm vẫn trả lời đúng câu hỏi của nó.

Khai thác 80 GB mà không làm sai lệch giao thức

Hãy tăng dần microbatch cho đến khi đạt một mức dư bộ nhớ hợp lý, bằng cách đo một bước bao gồm cả lan truyền ngược. Tích lũy gradient sau đó cho phép xây dựng một batch hiệu dụng lớn hơn mà không đòi hỏi tất cả các mẫu của nó phải nằm đồng thời trong bộ nhớ. Hãy ghi lại cả hai kích thước: chúng không có cùng ý nghĩa đối với hiệu năng hay việc cập nhật tham số.

Trước một chiến dịch dài, hãy thực sự nạp lại một checkpoint và chạy vài bước. Phép thử này phát hiện sớm hơn những thiếu sót về trạng thái optimizer hay lịch tốc độ học so với việc chỉ kiểm tra sự tồn tại của tệp.

SXM, PCIe hay nhiều bộ nhớ hơn?

Hãy giữ một bản dựng CUDA/PyTorch tương thích với Hopper và kiểm tra các tiện ích mở rộng attention của bạn. H100 PCIe là một đối tượng so sánh phù hợp cho công việc trên một card, nhưng một biến thể phần cứng khác phải được đo trên khối lượng công việc của bạn. Hãy ưu tiên xem xét H200 nếu vấn đề chính vẫn là dung lượng bộ nhớ. A100 SXM cũng hữu ích để so sánh chi phí của một thí nghiệm mà các kernel và độ chính xác của nó đã chạy được trên Ampere.

Gắn việc thuê với một sản phẩm nghiên cứu

Trong ba ngày, hướng tới một đường cong tăng batch và một checkpoint có thể tái sử dụng. Trong bảy ngày, hãy so sánh vài cấu hình được chọn lọc kỹ. Trong ba mươi ngày, hãy tổ chức các lần lặp lại và đánh giá trung gian. Hãy đặt hàng với thời lượng, số card và môi trường mong muốn; thanh toán bằng crypto rồi nhấp vào « J’ai payé ». Sổ tay của bạn có thể lưu giữ công thức chính xác của từng lần thử bên cạnh việc theo dõi đơn hàng.