Beralih dari permintaan tunggal ke beban yang realistis
Mulailah dengan satu permintaan, lalu tingkatkan jumlah permintaan bersamaan secara bertahap. Ulangi sekumpulan input tetap, dengan berbagai panjang dan jenis konten. Catat median dan ukuran permintaan lambat, bukan hanya rata-rata. Untuk generasi, bedakan waktu sebelum token pertama dari durasi keseluruhan. Pengamatan ini menjawab penggunaan yang berbeda, seperti antarmuka interaktif atau pemrosesan dokumen offline.
Menjaga margin dalam 24 GB
Model yang dimuat tanpa kesalahan masih bisa jenuh di bawah beberapa permintaan. Ukur cache, buffer, dan perilaku pada input panjang Anda. Uji batas konkurensi yang menyisakan margin dan catat batas itu bersama modelnya. Jika Anda mengkuantisasi bobot, verifikasi jawaban pada set evaluasi Anda sebelum menganggap varian tersebut setara.
Untuk pemrosesan offline, batch yang lebih besar bisa diterima meskipun meningkatkan latensi individual. Sajikan kedua tujuan ini secara terpisah dalam catatan Anda agar dapat memilih konfigurasi berdasarkan kebutuhan nyata.
Memilih mesin yang kompatibel dengan Ada
L4 menggunakan arsitektur Ada. Periksa versi CUDA, PyTorch, atau mesin inferensi, serta format kuantisasi dan operator yang dibutuhkan. Pemuatan awal tidak memvalidasi semua bentuk input: sertakan contoh yang paling menuntut dalam pengujian. Bandingkan RTX 4090 untuk konfigurasi 24 GB lainnya, atau L40S ketika konteks atau konkurensi yang lebih besar menuntut 48 GB.
Menyewa untuk menetapkan kapasitas terukur
Tiga hari memungkinkan pemetaan hubungan pertama antara konkurensi dan latensi. Tujuh hari memberi waktu untuk mengevaluasi beberapa pengaturan dan mengulangi pengujian. Tiga puluh hari mendampingi kampanye inferensi atau validasi yang rutin. Siapkan permintaan, model, dan kriteria kualitas sebelum pemesanan. Pilih paket Anda, isi data kontak Anda, dan ikuti instruksi crypto; « J'ai payé » menandai transfer yang telah dilakukan.