単発のリクエストから現実的な負荷へ
まず1件のリクエストから始め、その後、同時リクエスト数を段階的に増やします。固定の入力セットを使い、複数の長さとコンテンツタイプで再実行します。平均値だけでなく、中央値と遅いリクエストの指標を記録します。生成の場合、最初のトークンまでの時間と全体の所要時間を区別します。これらの観察は、対話型インターフェースやオフラインのドキュメント処理など、異なる用途に対応します。
24GB内でマージンを守る
エラーなくロードできたモデルでも、複数のリクエストで飽和する可能性があります。キャッシュ、バッファ、長い入力での挙動を測定してください。マージンを保てる並行処理の上限をテストし、その上限をモデルとともに記録します。重みを量子化する場合は、そのバリアントを同等とみなす前に、評価セットで回答を確認してください。
オフライン処理では、個々のレイテンシが増えても、より大きなバッチが許容される場合があります。実際のニーズに基づいて構成を選べるよう、これら2つの目標をノートに分けて記載してください。
Adaに対応するエンジンを選ぶ
L4はAdaアーキテクチャを採用しています。CUDA、PyTorch、推論エンジンのバージョン、および必要な量子化フォーマットとオペレーターを確認してください。初回のロードだけではすべての入力形式を検証できないため、最も負荷の高い例をテストに含めてください。別の24GB構成としてRTX 4090、より大きなコンテキストや並行処理で48GBが必要な場合はL40Sと比較してください。
測定されたキャパシティを定義するためにレンタルする
3日間で、並行数とレイテンシの最初の関係を描けます。7日間あれば、複数の設定を評価し、テストを繰り返す時間が取れます。30日間は、定期的な推論または検証のキャンペーンに伴います。注文前にリクエスト、モデル、品質基準を準備してください。プランを選択し、連絡先情報を入力して、暗号通貨の手順に従います。「支払いました」で送金完了を報告します。