比較可能な埋め込みを生成する
埋め込みキャンペーンでは、モデル、トークン化、切り捨て規則、プーリング、正規化を固定する必要があります。これらの選択は得られる表現を変化させます。長さが異なるテキストの場合、長さごとにまとめたバッチを試し、最初の構成と比較してください。処理した文書数と有効トークン数を記録して、バッチの埋め方の変更が原因不明の改善に見えないようにしましょう。
48 GBをモデルと有効な作業に配分する
最も長いテキストや最も大きな画像を含むサンプルでバッチを増やしてください。平均での測定では、コーパスの中盤で発生する遅い飽和を見逃す可能性があります。すべての結果をGPU上に無駄に蓄積するのではなく、処理中に表現をエクスポートしてください。各出力を入力に結び付け、中断されたキャンペーンを再開できるよう、例えば安定した識別子を保持してください。
適応においても、チェックポイントには同じ規律を適用してください。ベースモデル、訓練されたパラメータ、データは関連付けられた状態を保つ必要があります。48 GBの容量があっても、アクティベーションとオプティマイザの状態を測定する必要は変わりません。
同じ容量ならAmpereかAdaか
RTX A6000とRTX 6000 Adaは、どちらも48 GBですが別のモデルです。比較する前に、プロジェクトで対象とするCUDAカーネルとPyTorchのバージョンを確認してください。短い試行で、同じ期待出力のもと、コーパス全体のコストを判断できます。A40は48 GBのもう一つのAmpereの選択肢です。A100 SXMは、必要なメモリがこの範囲を超える場合に適しています。
再開計画を伴う発注
3日間でプロファイリングと最初のバッチの埋め込みをカバーできます。7日間あれば、コーパスを生成してから検証できます。30日間は、複数バージョンの表現や適応キャンペーンに対応します。レンタル前に、認証情報、エクスポートディレクトリ、バッチ一覧を準備してください。期間と数量を選択し、希望する環境と連絡先を入力すると、注文の中で暗号資産での支払いと進行状況を確認できます。