試行を重ねる前にパイプラインを確認する
小さなデータセットで、テンソルの形状、ラベル、検証の分割、出力の一貫性を確認しましょう。タスクにとって意味がある場合は、まず極小のバッチを学習させてみてください。失敗すれば、データ、損失、勾配の問題が明らかになることがあります。このステップは、中間チェックなしで長い実行を始めるよりも有用な基盤になります。
簡単なメモリ記録を作る
この24 GBの枠では、読み込み後の容量、学習ステップのピーク、評価のピークを記録しましょう。精度、マイクロバッチ、入力の長さや解像度も加えます。これほど短い記録でも、モデルによる飽和とデータによる飽和を区別できます。実験を広げる場合に次のGPUを選ぶのにも役立ちます。
量子化モデルの推論では、参照出力との比較例を保持しましょう。適応では、学習済みパラメータを保持し、エクスポートをクリーンなセッションで再読み込みします。保存したファイルとそれを再現するコマンドは、常に結び付けておく必要があります。
Ampere世代との一貫性を保つ
CUDA/PyTorch のスタックや専門ライブラリが Ampere をサポートしていることを確認してください。まずはプロジェクトでドキュメント化されている組み合わせから始め、必要に応じてバージョンを一つずつ変更することをおすすめします。RTX 3090 も 24GB の比較対象となります。入力を問題を変えずに削減できない場合は、解釈が難しい調整を積み重ねるよりも、48GB の A40 を検討してください。
プランを再利用可能な出発点に変える
3日間で、検証済みのパイプラインと再読み込み可能なチェックポイントを生成できます。7日間では、複数のデータ選択やハイパーパラメータを検討できます。30日間は、すでに実行と評価の準備が整った小規模なキャンペーンに適しています。注文前に、テストデータとエクスポートする結果のリストを準備してください。期間、数量、希望する環境を選択し、連絡先情報を入力してください。暗号通貨での決済は、フォルダ内で「支払いました」により報告します。