予算をアブレーションのために使う
有用なアブレーションは、一度に一つの要素を削除または変更します。データカテゴリ、拡張、損失の構成要素、訓練されるモジュールなどです。最初の実行前にバリアントを書き出し、ベース試行を保持してください。利用可能な時間は、それらの評価にも充てる必要があります。比較不能な構成の大きな表よりも、結果の違いを明確に帰属できる小さなセットの方が有用です。
レシピを安定させるためにメモリを使う
48 GBは、バリアント間で同じ解像度や長さを維持するための余裕をもたらします。より小さなカードで各試行ごとにプロトコルを変更しなければならない場合、これは方法論上の利点です。ただし、各バリアントのピークを測定してください。モデルの構成要素を変更すると、アクティベーションメモリが変わる可能性があります。有効バッチの共通ルールを保持し、マイクロバッチの削減をすべて文書化してください。
識別可能なチェックポイントと、実験の識別子を含むエクスポート名を用意してください。長いシリーズの前に、再実行が正しいパラメータで再開され、黙ってゼロから始まらないことを確認してください。
検証可能なAmpereスタックを保つ
CUDA、PyTorch、およびモデル固有の演算子のAmpereとの互換性を確認してください。論文を再現するために保持された古いバージョンは、キャンペーン前に完全なテストを行う価値があります。RTX A6000は、もう一つの48 GBのAmpereカードとの比較を可能にします。ステップの所要時間が主な障害になった場合は、データや精度を同時に変更せずに、L40SのようなAda構成も測定してください。
実験マトリクスのための3つの期間
3日間は基盤と最初のアブレーションの検証に使います。7日間では短いマトリクスとその見直しが可能です。30日間は複数のシードによる反復とロバスト性のチェックに適しています。期間、カード枚数、希望する環境を選択し、連絡先情報を入力してください。ソフトウェアと計算はご自身で準備します。暗号通貨での支払いの追跡は注文スペースで引き続き可能です。