A100 SXM 80GB：MLプロトコルに余裕を。

改善する前に実験を再現する

開始時のチェックポイント、データのバージョン、トレーニング/検証の分割、正確なパラメータを揃えましょう。最初の実行で答えるべきは単純な問いです。期待される手法と一致する結果が得られるか。Python、PyTorch、CUDAのバージョン、および数値オプションを保管してください。シードを固定すると追跡は容易になりますが、2つの異なる環境が必ずしもビット単位で同一になるわけではありません。

80GBの完全な予算を組み立てる

学習では重みだけでなく、より多くのものが動員されます。逆伝播のために保持されるアクティベーションとオプティマイザの状態が、可能なマイクロバッチを左右することがあります。実際の1ステップをテストし、その後評価と保存もテストしてください。これらのフットプリントは異なる場合があります。アクティベーションチェックポイントは、メモリの一部を追加の計算と引き換えにします。一般化する前に、ご自身のステップ時間におけるコストを比較してください。

Ampereは特にBF16とTF32の演算を提供しています。デフォルト設定がバージョン間で変わらないと仮定するのではなく、お使いのソフトウェアが使用するフォーマットを明記してください。これらの選択が明示されていると、数値の比較が読みやすくなります。

A100を有用な比較の基準にする

H100 SXMは、同じ80GBの容量でより新しい世代を検討できます。1ステップのコストだけでなく、目標とする指標に到達するためのコストを測定してください。ワークロードが48GBに十分収まるなら、A40やRTX A6000もプロトコルに加えられます。いずれの場合も、プロジェクトのCUDAのコンパイル済み拡張が対象とするアーキテクチャを確認してください。

繰り返しと予約を整理する

3日間あれば、ベースを再構築し、再開をテストできます。7日間あれば、複数のシードやアブレーションのための期間が得られます。30日間は、定期的な保存と最終エクスポートを伴う体系的な一連の実験に適しています。実験マニフェストを準備し、期間とカード枚数を選択し、注文情報を入力してください。暗号資産の送金後は「支払いました」と報告し、ご自身のスペースでフォルダを確認できます。