終わりのない連続ではなく、意思決定を買う。

キャンペーンを終了できる条件を定義する

「モデルを訓練する」では、何を買うのかも、いつ終わるのかも定義されません。対照と2つのバリアントを固定コーパスで比較し、その予測、誤り分析、再ロード可能なアーティファクトを納品する、といった目標を選びましょう。否定的な結果で十分なこともあります。どのバリアントもしきい値を満たさないことを示せば、的を外した長いキャンペーンを避けられます。

発注前に三つのカテゴリーを分けておきましょう。結論を出すために必須のもの、時間があれば役立つもの、探索的なものです。対照実験、データの確認、再開チェックは通常、最初のカテゴリーに属します。パイロット後に判断ポイントを設けましょう。続行するか、任意のバリアントを一つ削るか、問いを見直すかです。利用可能なプランが、毎時間を埋めなければならない義務になってはなりません。

エンドツーエンドのスケジュールを組み立てる

すでに温まったトレーニングステップからの外挿は、読み込み、長い入力、検証、出力ファイルをときに忘れがちです。マシンが占有されている区間と、人間による準備時間を区別します。独立した区間は重なり合うことがあります。同じGPUを使う2つのステップは、表に2行あるからといって並列になるわけではありません。

以下は、GPU速度の実測値を伴わない例示的なスケジュールです。準備の開始から結果の回収まで、48時間の逐次処理を確保します。72時間の枠のうち、24時間を未使用のまま残します。この引き算はスケジュールを確認するだけのもので、インストールも10時間の変種も、IteraGPUが約束する期間ではありません。

時間単位の課金をでっち上げずにプランを比較する

1ロットの価格は選択した期間をカバーします。カタログのRTX 4090は3日間で47.14 USD、7日間で110 USD、30日間で390 USDです。これらの金額はIteraGPUの料金であり、学習したモデル数を測るものではありません。3日間のロット2つで94.28 USDになります。B200のロットにはすでにGPUが2基含まれているため、その構成によって価格が二重に掛かることはありません。

例示的なスケジュールが30時間延びると、78時間に達し、3日を6時間超えます。その場合は7日間のプランを検討するか、それでも問いに答える縮小したプロトコルを検討します。2つのバッチを購入することは、環境が許せば独立した変種の助けになりますが、実行を自動的に短縮するものではなく、メモリを統合するものでもありません。

技術的な出典: IteraGPUの料金とレンタル単位 · プランを計算し、枠を確認する

意思決定への有用性でバリアントに優先順位をつける

パイロット後は、所要時間の仮説を更新し、どの結果が選択を変えるかを問いかけてください。ベースラインとほぼ同じバリアントは、原因を切り分ける対照実験より情報量が少ないことがあります。ランク、精度、学習率、長さの組み合わせを一度にすべて実行するのは避けてください。アブレーションのガイドでは、解釈しやすい小さな計画の立て方を示しています。

停止ルールは試行の前に記述してください。損失が非有限、品質がしきい値未満、必須入力の切り詰め、使用可能な再開手段の欠如などです。停止が起きたら、その識別子と理由を保管してください。中断された実行は承認された成果物にはなりませんが、費用であり、時に決定的な情報でもあります。修正後の新しい構成には新しい識別子が必要です。

中断のコストを見込む

学習の再開には重みだけでは足りません。PyTorchのドキュメントはモデルのパラメータとオプティマイザの状態を区別しています。進行状況も保存する必要があります。ループによっては、スケジューラ、スケーラー、乱数、データ走査に必要な状態も加えてください。学習を再開したいのか、単に推論を再実行したいのかを決めてください。

早期のチェックポイントを保存し、新しいプロセスで再読み込みするテストを行ってください。書き込み、転送、復元の時間をカレンダーに計上してください。保存間隔は、ただファイルを多く作るために選ぶものではありません。許容できる作業の損失と、観測された操作のコストを近づけてください。また、これらのファイルがどこに存在し、期間終了前にどのように回収するかを確認してください。

技術的な出典: PyTorch — 保存と再開

予算を有用な結果に対応づけて報告する

締めくくりには、確定したプラン、実際に含まれたその他の費用、そして公表した確認を通過した成果物の数を示してください。外部費用が生じた場合は、レンタル価格とは別に扱ってください。提供されていない税率や転送費用をでっち上げないでください。結果が否定的であっても、キャンペーンのコストが帳消しになることはありません。

条件付きの算術例：47.14 USDのプランで、2つの異なる完全なコーパスを合格水準で提供できるなら、そのレンタル分はコーパスあたり23.57 USDです。同じコーパスを時間計測のために5回繰り返しても、5つの有用なコーパスにはなりません。合格したコーパスがゼロの場合、比率は未定義です。確定したコストと却下理由を表示し、決してゼロコストを表示してはいけません。研究上の判断には、人為的な単位を作るより、得られた結論を記述するほうが適切です。

再読込できるファイルで締めくくる

キャンペーン中に出力フォルダを準備します。マニフェスト、パラメータ、生の計測値、予測、停止理由、再読み込み手順を含めます。期待する識別子、空ファイル、一時フォルダに依存するパスを確認します。アダプタの場合は、ベースの正確なリビジョンを保持します。存在しても再読み込みできないファイルは、検証済みの出力ではありません。

当初の計画を書き換えずに、予定と実績を突き合わせます。確保した時間、実際に要した時間、説明された差異、下された決定です。IteraGPU のノートには要約と注文参照を保存できますが、生のファイルとバックアップはご自身で整理してください。次のキャンペーンは、より良い見積もりとより短い不確実性のリストとともに開始できます。

実用的な質問