MI300X：AMDキャンペーン向けの192GB。

移植を実験として扱う

レンタル前に依存関係を洗い出しましょう。PyTorchのバージョン、カスタムオペレータ、アテンションライブラリ、量子化、そして該当する場合は推論エンジンです。それらのROCmとMI300Xへの対応、およびシステムの互換性マトリクスを確認してください。プロジェクトがPyTorchを使っているからといって、すべてのCUDA拡張にAMD版があるとは限りません。まずモデルを端から端まで通す最小限のバッチから始めましょう。

容量を活かしつつ一時的な状態も忘れない

192GBは、より小さな構成ではモデルを分割せざるを得ない場合に、その分割を回避できます。この簡素化は、複数カード間の通信を最適化する前に試す価値があります。まず重みを計算し、次に実際に使用されるアクティベーション、生成キャッシュ、バッファを測定しましょう。トレーニングでは勾配とオプティマイザを含め、推論ではコンテキストと同時実行数を変化させてください。

CUDA/ROCmの比較は同等性から始まります。同じデータ、同じチェックポイント、同じ生成パラメータ、そして定義された数値許容範囲です。時間を比較する前に、出力とビジネス指標を検証しましょう。

別の構成を選ぶべき場合

手法がCUDA専用で置き換えが難しいカーネルに依存しているなら、141GBのH200が適応作業を減らせる可能性があります。逆に、すでにROCmで検証済みのプロジェクトは、ソフトウェアスタックを移行せずにMI300Xの容量を活用できます。メモリだけでなく、検証時間や繰り返し回数を含めた実験の総コストから判断しましょう。

最初のAMDサイクルを計画する

3日間はインストール、実行、出力の検証に確保します。7日間は基準との安定した比較に、30日間はレシピを固めた後のキャンペーンに充てます。注文では、ROCmプロジェクト用に「その他の環境」を選び、期間を選択します。依存関係ファイルと検証用データを用意します。決済は身分証明書の提示なしで暗号通貨により行われ、連絡先は案件の追跡に使用されます。