ラボ / MLの道筋:5つの問い、5つの出発点
IteraGPU / ML研究
今日、どの問いで止まっていますか?
最初の読み込みからチェックポイントまで、計算キャンペーンの前に確認すべきポイントを整理しましょう。サイジング、測定、活用可能な結果の保存のためのガイドを用意しています。
行き詰まっている質問を選んでください。各パスは明確な判断へ導き、ライブラリにはすべてのリファレンスがまとめられています。
モデルはまだ動かしていません。どこから始めればよいですか?
メモリの上限と最初のトライアルの入力。
GPU メモリの見積もり:計算、予備、検証
重みを Gio で計算し、明示的な予備を設け、フェーズごとにピークを検証します。数値例、量子化の落とし穴、カードごとの選択。
GPUメモリ:推定値とピークの差を説明する
重み、キャッシュ、アクティベーションを区別し、フェーズごとにallocatedとreservedを測定したうえで、ノートブックとPyTorchプロトコルを使って余裕(マージン)を決めましょう。
KV キャッシュ:コンテキスト、GQA、バッチからメモリを計算する
KV ヘッド、コンテキスト、同時シーケンスから KV キャッシュを計算します。実際の試行の前に、GQA、精度、静的キャッシュを区別してください。
スコアは向上していますが、信頼してよいのでしょうか?
分離された評価セット、レビュー済みのエラー、そして特性化された差分。
トレーニングを準備しています。本番の前に何を確認すべきですか?
完全な更新、明示的なバッチ、活用可能なトレース。
モデルの適応か圧縮か:どのバリアントを選ぶべきですか?
基準、制御された変更、比較可能な品質。
予算が限られています。どのトライアルを先に行うべきですか?
実験の順序と、有用な結果に対するプランのコスト。