您的假设需要多少显存？

为既定负载选定配置

一份 GPU 清单、针对你模型的建议，以及你当前配置的替代方案，都需要同一份起始说明：模型和版本、推理还是微调、权重格式、所需长度、并发或微批次，以及质量判据。在比较各套餐时保留这些要求。一个处理的上下文更少或任务被简化的配置，并不自动满足同样的需求。

将每项强制性要求分类：如果在您的范围内有可提供的材料能够证实，则为合格；如果缺失，则为待确认；如果已确定的失败导致无法满足负载，则排除。只有当所有这些要求都满足时，候选方案才会被保留。然后按套餐总成本、有效利润和有记录的日程对合格候选方案进行排序。偏好不能弥补淘汰性标准。

将每项标准与一份材料和一项决策对应起来

销售说明材料证明所提供的内容；您的协议确定在负载上实际可行的内容。下单时请求的环境仍只是准备工作的偏好。标称内存容量或声明的库存既不能证明软件安装，也不能证明可用时长。

保留材料及其版本和适用范围。如果某项强制性信息没有记录，请准确写明需要确认的条件。该表格可以在不把这些未知项变成保证的前提下完成预选。

技术来源： 推理负载说明表 · 测量各阶段和计数器 · 设定质量标准 · 规划实验成本

了解计算结果所代表的内容

参数数量对应于您在密集计算中所表示的数值个数。格式表示每个数值的位数。「仅权重」结果将该体积换算为 Gio，然后「指示性包络」再加上您的预留量。工具中选择训练还是适配并不会应用某个隐藏的通用乘数；它会提示您记录缺失的项。

这种简洁性便于重新审阅假设。但它也要求您了解哪些内容不在计算范围内：量化元数据、其他格式的模块、工作内存、瞬时加载以及进程之外的使用。所建议的 GPU 说明表是一个待考察的候选方案，并不保证您的模型能在其上运行。显卡的名称和标称内存并不能描述其所在服务器的其余部分。

比较显卡之前先读懂单位

一个十进制 GB 等于十亿字节；一个 Gio 等于 2³⁰ 字节。目录显示的是以 GB 为单位的标称容量。工具采用十进制约定；要验证某种配置，还应记录设备声明的以字节为单位的容量。您程序的计数器可能以字节或 Gio 显示。在比较大小之前，请先换算定义相同的量；不要混用标称内存、空闲内存和预留峰值。

计算示例：240 亿字节约等于 22.35 Gio。该结果并不表示一块 24 GB 显卡的空闲容量。系统、执行上下文及其他分配都可能占用内存。请在每个试验表列名中保留单位和适用范围。

技术来源： NIST — 二进制与十进制前缀

实例演练：七十亿参数

对于70亿参数的16位模型，稠密体积为140亿字节，约合13.04 GiB。加上选定的6 GiB预留空间，总需求变为19.04 GiB。这一计算并不能证明6 GiB的预留空间适合你的模型：这恰恰是需要用所选输入和运算来验证的假设。

表中保持相同的预留量，只为展示权重格式带来的算术影响。在实际运行中，其他分配项可能以不同方式变化。四位表示通常包含额外信息，并可能让某些层保持其他格式。因此，不要把最后一行读作有保障的总峰值。

技术来源： Transformers 5.17 —— bitsandbytes 的格式与限制

构建可解释的预留

请拆解预留，而不是凭习惯选择一个百分比。在自回归推理中，记录架构、缓存、保留的 token 数和并发序列数。在训练中，记录可学习参数、梯度、优化器、激活和缓冲区。即使参数数量不变，输入长度和 micro-batch 也属于清单内容。

有些项目并不会在同一时刻达到各自的最大值。把彼此独立的各最大余量相加，可以作为保守包络，前提是明确声明如此，但它并非观测到的峰值。请分别列出估算项、实测项和仍未知项。KV cache 指南详细介绍了其中一项计算；内存专题则把各项计数器放回程序的各个阶段中。

分阶段验证，不悄悄改变任务

先用短输入和小批量开始，以排查准备阶段的错误。然后过渡到常规输入，再到你真正需要的上限。如果程序截断了数据、保留了更少的 token 或跳过了部分语料，那么能跑通的用例并不能验证所声明的负载。请记录实际执行的维度。

请用计数器记录各阶段、各 GPU 的峰值。分配给张量的内存和 PyTorch 分配器预留的内存不能相加。系统层面的读数可能覆盖的范围大于被监测的进程。如果考虑多个批次，请记录它们的软件分布方式；两块卡并不会自动构成统一的内存空间。

技术来源： PyTorch —— CUDA 内存管理

在第一次超限之后再做决定

加载失败指向权重、格式或临时分配。生成失败则要求检查上下文和并发。反向传播失败可能指向 micro-batch、激活或计算策略。这种定位可以避免同时随机更改精度、模型和数据。

每次修正后，请检查质量和覆盖范围。缩短必要长度可能不可接受；更改量化可能改变输出。如果需要另一种容量，请带着一份清单回到目录，其中注明观测到的峰值、有依据的余量、版本和边界输入。没有理由的余量，并不比取整到 GB 的结果更可靠。

一份简短选型，同样满足这些要求

对于 70 亿参数 16 位、预留 6 GiB 的示例性推理，实例演练给出 19.04 GiB。你可以考虑 24 GB 的 RTX 4090 或 48 GB 的 RTX 6000 Ada。它们针对一块卡 3 天批次所公布的价格分别为 47.14 USD 和 55.71 USD。这是两个容量不同的候选方案：上下文、并发、实际可用内存、兼容性和质量仍有待核实。这些价格不构成任何速度排名。

若要做适配，请沿用同一张表，填入已学习的参数和额外阶段：后向传播、首次更新、验证与导出。LoRA 参数的数量不足以验证总内存。微调路径有助于界定结果；批大小与梯度累积用于记录一次可比的更新。

如果在超限后寻找替代方案，请定位出错的阶段，并保留你的输出要求。每次只比较一项改动：容量、缓存、微批量或精度。不同的格式必须重新达到设定的最低质量。如果你的需求要求托管应用、精确的 RAM 或经过验证的互联，仅凭一张 GPU 规格表还无法定论。两张卡需要经过验证的软件放置；它们的显存并不会自动构成一个统一的空间。

技术来源： RTX 4090 — 批次、容量与套餐 · RTX 6000 Ada — 批次、容量与套餐 · 量化后的质量 · 准备适配 · 确定批大小与梯度累积

保留计算过程及其验证依据

保存初始假设、各项占用表、流程和原始读数。区分估算值、实测计数器和商业决策。IteraGPU Lab notebook 有助于在小型网络上理解这套监测方法；它不能替代对你自己的模型进行试跑。本页中的数值示例都只是计算，并非声称观测到的 GPU 吞吐量或功耗。

一份好的容量规划结果可以浓缩为一张表：模型与版本、任务、精度、长度、微批量或并发数、每块 GPU 的内存以及测量条件。再加上会使结论失效的条件，例如更长的窗口或不同的评估。这样你就能选择与本次实验相匹配的套餐，而不必为每种变体重新做整套估算。

实际问题