如何提高GPU利用率降低成本
在模型训练或推理时，GPU明明在运行，为什么总体成本还是居高不下？
GPU空转会把固定投入摊薄效率拉低
GPU成本通常是按卡位和时长计算的，只要实例在运行，费用就会持续产生。如果数据加载慢、batch设置不合理、通信开销过大，GPU就会出现等待状态，计算资源没有被充分使用。利用率低意味着同样的训练任务需要占用更长时间的GPU时长，单位任务成本自然上升。提升利用率的核心，是让GPU尽可能少等待、多计算，从而用更少的卡时完成同样的工作。
我看到监控里GPU利用率经常波动，很难稳定在较高水平，这通常是什么原因造成的？
数据、算子和并行方式都会影响GPU忙碌程度
GPU跑不满常见于几个方面：数据读取速度跟不上，CPU预处理过重，导致GPU等待输入；模型算子过碎，频繁启动小任务，调度开销大于计算收益；batch过小，单次计算量不足以填满GPU；多卡训练时通信占比过高，梯度同步拖慢整体进度；显存不足引发频繁搬运，也会削弱吞吐。定位时可以先看GPU空闲时是否伴随数据等待、CPU高负载或通信瓶颈，再针对性优化。
如果不改模型结构，只调整训练参数和运行方式，有哪些办法能明显提升GPU使用效率？
合理放大单步计算量能有效改善利用率
可以从训练配置入手优化，比如适当增大batch size，让每次前向和反向传播覆盖更多样本；使用混合精度训练，在保证精度可控的前提下提升吞吐；开启数据预取、缓存和并行加载，减少输入等待；对梯度累积、学习率和显存占用做联动调整，避免因显存限制把batch压得过小；在多卡场景下，尽量减少不必要的同步频率，降低通信对计算的干扰。配置优化的目标，是让每一次GPU启动都能承担更有价值的计算负载。
我的服务主要是线上推理，既要控制成本，又不能让用户明显感觉变慢，应该怎么做？
推理优化更看重吞吐和调度效率
推理场景可以通过批处理合并请求、动态batch、并发控制和模型量化来降低成本。对于流量有波峰波谷的业务，动态batch可以把短时间内到达的请求合并到一次GPU计算中，提升吞吐；模型量化或蒸馏能减少计算量和显存占用；对冷启动、实例规格和自动伸缩进行优化，也能减少低峰期的闲置浪费。如果业务对延迟很敏感，可以设置合理的batch等待窗口，在吞吐和响应时间之间找到平衡点。