本文系统解答大模型推理卡如何选择，核心在于以业务场景与SLO为先，围绕显存容量、带宽与互联匹配模型规模与上下文长度，结合FP8/INT8及量化策略降低成本并保障质量；在生态上评估CUDA、ROCm与国产AI栈的兼容度与工具链成熟度；通过高端HBM卡承载超大模型与长上下文、中端卡结合量化构建高吞吐池，最终以每千tokens与每QPS成本优化TCO，并在多卡并行、KV分级与持续监控下实现稳定的低延迟与高吞吐，兼顾合规与供给；未来趋势将指向更高显存、更低精度与更强开源引擎，选型需关注硬件、软件与架构的协同演进。