handsomestwei
Preview Image

大模型算力指标与推理吞吐评测

大模型算力指标与推理吞吐评测 讨论大模型部署性能时,常同时出现 FLOPS(硬件算力)和 tokens/s(推理吞吐)两类数字,二者相关但不可混用。本文从 FLOPs / FLOPS 的概念与硬件意义、吞吐评测常用指标与测法、以及 纸面算力与实测速度为何对不上 三个维度做综述,面向选型、压测与横向对比前的口径统一,非厂商 benchmark 复现手册。 参考与延伸阅读: ...