handsomestwei
Preview Image

大模型算力指标与推理吞吐评测

大模型算力指标与推理吞吐评测 讨论大模型部署性能时,常同时出现 FLOPS(硬件算力)和 tokens/s(推理吞吐)两类数字,二者相关但不可混用。本文从 FLOPs / FLOPS 的概念与硬件意义、吞吐评测常用指标与测法、以及 纸面算力与实测速度为何对不上 三个维度做综述,面向选型、压测与横向对比前的口径统一,非厂商 benchmark 复现手册。 参考与延伸阅读: ...

Preview Image

MoE混合专家模型原理

MoE混合专家模型原理 MoE(Mixture of Experts,混合专家)是当前大模型扩展参数量的一条重要路线:总参数量可以很大,但每个 token 前向时只激活其中一小部分「专家」子网络,从而在可控算力下逼近更大稠密模型的效果。本文从 MoE 与稠密模型的差异、专家机制、训练与推理特点、命名规则等维度做技术综述,面向选型与部署前的概念厘清,非训练实操手册。 参考与延伸阅读...