handsomestwei
Preview Image

大模型算力指标与推理吞吐评测

大模型算力指标与推理吞吐评测 讨论大模型部署性能时,常同时出现 FLOPS(硬件算力)和 tokens/s(推理吞吐)两类数字,二者相关但不可混用。本文从 FLOPs / FLOPS 的概念与硬件意义、吞吐评测常用指标与测法、以及 纸面算力与实测速度为何对不上 三个维度做综述,面向选型、压测与横向对比前的口径统一,非厂商 benchmark 复现手册。 参考与延伸阅读: ...

Preview Image

MoE混合专家模型原理

MoE混合专家模型原理 MoE(Mixture of Experts,混合专家)是当前大模型扩展参数量的一条重要路线:总参数量可以很大,但每个 token 前向时只激活其中一小部分「专家」子网络,从而在可控算力下逼近更大稠密模型的效果。本文从 MoE 与稠密模型的差异、专家机制、训练与推理特点、命名规则等维度做技术综述,面向选型与部署前的概念厘清,非训练实操手册。 参考与延伸阅读...

Preview Image

大模型预训练微调与对齐三阶段

大模型预训练微调与对齐三阶段 一篇大模型从「零」到「能用」,通常经历 预训练 → 指令微调(SFT)→ 对齐(RLHF / DPO) 三段。三段各自往模型里注入的能力并不相同:预训练是事实与语言能力的主战场,SFT 主要教输出格式与指令遵循,对齐则校准价值观与偏好。本文结合三阶段分工、知识类型划分,以及 LIMA 等研究所提出的 表层对齐假说,梳理「微调到底能不能注入知识」这一争论背...