handsomestwei
Preview Image

多标签分类多算法选型与差异性比对

多标签分类多算法选型与差异性比对 在多标签分类场景中,若长期仅使用单一梯度提升树模型,业务方常会关心:低排名特征是否被「埋没」、能否引入其他算法提升指标,以及能否在同一套特征底座上并行训练并手工切换推理模型。本文基于 Binary Relevance(BR)架构下的工程实践讨论,对常见算法的归纳偏置差异、特征可解释性、SHAP 接入成本与推荐组合做系统性比对。 目录 问题...

Preview Image

大模型算力指标与推理吞吐评测

大模型算力指标与推理吞吐评测 讨论大模型部署性能时,常同时出现 FLOPS(硬件算力)和 tokens/s(推理吞吐)两类数字,二者相关但不可混用。本文从 FLOPs / FLOPS 的概念与硬件意义、吞吐评测常用指标与测法、以及 纸面算力与实测速度为何对不上 三个维度做综述,面向选型、压测与横向对比前的口径统一,非厂商 benchmark 复现手册。 参考与延伸阅读: ...

Preview Image

MoE混合专家模型原理

MoE混合专家模型原理 MoE(Mixture of Experts,混合专家)是当前大模型扩展参数量的一条重要路线:总参数量可以很大,但每个 token 前向时只激活其中一小部分「专家」子网络,从而在可控算力下逼近更大稠密模型的效果。本文从 MoE 与稠密模型的差异、专家机制、训练与推理特点、命名规则等维度做技术综述,面向选型与部署前的概念厘清,非训练实操手册。 参考与延伸阅读...

Preview Image

大模型预训练微调与对齐三阶段

大模型预训练微调与对齐三阶段 一篇大模型从「零」到「能用」,通常经历 预训练 → 指令微调(SFT)→ 对齐(RLHF / DPO) 三段。三段各自往模型里注入的能力并不相同:预训练是事实与语言能力的主战场,SFT 主要教输出格式与指令遵循,对齐则校准价值观与偏好。本文结合三阶段分工、知识类型划分,以及 LIMA 等研究所提出的 表层对齐假说,梳理「微调到底能不能注入知识」这一争论背...