机器学习可视化集成方案

机器学习可视化集成方案

开源的机器学习训练可视化平台

• mlflow
• 腾讯音乐 cube-studio 较重，依赖很多组件。开源协议可能有限制
  • cube-studio wiki
  • cube-studio 在线体验地址

mlflow+shapash可视化集成方案

mlflow使用

• 使用mlflow追踪模型训练并使用mlflow webui可视化展示
• mlflow webui数据集追踪集成
• mlflow训练过程shap集成
• mlflow服务内嵌集成

shapash使用

• 使用shapash app服务可视化展示推理过程贡献度 注意生成Shapash Report需要pip install shapash[report]

shapash生成html报告

机制：

• 使用 SmartExplainer.generate_report() 方法
• 基于 Jupyter notebook 模板（默认是 base_report.ipynb）
• 使用 Papermill 执行 notebook 中的代码
• 使用 nbconvert 将执行后的 notebook 转换为静态 HTML 文件
• 生成的文件可以直接在浏览器中打开查看

特点：

• 静态报告，生成后不再变化
• 适合分享、归档、邮件发送
• 包含完整的分析内容（数据集分析、模型性能、特征重要性等）

• 一次性生成，无需持续运行服务

shapash在线服务

机制：

• 使用 SmartExplainer.run_app() 方法
• 启动一个 Web 服务器（Shapash 内部使用 Dash/Flask）
• 通过浏览器访问，提供交互式界面
• 数据在内存中，可以实时交互查询

特点：

• 交互式，可以筛选、搜索、查看不同样本
• 需要持续运行服务进程
• 可以实时查看单个样本的解释
• 适合深入探索和分析

---

共同点

1. 都需要先 compile explainer（使用模型和数据编译 Shapash 解释器）
2. 都基于相同的底层数据（SmartExplainer 对象）
3. 都可以自定义特征名称映射（features_dict）