华为昇腾LLM大模型部署和量化

华为昇腾LLM大模型部署和量化

相关平台

• 华为昇腾首页
• 魔乐社区-模型、工具、数据集下载
• 昇腾开发者社区

基础

• MindIE镜像下载
• MindIE容器启动

LLM部署

• 使用MindIE部署QwQ-32B
• 使用MindIE部署DeepSeek-R1

• 守护进程方式部署模型

  通常模型服务化（暴露http接口等端点）部署配置文件位于/usr/local/Ascend/mindie/latest/mindie-service/config/config.json。而改用环境量方式定义配置文件路径，可以灵活切换运行的模型

    export MIES_CONFIG_JSON_PATH=/model/config/qwen2.5-14b.json    
    nohup /usr/local/Ascend/mindie/latest/mindie-service/bin/mindieservice_daemon > /dev/null 2>&1 &
  

• Ascend Deployer昇腾软件工具包使用

量化

• msmodelslim量化工具安装
• 量化脚本使用说明
• Qwen 量化案例

学习资源

• 昇腾AI学堂-基于MindIE推理引擎部署DeepSeek R1
• 昇腾开发者在线课程
• 昇腾开发者在线实验
• 昇腾认证