检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.910） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 eagle 投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明
主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.911） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 Eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题：
准备工作 准备环境 准备代码 准备镜像 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.911）
准备工作 准备资源 准备权重 准备代码 准备镜像 准备Notebook 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.911）
量化 W4A16量化 W8A8量化 W8A16量化 kv-cache-int8量化 父主题： 推理关键特性使用
附录 各模型支持的最小卡数和最大序列 Ascend-vLLM推理常见问题 父主题： 主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导（6.3.912）
准备工作 准备环境 准备代码 准备数据 准备镜像 父主题： 主流开源大模型基于Lite Server适配MindSpeed-LLM PyTorch NPU训练指导（6.5.901）
执行训练任务 执行训练任务（推荐） 执行训练任务（历史版本） 父主题： 主流开源大模型基于Lite Server适配MindSpeed-LLM PyTorch NPU训练指导（6.5.901）
训练脚本说明参考 训练参数配置说明【旧】 训练tokenizer文件说明 断点续训和故障快恢说明 父主题： 主流开源大模型基于Lite Server适配MindSpeed-LLM PyTorch NPU训练指导（6.5.901）
Standard模型训练 使用ModelArts Standard自定义算法实现手写数字识别 基于ModelArts Standard运行训练作业
案例：SD1.5推理迁移 场景介绍 迁移环境准备 pipeline应用准备 应用迁移 迁移效果校验 模型精度调优 性能调优 常见问题 父主题： GPU业务迁移至昇腾训练推理
MLLM多模态模型训练推理 Bunny-Llama-3-8B-V基于Lite Server适配PyTorch NPU的训练指导（6.5.901） Qwen-VL基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.912） Qwen-VL模型基于Standard+OBS适配PyTorch
LLM大语言模型训练 主流开源大模型基于ModelArts Lite Server适配AscendFactory PyTorch NPU训练指导（6.5.906） 主流开源大模型基于ModelArts Standard&Lite Server适配AscendFactory PyTorch
常见问题 MindSpore Lite问题定位指南 模型转换报错如何查看日志和定位？ 日志提示Compile graph failed 日志提示Custom op has no reg_op_name attr 父主题： 推理迁移指导（MindSporeLite）
应用迁移 模型适配 pipeline代码适配 父主题： 案例：SD1.5推理迁移
模型精度调优 场景介绍 精度问题诊断 精度问题处理 父主题： 案例：SD1.5推理迁移
性能调优 单模型性能测试工具Mindspore lite benchmark 单模型性能调优AOE 父主题： 案例：SD1.5推理迁移
调试与训练 本案例已日落，内容即将下线，替代案例请查看以下内容。 在ModelArts Standard上运行GPU训练作业的场景介绍 在ModelArts Standard运行GPU训练作业的准备工作 在ModelArts Standard上运行GPU单机单卡训练作业 在ModelArts
单机单卡 线下容器镜像构建及调试 上传镜像 上传数据和算法至OBS（首次使用时需要） 使用Notebook进行代码调试 创建训练任务 监控资源 父主题： 调试与训练
多机多卡 线下容器镜像构建及调试 上传数据至OBS（首次使用时需要） 上传算法至SFS 创建训练任务 父主题： 调试与训练
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
