检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
特性补充说明 推理部署端口规划与冲突操作指导 PD分离部署下图编译缓存使用操作 PD分离部署下硬件故障手动恢复机制 父主题: DeepSeek模型基于ModelArts Lite Cluster适配NPU的PD分离推理解决方案
主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导(6.3.911) 场景介绍 准备工作 执行预训练任务 执行SFT全参微调训练任务 执行LoRA微调训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题: LLM大语言模型训练历史版本文档
基于KubeInfer的推理部署 部署准备 PD分离部署推理服务 扩缩容推理服务(可选) 升级推理服务(可选) 父主题: DeepSeek模型基于ModelArts Lite Cluster适配NPU的PD分离推理解决方案
主流开源大模型基于Standard+OBS+SFS适配ModelLink PyTorch NPU训练指导(6.3.912) 场景介绍 准备工作 执行训练任务 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题: LLM大语言模型训练历史版本文档
接入层部署(可选) 购买APIG实例并管理API 购买ELB和WAF并接入WAF 调用API 父主题: DeepSeek模型基于ModelArts Lite Server适配NPU的PD分离推理解决方案
准备Cluster资源环境 购买并开通资源 配置kubectl访问集群网络 存储配置 父主题: DeepSeek模型基于ModelArts Lite Cluster适配NPU的PD分离推理解决方案
主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导(6.3.910) 场景介绍 准备工作 预训练 SFT全参微调训练 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题: LLM大语言模型训练历史版本文档
主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导(6.3.910) 场景介绍 准备工作 执行训练任务 查看日志和性能 训练benchmark工具 训练脚本说明 附录:训练常见问题 父主题: LLM大语言模型训练历史版本文档
主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导(6.3.911) 场景介绍 准备工作 执行训练任务 查看日志和性能 训练benchmark工具 训练脚本说明 附录:训练常见问题 父主题: LLM大语言模型训练历史版本文档
主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导(6.3.910) 推理场景介绍 准备工作 部署推理服务 推理性能测试 推理精度测试 推理模型量化 eagle投机小模型训练 附录:基于vLLM不同模型推理支持最小卡数和最大序列说明 附录:大模型推理常见问题
主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导(6.3.909) 场景介绍 准备工作 预训练 SFT全参微调训练 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题: LLM大语言模型训练历史版本文档
基于KubeInfer的推理部署 部署准备 PD分离部署推理服务 扩缩容推理服务(可选) 升级推理服务(可选) 父主题: DeepSeek模型基于ModelArts Lite Server适配NPU的PD分离推理解决方案
主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.909) 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录:基于vLLM不同模型推理支持最小卡数和最大序列说明 附录:Standard大模型推理常见问题
附录:推理部署样例脚本 pd_deploy_on_a3_by_kubeinfer.sh run_vllm_pd_a3.sh gen_logging_config.py get_ips.py get_master_ip.py get_node_rank_from_ranktable
LLM大语言模型推理 在ModelArts Studio(MaaS)基于Qwen2-7B模型实现新闻自动分类 Qwen3模型基于ModelArts Lite Cluster适配Snt9b23的混部推理解决方案 主流开源大模型基于Lite Server&Cluster适配Ascend-vLLM
接入层部署(可选) 购买APIG实例并管理API 购买ELB和WAF并接入WAF 调用API 父主题: DeepSeek模型基于ModelArts Lite Cluster适配NPU的PD分离推理解决方案
附录:推理部署样例脚本 pd_deploy_on_a3_by_kubeinfer.sh run_vllm_pd_a3.sh gen_logging_config.py get_ips.py get_master_ip.py get_node_rank_from_ranktable
附录:插件部署样例脚本 kubeinfer-crd.yaml 父主题: DeepSeek模型基于ModelArts Lite Cluster适配NPU的PD分离推理解决方案
主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导(6.3.909) 场景介绍 准备工作 执行预训练任务 执行SFT全参微调训练任务 执行LoRA微调训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题: LLM大语言模型训练历史版本文档
主流开源大模型基于Standard+OBS+SFS适配ModelLink PyTorch NPU训练指导(6.3.911) 场景介绍 准备工作 预训练 SFT全参微调训练 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题: LLM大语言模型训练历史版本文档