检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
nci7。 -v ${dir}:${container_work_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的大文件系统，dir为宿主机中文件目录，${container_work_dir}为要挂载到的容器中的目录。为方便两个地址可以相同。 容器不能挂载到/
支持多卡训练），对应值可选择multiple（支持）、singular（不支持）； host_distributed_mode（是否支持分布式训练），对应值可选择multiple（支持）、singular（不支持）。 values 否 Array of strings 资源约束键对应值。
e效果增强，会对精度造成轻微影响。 turbo_mode：加速模式。支持 "faiz","next_faiz" 模式，默认为"default"不启用。推荐使用 next_faiz 模式，达到最高性能。不设置此参数时，表示不启用加速模式。turbo_mode加速模式能加速视频推理，但会对精度造成轻微影响。
检查用户给ModelArts的委托中是否有SWR的权限，可以在权限管理中查看对应用户的授权内容，查看授权详情。如果没有对应权限，需要到统一身份认证服务给对应委托中加上对应权限。 图1 权限管理 图2 查看权限详情和去IAM修改委托权限 图3 给委托添加授权 将镜像设置成私有镜像
], "max_tokens": args.max_tokens, "temperature": args.temperature, "ignore_eos": args.ignore_eos, "stream": args
], "max_tokens": args.max_tokens, "temperature": args.temperature, "ignore_eos": args.ignore_eos, "stream": args
], "max_tokens": args.max_tokens, "temperature": args.temperature, "ignore_eos": args.ignore_eos, "stream": args
【必修改】【OBS方式“输入”框填写，SFS Turbo方式“超参”框填写】 加载tokenizer与Hugging Face权重时，对应的存放绝对或相对路径。 adapter_name_or_path /home/ma-user/xxx/sft_lora/ 【OBS方式“输入”框填写，SFS Turbo方式“超参”框填写】
category String 规格处理器类型。 CPU GPU ASCEND description String 规格描述信息。 feature String 规格类别，可选值如下： DEFAULT：CodeLab规格。 NOTEBOOK：Notebook规格。 free Boolean
], "max_tokens": args.max_tokens, "temperature": args.temperature, "ignore_eos": args.ignore_eos, "stream": args
ory/third-party/LLaMA-Factory/data 【必修改】【Standard场景OBS方式“输入”框填写，SFS Turbo方式“超参”框填写】 Llama-Factory代码包自带数据集：地址为:${INSTALL_DIR}/third-party/LLa
FullAccess 可选 SFS弹性文件服务 授予子用户使用SFS服务的权限，ModelArts的专属资源池中可以挂载SFS系统作为开发环境或训练的存储。 SFS Turbo FullAccess SFS FullAccess 可选 配置ModelArts Standard基础操作权限 创建用户组。
], "max_tokens": args.max_tokens, "temperature": args.temperature, "ignore_eos": args.ignore_eos, "stream": args
（可选）配置VPC权限。如果用户在创建专属资源池过程中，需要开启自定义网络配置，此处需要授予用户VPC权限。 （可选）配置SFS和SFS Turbo权限。如果用户在专属资源池中挂载SFS系统作为开发环境或训练的存储时，需要授予使用权限。 单击左上角的“查看已选”，确认已勾选的权限。 再单击“下一步”，设
command: ["/bin/sh", "-c"] args: - cd /mnt/sfs_turbo/llm_train/AscendFactory; ascendfactory-cli train <cfgs_yaml_file>
准备训练模型适用的容器镜像。 准备Notebook 本案例需要创建一个Notebook，以便能够通过它访问SFS Turbo服务。随后，通过Notebook将OBS中的数据上传至SFS Turbo，并对存储在SFS Turbo中的数据执行编辑操作。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、创建训练任务及性能查看。
表6 nfs属性列表 参数 是否必选 参数类型 说明 id 是 String SFS Turbo 文件系统 ID。 src_path 是 String SFS Turbo 文件系统地址。 dest_path 是 String 训练作业的本地路径。 read_only 否 Boolean
command: ["/bin/sh", "-c"] args: - cd /mnt/sfs_turbo/llm_train/AscendFactory; source /usr/local/Ascend/ascend-toolkit/set_env
sh主要针对单节点启动在线推理服务。在Cluster部署准备章节会使用到。 source /home/ma-user/.bashrc export ASCEND_TURBO_TASK_QUEUE=0 export CPU_AFFINITY_CONF=1 export VLLM_USE_V1=0 export
"prompt": "hello", "max_tokens": 100, "temperature": 0, "ignore_eos": false, "presence_penalty":2 }'
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
