检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开启作业卡死重启后,只要系统检测到训练卡死,就在容器中重启训练作业,卡死重启不涉及资源调度,因此不会占用“重启次数”。
本地代码目录 指定训练容器的本地目录,启动训练时系统会将代码目录下载至此目录。 此参数可选,默认本地代码目录为“/home/ma-user/modelarts/user-job-dir”。 工作目录 训练时,系统会自动cd到此目录下执行启动文件。
在OBS查看训练日志 提交训练作业时,系统将自动在您配置的OBS Path中,使用作业名称创建一个新的文件夹,用于存储训练输出的模型、日志和代码。
图片饱和度 Saturation 图片的色彩饱和度,值越大表示图片整体色彩越容易分辨。 一般呈正态分布,一般用于比较训练集和真实场景数据集的差异。 清晰度 Clarity 图片清晰程度,使用拉普拉斯算子计算所得,值越大代表边缘越清晰,图片整体越清晰。
--policy String 否 训练资源规格模式,可选值regular、economic、turbo、auto。 --volumes String 否 挂载EFS,如果需要指定多个参数,可以使用--volumes。
图1 上传文件图标 图2 进入远端文件上传界面 输入有效的远端文件URL后,系统会自动识别上传文件名称,单击“上传”,开始上传文件。 图3 输入有效的远端文件URL 图4 远端文件上传成功 异常处理 远端文件上传失败。可能是网络原因。
当修改了服务的某些参数配置时,系统会自动重启服务使修改生效。在提交修改服务任务时,如果涉及重启,会有弹窗提醒。 在线服务参数说明请参见部署模型为在线服务。修改在线服务还需要配置“最大无效实例数”设置并行升级的最大节点数,升级阶段节点无效。
因此,PD分离系统良好运行的关键在于满足时延SLO约束下,那么面对不同的请求分布,尽可能提高这三种速率。PD配比寻优保持一个原则:使Prefill速率、Decode速率、传输速率三者互不为短板。
DATA_TYPE [GeneralPretrainHandler, GeneralInstructionHandler, MOSSMultiTurnHandler] 示例值需要根据数据集的不同,选择其一。
可能有兼容性问题,请优先使用低于该版本的操作系统。
cd Swin-Transformer sed -i 's/\r//' run.sh Shell脚本在Windows系统编写时,每行结尾是\r\n,而在Linux系统中行每行结尾是\n,所以在Linux系统中运行脚本时,会认为\r是一个字符,导致运行报错“$'\r': command
Manifest文件可以由用户、第三方工具或ModelArts标注系统生成。 Manifest文件名没有特殊要求,可以为任意合法文件名。 父主题: Manifest管理
ModelArts Standard使用流程 本章节旨在帮助您了解ModelArts Standard的基本使用方法,帮助您快速上手ModelArts服务。 面向熟悉代码编写和调测,熟悉常见AI引擎的开发者,ModelArts不仅提供了在线代码开发环境,还提供了从数据准备、模型训练
请勿打印无用的audio日志文件,这会导致系统日志卡死,无法正常显示日志,可能会出现“Failed to load audio”的报错。 您可以进入批量服务的详情页面,通过切换页签查看更多详细信息,详情说明请参见表2。
ModelArts Notebook内置MoXing Framework模块,ModelArts mox.file提供了一套更为方便地访问OBS的API,允许用户通过一系列模仿操作本地文件系统的API来操作OBS文件。具体参见在Notebook中使用MoXing命令。
支持的授权项 策略包含系统策略和自定义策略,如果系统策略不满足授权要求,管理员可以创建自定义策略,并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应,授权项列表说明如下: 权限:允许或拒绝某项操作。 对应API接口:自定义策略实际调用的API接口。
一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域的所有资源。
在“模型供应商”页面右上角,单击“系统模型设置”,将“聊天模型”设置为已配置的MaaS模型。嵌入和Rerank模型可使用系统预置。 图2 修改系统模型设置 步骤四:在RAGFlow中使用接入的MaaS API进行知识库问答 创建知识库。
MOSSMultiTurnHandler:使用微调的moss数据集。
可选值如下: true:数据集包含团队标注任务 false:数据集不包含团队标注任务 feature_supports Array of strings 数据集支持的特性列表。当前只支持特性值“0”,表示限制OBS文件大小。 import_data Boolean 是否导入数据。