检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Octopus支持自定义内置评测配置和自定义评测镜像,并根据评测指标或评测镜像对仿真算法开展评测。 本节以创建内置评测配置为例。 创建内置评测配置 在左侧菜单栏中单击“仿真服务 > 评测管理”。 单击“新建评测”,填写基本信息。 评测名称:只能包含数字、英文、中文、下划线、中划线,不得超过64个字符; 评测描述:不得包含“@#$%^&*<
的其他服务,需要先获得用户的授权,这个动作就是一个“委托”,用户委托Octopus代表自己访问特定的云服务,已完成其在Octopus平台上的操作。 权限:使用Octopus自动驾驶云服务平台上的镜像仓库、运维配置、工作空间、数据资产、数据合规、数据处理、标注服务、训练服务、仿真服
AccessKeyId=xxxxExpires=1701399201&Signature=xxxxxxxx" } } 状态码 状态码 描述 200 查询成功 400 请求参数错误 403 权限校验失败 404 找不到请求的资源 500 系统内部错误 错误码 请参见错误码。 父主题: 数据回放
多帧识别 前提条件 在服务控制台“总览”>“我的模型”区域,开通“场景识别”服务,具体操作步骤请参考开通我的模型和购买套餐包。 完成OBS授权委托,具体操作步骤请参考授权操作步骤。在服务控制台“总览”>“我的模型”区域,开通“2D图像生成”服务,具体操作步骤请参考开通我的模型和购买套餐包。
评测项配置 用户可选择“内置评测配置”和“自定义评测镜像”,设置评测标准。 内置评测配置:请选择“评测管理”服务中创建成功的内置评测配置。 自定义评测镜像:请选择在“评测管理”服务中创建成功的自定义评测镜像。创建评测镜像请参考创建评测镜像。 测试结果通过标准。可自定义测试结果通过标准的分数。区间为0-100分。
以认领任务进行标注。 一个标注任务只能由一个标注员完成。同一项目中一个标注员最多认领5个标注任务。 认领标注任务 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称,查看该项目包含的可认领或已认领未提交的标注批次任务列表。 单击未指定标注员的任务名
理后台进行标签和属性的配置;支持自定义标签属性及默认标签属性模板;支持多种标签展示类型;支持字体大小和行间距设置;提升项目功能完整性和标注服务在文本标注场景下的竞争力。当前支持文件类型包括:txt、yaml、csv、xml,文件编码仅支持UTF-8。单个文本不超过100M。 图1
否通过评测指标的检测。 图2 任务分析 评测项异常分布 在仿真任务详情页的任务分析模块,可查看各评测项异常分布。 在左侧菜单栏中单击“仿真服务 > 任务管理”。 单击“仿真任务”页签,单击任务名称。或者通过“任务配置”页签进入仿真任务详情页。 单击子任务的评测项的结果按钮(通过/未通过/无效)。
任务队列 评测任务在创建之后,可在此查看任务队列,同时支持对任务优先级的调整。 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“任务队列”页签,可查看任务。 图1 任务队列 评测任务队列相关操作 在“任务队列”页签,还可以进行以下操作。 表1 评测任务队列相关操作 任务 操作步骤
任务队列 编译任务在创建之后,可在此查看任务队列,同时支持对任务优先级的调整。 在左侧菜单栏中单击“训练服务 > 编译管理”。 选择“任务队列”页签,可查看任务。 编译任务队列相关操作 在“任务队列”页签,还可以进行以下操作。 表1 编译任务队列相关操作 任务 操作步骤 置顶任务
> B > C > D。 场景描述:不得包含“@#$%^&*< > \”字符,不得超过255个字符。 勾选“我已阅读并同意《八爪鱼自动驾驶云服务使用声明》”。 添加场景标签,标签数量不超过50个。 直接选择:单击“添加标签”,从场景标签中直接选择标签,也可新建标签。 多项搜索:可根
中。 添加算法 添加算法流程为“初始化训练算法 > 选择训练算法文件 > 上传训练算法文件”。具体操作步骤如下: 在左侧菜单栏中单击“训练服务 > 算法管理”。 单击“新建训练算法”,填写算法基本信息。 图1 新建训练算法 名称:包含中英文、数字、“_”“-”,不得超过64个字符。
评测分数计算介绍 评分方案介绍 AB类log函数评分方案 AB类均匀权重(Average)评分方案 C类均匀权重评分(Average)方案 父主题: 评测管理
评测算法代码开发完成后,将代码构建成算法镜像上传到仿真平台评测管理模块即可被仿真任务使用。在制作评测算法镜像的Dockerfile中,建议将评测代码编译成的二进制文件COPY到系统的/usr/bin目录下,便于在前端界面填写评测镜像的运行命令时直接填写该二进制文件的名称即可。在镜像中新建一个shell脚本来运行评测代码也是可以接受的方案。
创建标注模板是创建标注任务的第一步,标注模板包含该标注任务所需的所有标注类别标签。创建标注模板的步骤请参考如下: 在左侧菜单栏中单击“标注服务 > 标注管理 > 模板管理”。 单击“创建标注模板”,填写标注模板相关信息。 图1 创建标注模板 模板名称:支持中英文、数字、“-”、或
验收员可以认领未绑定验收员的待验收任务,一个验收任务只能由一个验收员认领。以下步骤为认领初验或终验任务的操作步骤。 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称。 选择“批次任务列表”,单击批次任务ID前的+。 单击子任务操作栏中的“更多 > 认领”,认领该任务,认领该任务。
否 String Post预签链接policy字段,在创建请求时需要添加到请求头。 x-amz-signature 否 String Post预签链接x-amz-signature字段,在创建请求时需要添加到请求头。 响应参数 状态码: 201 表8 响应Body参数 参数 参数类型
道线的位置和类别。 2D预标注默认使用服务内置的初始模型部署的在线服务,您也可以通过修改“当前生效在线服务”,修改为模型微调后的迭代模型部署的“运行中”的在线服务。 前提条件 在服务控制台“总览”>“我的模型”区域,开通“2D图像生成”服务,具体操作步骤请参考开通我的模型和购买套餐包。
模型数据集支持 模型评测支持多种数据集格式,包括Octopus格式和部分常见开源数据集格式,以下为各类别模型的数据集支持列表和示例。 目标检测2D 目标检测3D 目标追踪2D 目标追踪3D 语义分割2D 语义分割3D 车道线检测 父主题: 模型评测
测试用例管理 测试用例模块支持对单个用例的增删改查操作。用户可根据场景类型,本地选择对应的场景文件。用例创建完毕后,用户可选择在线仿真机器加载测试用例,通过仿真器内置算法检验测试用例质量。 创建用例 用例管理 父主题: 场景管理