检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图解数据工坊服务
与其他服务的关系 DWR数据处理的数据源是华为云存储服务,DWR提供的华为云自有算子是通过函数生成,且能力源是华为云数据处理相关的云服务。因此,DWR与其他服务的关系如表1所示。 表1 DWR与其他云服务的关系 服务类别 服务名称 交互关系 存储服务 对象存储服务(Object Storage
标量数据的云原生服务。 知识湖存储服务支持多种索引类型和相似度计算方法,支持千亿向量规模和毫秒级查询时延。 知识湖存储不仅能为大模型提供外部知识库,提高大模型回答的准确性,还可广泛应用于推荐系统,自然语言处理,智能客服等AI领域。 访问方式 提供了Web化的服务管理平台,即管理控
SDK概述 本文介绍了LMS服务提供的SDK语言版本,列举了最新版本SDK的获取地址。 SDK列表 表1提供了LMS服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 GitHub地址 参考文档 Python
通过数据处理软件完成数据处理。 传统云上处理方式:使用云上存储服务和数据处理服务,数据写入存储服务后,再调用数据处理服务接口实现数据处理。 云上近数据处理方式:使用云上存储服务和DWR的近数据处理能力,数据写入存储服务后,自动触发DWR编排的工作流完成数据处理。 表1 数据处理方式对比
实施步骤 准备工作 点击开通mpc服务授权。 选择打开委托授权或桶授权。 委托授权:开启后,媒体处理服务将拥有您所有桶的读写权限,子账号不支持委托权限。 桶授权:开启后,媒体处理服务仅拥有已授权桶的读写权限。 操作步骤 登录DWR控制台,在“工作流”页面单击右上角“创建工作流”,
端节点。 服务类别 可选择“云服务”或“按名称查找服务”。 云服务:当您要连接的终端节点服务为云服务时,需要选择“云服务”。 按名称查找服务:当您要连接的终端节点服务为用户私有服务时,需要选择“按名称查找服务”。 服务名称 LMS只支持“服务类别”选择“按名称查找服务”。 从“查
] event["dynamic_source"] = { "tasks": tasks } return event 函数保存成功后,进入到数工坊DWR控制台工作流界面,点击“创建工作流”。 在工作流编排界面选择自定义算子并完成连线。其中基
入门流程 当需要使用DWR服务对OBS内存储的数据自动进行多项复杂任务(如解析、转码、截图等)处理时,建议参考表1逐步操作。 表1 DWR使用流程简介 操作步骤 操作说明 步骤一:准备工作 注册华为云账号,并开通数据工坊DWR服务。 (可选)步骤二:浏览算子市场 在算子市场查找需要的算子,了解已有算子的功能。
新建转码任务可以将视频进行转码,并在转码过程中压制水印、视频截图等。视频转码前需要配置转码模板。 待转码的音视频需要存储在与媒体处理服务同区域的OBS桶中,且该OBS桶已授权。 1 由媒体处理服务MPC进行收费,详情查看计费说明。 操作步骤 创建解析对象元数据并封装MPC转码任务的函数。 在Functi
人脸比对 是 人脸识别服务FRS 圆角剪切 是 对象存储服务OBS 普通裁剪 是 对象存储服务OBS 索引剪切 是 对象存储服务OBS 图片水印 是 对象存储服务OBS 文字水印 是 对象存储服务OBS 缩略图 是 对象存储服务OBS 内切圆裁剪 是 对象存储服务OBS 自适应旋转 是
Map[String]String 用户可修改参数列表,可以为空。 dynamic_source 否 Map 函数执行必须的参数,可用于传入调用的服务。 表2 函数的环境变量 名称 是否必选 参数类型 说明 region 否 String 当前区域名称。 函数输入的JSON示例 1 2
Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。 文档 立即体验 成长地图 由浅入深,带您玩转DWR 01 了解 了解华为云数据工坊DWR产品优势、应用场景、基本概念等,有助于您系统性地掌握数据工坊DWR概况。
URI-scheme:表示用于传输请求的协议,当前所有API均采用HTTPS协议。 Endpoint:指定承载REST服务端点的服务器域名或IP,不同服务不同区域的Endpoint不同,您可以从地区和终端节点中获取。例如LMS服务在“华北-北京四”(中国站)区域的Endpoint为“dwr-lms.cn-north-4
is invalid 拒绝访问,签名错误或者头域格式错误 请检查签名正确性 400 LMS.00006002 InvalidRequestUri: The request URL is invalid 请求地址错误 检查请求路径 400 LMS.00006003 AccessForbidden:
format_exc()) # 使用访问OBS # 关闭obsClient obsClient.close() return {"statusCode":200, "dynamic_resource_bucketName":bucketname
解析视频的元数据信息,包括:视频时长、视频格式、码率等。用于视频播放时获取时长,分辨率展示 等等。 流程一览 操作步骤 在OBS服务中创建桶 在OBS服务控制台创建两个桶,一个用于上传待处理的数据对象,一个用于存储处理后的数据对象。桶的详细介绍参见创建桶。 数据输入桶:“piccomp”
媒资转码 场景介绍 执行MPC服务的预置转码模板“DASH_H.265_4K_低码_1入9出”,将片源转为4K、2K、1080等码率的视频。该模板实际调用的是MPC服务的新建转码任务接口。 约束与限制 媒资转码算子不支持同步返回,如您配置了同步工作流执行媒资转码算子,则会采用异步方式执行,且返回值会格式异常。
权限隔离。 将DWR资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用DWR服务的其它功能。 本章节为您介绍对用户授权的方法,操作流程如图1所示。
该实例通过创建触发器的方式异步启动工作流,实现流程为: 在OBS服务中创建桶 在DWR服务中创建工作流 在DWR服务中创建事件触发器 在OBS服务中上传文件触发工作流执行 使用限制 当前支持使用的区域为:北京四、上海一、上海二、广州、新加坡。 操作步骤 在OBS服务中创建桶 在OBS服务控制台创建两个桶,一个用于上