检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
消息系统:DMS Kafka 说明: 该链路目前需申请白名单后才能使用。如需使用该链路,请联系客服或技术支持人员。
说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。
结构化数据 *水印内容 系统会将水印标识嵌入到数据表中,标识长度不超过16个字符即可。 *数据选择 结构化数据仅支持csv、xml和json格式文件。 *选择注入字段 选择需要注入水印的字段。
说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。
说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 高级属性 迁移行为 选择写入目的端的迁移方式。
消息系统数据源约束 Apache HDFS目前仅支持作为源端数据源。 Apache HDFS建议使用的版本: 2.8.X 3.1.X 父主题: 数据集成(离线作业)
Redis MongoDB 消息系统 数据接入服务(DIS) 公测中:云搜索服务(CSS) 消息系统不支持作为目的端。
使用方法 当前配置好的环境变量支持如下两种使用方法: ${环境变量名} #{Env.get(“环境变量名”)} 操作示例 背景信息: 在数据开发模块系统中已创建一个作业“test”。 在环境变量中已新增一个变量,“参数名”为“job”,“参数值”为“123”。
设置为长久运行的任务,如果DIS系统发生中断,任务也会失败结束。 是 DIS分区ID DIS分区ID,该参数支持输入多个分区ID,使用英文逗号(,)分隔。 0,1,2 偏移量参数 设置从DIS拉取数据时的初始偏移量: 最新:最大偏移量,即拉取最新的数据。
当前用户退出系统,重新登录后,即可正常获取委托列表。 父主题: 数据开发
系统默认支持所有用户都能下载脚本的历史运行结果。 您可以在结果页签单击“下载结果”。 支持将CSV格式的结果文件下载到本地。查询结果和下载结果最大支持1000条。 作业运行历史 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
查看日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限。”怎么办? Shell/Python节点执行失败,后台报错session is down 请求头中参数值长度超过512个字符时,何如处理?
说明: 开发者可以不经过任何人审批,随时新增、修改脚本或作业并提交至调度系统,给业务带来不稳定因素。 流程相对复杂,一般情况下无法一人完成所有数据开发、生产流程。
工作空间成员如需使用DataArts Studio数据开发,必须具备“作业日志OBS桶”的读、写权限,否则,在使用过程中,系统将无法正常读、写数据开发的作业日志。 单击“选择OBS路径”按钮,您可以选择一个已创建的OBS桶和对象,系统将基于工作空间全局配置作业日志OBS桶。
查询的系统任务不存在。 请检查系统任务。 400 DLF.0815 The OBS file fails to be accessed. 读取OBS文件失败。 请检查OBS文件。 400 DLF.1006 The job node is empty. 作业的节点为空。
当前IAM用户已加入拥有DataArts Studio的系统角色(如“DAYU Administrator”或“DAYU User”)的用户组,详情请参见创建IAM用户并授予DataArts Studio权限。
export_mode 否 String 导出模式,null表示导出到本地文件系统,obs表示导出至obs,仅限于导出质量报告使用。
质量报告 系统根据作业的结果,会自动生成质量报告。 父主题: 数据质量监控
DataArts Studio最佳实践汇总 本文汇总了数据治理中心(DataArts Studio)服务的常见应用场景,并为每个场景提供详细的方案描述和操作指南,您可以根据本文查看适合您业务的实践教程文档。 DataArts Studio最佳实践 开发者社区精选最佳实践 表1 DataArts
system_template 否 Boolean 是否只查询系统模板。 creator 否 String 创建者。 limit 否 Integer 分页时每页的条数,最大值为100。 offset 否 Integer 分页偏移量。