检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2.8.X 3.1.X 非关系型数据库数据源约束 MongoDB建议使用的版本:4.2。 暂不支持开启SSL的MongoDB数据源。 消息系统数据源约束 Apache HDFS目前仅支持作为源端数据源。 Apache HDFS建议使用的版本: 2.8.X 3.1.X 父主题: 数据集成(离线作业)
characters in position 63-64 : ordinal not in range ( 128 )”怎么处理? 查看日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限。”怎么办? Shell/Python节点执行失败,后台报错session
不同模式工作空间对生产任务开发与运维的影响 对比 简单模式 企业模式(推荐) 生产任务开发流程管控差异 任务提交后,无需发布,即可进入调度系统周期性执行,产出结果数据。 (提交-->生产) 任务需要先提交至开发环境,再执行发布操作,将任务发布至生产环境,才可以自动调度运行任务。 (提交-->发布-->生产)
Studio数据开发,必须具备“作业日志OBS桶”的读、写权限,否则,在使用过程中,系统将无法正常读、写数据开发的作业日志。 单击“选择OBS路径”按钮,您可以选择一个已创建的OBS桶和对象,系统将基于工作空间全局配置作业日志OBS桶。 如果不配置该参数,DataArts Stu
文件”。 图7 导入码表 表3 导入配置参数说明 参数名 说明 *更新已有表 在导入时是否更新已有的码表信息。在导入时,系统将按编码进行判断将要导入的码表在系统中是否已存在。支持以下选项: 不更新:当码表已存在时,将直接跳过,不更新。 更新:当码表已存在时,更新已有的码表信息。如
Studio权限,详情请参见创建IAM用户并授予DataArts Studio权限。 当前IAM用户已加入拥有DataArts Studio的系统角色(如“DAYU Administrator”或“DAYU User”)的用户组,详情请参见创建IAM用户并授予DataArts Studio权限。
Redis到DCS的迁移,可以通过其他方式进行,请参见自建Redis迁移至DCS。 Redis MongoDB 消息系统 数据接入服务(DIS) 公测中:云搜索服务(CSS) 消息系统不支持作为目的端。 Apache Kafka DMS Kafka MRS Kafka 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
resources 否 Array of longs 资源ID数组。 export_mode 否 String 导出模式,null表示导出到本地文件系统,obs表示导出至obs,仅限于导出质量报告使用。 obs_service_type 否 String 业务类型,technology表示
对账作业 对账作业可将创建的规则应用到两张表中进行质量监控,并输出对账结果。 运维管理 运维管理用于查看规则运行状态,处理运维问题。 质量报告 系统根据作业的结果,会自动生成质量报告。 父主题: 数据质量监控
Studio采用基础包+增量包的计费模式。为了便于您便捷的下单购买,在控制台购买界面中系统会为您计算好所购买的套餐包的价格,您可一键完成整个配置的购买。 计费方式 计费说明 04 使用 指导您快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。 购买并配置DataArts
中定义的策略。 在左侧导航窗格中,单击“委托”,选择对应的委托,单击“授权”,将创建的自定义策略添加到该委托,单击“确定”。 当前用户退出系统,重新登录后,即可正常获取委托列表。 父主题: 数据开发
录。 在过滤框中选择“脚本”,展示历史7天的脚本运行记录。 单击某一条运行记录,可查看当时的脚本信息和运行结果。 下载脚本历史运行结果。 系统默认支持所有用户都能下载脚本的历史运行结果。 您可以在结果页签单击“下载结果”。 支持将CSV格式的结果文件下载到本地。查询结果和下载结果最大支持1000条。
OBS路径不合法。 请检查OBS路径。 400 DLF.0810 The queried task does not exist. 查询的系统任务不存在。 请检查系统任务。 400 DLF.0815 The OBS file fails to be accessed. 读取OBS文件失败。 请检查OBS文件。
MySQL同步到MRS Hudi作业配置 MySQL数据库支持使用版本:5.6、5.7、8.x版本。 Hudi支持使用版本:0.11.0。 消息系统:DMS Kafka 整库 分库分表 MySQL同步到Kafka作业配置 MySQL数据库支持使用版本:5.6、5.7、8.x版本。 Kafka集群支持使用版本:2
category_id 否 Long 目录ID。 name 否 String 规则模板名称。 system_template 否 Boolean 是否只查询系统模板。 creator 否 String 创建者。 limit 否 Integer 分页时每页的条数,最大值为100。 offset 否 Integer
户开放使用。 背景 为了满足用户实际业务场景需求,现将数据架构的指标管理与数仓分层进行独立管理,从而降低指标管理的使用门槛,帮助用户把指标系统快速使用起来。 数据指标的指标设计和指标开发功能,均继承了数据架构的流程设计和技术指标的功能。数据架构这两块功能即将下架,建议您后续使用数据指标组件相关功能。
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 是 index_sample 类型
的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 age > 18 and age <=
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 导入开始前 导入数据前,选择是否清除目的表的数据:
IAM认证方式的API只能授权给IAM类型的应用。 如果对无认证方式的API进行应用授权,则系统会忽略此操作。 IAM类型的应用每个DataArts Studio实例下仅能创建一个,名称固定为华为账号,且不支持修改。 对于数据服务共享版IAM认证方式的API,系统已默认记录了当前账号的白名单,不支持删除,因此共享版I