检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
format 是 (none) String 指定使用格式,这里应该是'avro'。 avro.codec 否 (none) String 仅用于文件系统,avro 压缩编解码器。默认不压缩。目前支持:deflate、snappy、bzip2、xz。 数据类型映射 目前,Avro schema
Kafka开启Kerberos认证。 维表 HBase MRS安全集群已开启Kerberos认证。 操作步骤 下载数据源的认证凭证。 登录MRS Manager界面。 选择“系统 > 权限 > 用户”。 单击“更多 > 下载认证凭据”,保存后解压得到用户的keytab文件与krb5.conf文件。 上传认证凭证到OBS桶。
参数类型 说明 is_success 是 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 是 String 系统提示信息,执行成功时,信息可能为空。 table_count 是 Integer 表的总个数。 tables 是 Array of Objects
否 Array of Objects 已上传的用户资源名列表, 资源详情请参见表4。 modules 否 Array of Objects 系统内置资源模块列表,模块详情请参考表5。 groups 否 Array of Objects 已上传的用户分组资源。 total 是 Integer
参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息为空。 id 否 String 连接ID,用于标识跨源连接的UUID。 name 否 String 创建连接时,用户自定义的连接名称。
参数类型 描述 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 count 否 Long 总共条数。 elastic_resource_pools 否 Array of
解压下载的kafka-certs压缩包,获取client.jks和phy_ca.crt文件。 MRS Kafka 登录MRS Manager界面。 选择“系统 > 权限 > 用户”。 单击“更多 > 下载认证凭据”,保存后解压得到Truststore文件。 上传认证凭证到OBS桶。 关于如何创建
弹性资源池单个计费周期内小于1CU的向上取整。 弹性资源池扩缩容的开始时间点是以实际扩缩容成功后时间点开始计算,不是按照扩缩容配置的时间开始计费。 弹性资源池队列扩容成功后,系统开始对扩容的CU进行计费,直到缩容成功停止对扩容的CU计费。 当业务发生调整,对这部分CU没有使用需求时,请及时清理释放资源,否则扩容的CU会持续计费。
参数类型 说明 is_success 是 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 是 String 系统提示信息,执行成功时,信息可能为空。 column_count 是 Integer 表的总列数。 columns 是 Array of Objects
when matched and flag = true then delete when not matched then insert *; 系统响应 可以检查任务状态是否成功,查看任务日志确认有无异常。 父主题: Hudi DML语法说明
发调试再上线),建议您使用包年/包月计费模式,可以更优惠。同时,按需计费的队列,在空闲1小时后(队列空闲是指该队列上没有正在运行的作业),系统会自动释放计算资源,再次使用时,需要重新分配计算资源,可能会耗费5~10min时间。使用包年/包月计费模式则可避免这种情况,节省等待时间。
S中。 insert into test_parquet_hw select * from test_csv_hw 检查结果,如图5所示,系统自动创建了一个文件用于保存结果。 图5 保存Parquet数据
当您的账号因按需资源自动扣费导致欠费后,账号将变成欠费状态,资源将陆续进入宽限期和保留期。 图2 按需计费的DLI资源生命周期 欠费预警 系统会在每个计费周期后的一段时间对按需计费资源进行扣费。当您的账户被扣为负值时,我们将通过邮件、短信和站内信的方式通知到华为账号的创建者。 欠费后影响
matched and h0.flag = true then delete when not matched then insert *; 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Delta DML语法说明
当“文件格式”为“CSV”和“JSON”时此参数有效。 选中“高级选项”,该参数表示可将错误数据保存到对应的OBS路径中。 obs://DLI/ 单击“确定”,系统开始导入数据。 有两种方式可查看导入的数据。 目前预览只显示导入的前十条数据。 在“数据管理”>“库表管理”页面,单击数据库名,在表管理界
参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 connections 否 Array of Objects 跨源连接信息列表,详细信息请参考表4。
数据存储路径。 “1”:抛出异常。 “0”:忽略。 默认值为“0”。 udf_jar_url 否 String 用户已上传到DLI资源管理系统的资源包名,用户sql作业的udf jar通过该参数传入。 manager_cu_number 否 Integer 用户为作业选择的管理单
“单TM所占CU数”:每个TaskManager占用的资源数量。 “单TM Slot”:每个TaskManager包含的Slot数量。 不勾选该参数,,系统自动按照默认值为您配置。 “单TM所占CU数”:默认值为1。 “单TM Slot”:默认值为“(并行数 * 单TM所占CU数 )/(CU数量
每一个弹性资源池关联唯一的Notebook实例。 Notebook作业运行过程中产生的临时数据将会存储在DLI作业桶中,且必须使用并行文件系统。 请在ModelArts管理控制台管理Notebook实例。请参考管理Notebook实例。 Notebook实例用于代码编辑和开发,关联队列用于执行作业。
类型的作业分别置于独立的弹性资源池中。 优势在于:Flink实时流任务具有常驻运行的特质,确保其稳定运行而不会强制缩容,进而避免任务中断和系统不稳定。 而SQL批处理类型的作业在独立的资源池中能够更加灵活地进行扩缩容,显著提升扩缩容的成功率和操作效率。 在全天的任意一个时间段内,