检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
打开Windows操作系统“开始”菜单,输入cmd命令。 在命令行窗口,进入“dli-sdk-python-<version>.zip”解压目录下的windows目录。例如:“D:\tmp\dli-sdk-python-1.0.8”。
message 否 String 系统提示信息,执行成功时,信息可能为空。 请求示例 无 响应示例 { "is_success": true, "message": "" } 状态码 状态码如表3所示。 表3 状态码 状态码 描述 200 取消成功。 400 请求错误。
message 否 String 系统提示信息,执行成功时,信息可能为空。 请求示例 无 响应示例 { "is_success": true, "message": "" } 状态码 状态码如表3所示。 表3 状态码 状态码 描述 200 删除成功。 400 请求错误。
message 否 String 系统提示信息,执行成功时,返回“Deleted”。 请求示例 无 响应示例 { "is_success": true, "message": "Deleted" } 状态码 状态码如表3所示。
message String 系统提示信息,执行成功时,返回“Deleted”。 请求示例 无 响应示例 { "is_success": true, "message": "Deleted" } 状态码 状态码如表3所示。
系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
message 是 String 系统提示信息,执行成功时,信息可能为空。 connectivity 是 String 连通性测试结果。
message String 系统提示信息,执行成功时,信息可能为空。执行失败时,用于显示执行失败的原因。 sql_id String 新增SQL模板的ID。 group String SQL模板分组名称。 请求示例 创建一个SQL模板。
为了避免依赖包兼容性问题或日志输出及转储问题,打包时请注意排除以下文件: 系统内置的依赖包,或者在Maven或者Sbt构建工具中将scope设为provided 日志配置文件(例如l:“log4j.properties”或者“logback.xml”等) 日志输出实现类JAR包(例如
或者勾选系统角色“DLI Service Administrator”(权限较大,拥有DLI所有权限)也可以实现Flink作业的查看。 父主题: Flink作业咨询类
适合需要实现UDF(用户定义函数)或特定库集成的场景,用户可以利用Flink的生态系统来实现高级的流处理逻辑和状态管理。 创建Flink Jar作业请参考创建Flink Jar作业。 父主题: 在DLI管理控制台提交Flink作业
message String 系统提示信息,执行成功时,信息可能为空。 请求示例 创建路由,自定义增强型跨源连接的下一跳的路由信息为127.0.0.0。
message 否 String 系统提示信息,执行成功时,信息可能为空。 请求示例 修改数据库中表的owner为scuser1。
默认情况下,为了保障队列的稳定运行,超过12h的SQL作业会被系统按超时取消处理。 用户可以通过dli.sql.job.timeout(单位是秒)参数配置超时时间。 DLI支撑本地测试Spark作业吗?
message 否 String 系统提示信息,执行成功时,信息可能为空。 job_id 否 String 此SQL将生成并提交一个新的作业,返回作业ID。用户可以使用作业ID来查询作业状态和获取作业结果。
test_delta_parts1 PARTITION(dt) select id,name,dt from test_delta1; -- insert overwrite table insert overwrite table delta_table0 select 1, 'a1', 20; 系统响应
optimize delta_table0 where dt >= '2020-01-01'; OPTIMIZE delta_table0 WHERE dt >= current_timestamp() - INTERVAL 1 day ZORDER BY (price); 系统响应
message String 系统提示信息,执行成功时,信息可能为空。执行失败时,用于显示执行失败的原因。 请求示例 更新SQL模板的信息,包括模板的SQL语句、模板名称、模板的描述信息和分组信息。
在使用时系统先按照spark.sql.aggregate.adaptivePartialAggregationInterval配置的间隔进行分析,当处理的行数到达间隔之后,再计算”已处理的group分组/已处理的行数”,如果比例大于配置的阈值,则认为预聚合效果不好,此时可以直接选择跳过