检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
datepart datepart函数用于计算日期date中符合指定时间单位datepart的值。 命令格式 datepart(string date,string datepart) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE 或 STRING
message 是 String 系统提示信息。执行成功时,信息可能为空。 object_name 否 String 对象名称。 object_type 否 String 对象类型。 privileges 否 Array of Object 权限信息。具体内容请参考表4。
message 否 String 系统提示信息,执行成功时,信息为空。 job_id 否 String 返回作业的ID,可用于获取作业状态和作业结果。 job_type 否 String 作业类型。
message 是 String 系统提示信息,执行成功时,信息可能为空。 table_count 是 Integer 表的总个数。 tables 是 Array of objects 表的信息。具体参数请参见表3。
add_months add_months函数用于计算日期值增加指定月数后的日期。即start_date在num_months个月之后的date。 命令格式 add_months(string start_date, int num_months) 参数说明 表1 参数说明 参数
conv conv函数用于进制转换,将from_base进制下的num转化为to_base进制下面的数。 命令格式 conv(BIGINT num, INT from_base, INT to_base) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 num 是 DOUBLE
date_format date_format函数用于将date按照format指定的格式转换为字符串。 命令格式 date_format(string date, string format) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE 或
max_pt max_pt函数用于返回分区表的一级分区中有数据的分区的最大值,按字母排序,且读取该分区下对应的数据。 命令格式 max_pt(<table_full_name>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 table_full_name 是 STRING
Spark jar 如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径,即:SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的,所以不能将Driver中获取到的路径作为参数传给
from_utc_timestamp from_utc_timestamp函数用于计算将UTC的时间戳转化为timezone所对应的UNIX格式的时间戳。 命令格式 from_utc_timestamp(string timestamp, string timezone) 参数说明
locate locate函数用于在str中查找substr的位置。您可以通过start_pos指定开始查找的位置,从1开始计数。 命令格式 locate(string <substr>, string <str>[, bigint <start_pos>]) 参数说明 表1 参数说明
message 否 String 系统提示信息,执行成功时,信息可能为空。示例值:空 请求示例 给用户赋予队列queue1提交作业、删除队列的权限。
随导出创建指定路径:指定的导出目录必须不存在,如果指定目录已经存在,系统将返回错误信息,无法执行导出操作。 覆盖指定路径:在指定目录下新建文件,会删除已有文件。 表头:无/有 设置导出数据是否含表头。 单击“确定”即可导出数据。
弹性资源池缩容 系统默认最小CU值为16CU,即当弹性资源池的规格为16CU时,不能进行手动缩容。 在DLI管理控制台左侧,选择“资源管理 > 弹性资源池”。 选择需要缩容的弹性资源池,单击“操作”列“更多”中的“包周期CU变更”。
by (dt, hh); 通过create table like创建表 create table delta_table2 like delta_table1 using delta location 'obs://bucket_name0/db0/delta_table2'; 系统响应
图1 DLI Serverless架构 与传统自建Hadoop集群相比,Serverless架构的DLI还具有以下优势: 表1 Serverless DLI与传统自建Hadoop集群对比的优势 优势 维度 数据湖探索 DLI 自建Hadoop系统 低成本 资金成本 按照实际扫描数据量或者
bround bruond函数用于返回一个数值,该数值是按照指定d位小数进行四舍五入运算的结果。 命令格式 bround(DOUBLE a, INT d) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型
lpad locate函数用于返回指定长度的字符串,给定字符串str1长度小于指定长度length时,由指定字符str2从左侧填补。 命令格式 lpad(string <str1>, int <length>, string <str2>) 参数说明 表1 参数说明 参数 是否必选
instr instr函数用于返回substr在str中最早出现的下标。 当参数中出现NULL时,返回NULL,当str中不存在substr时返回0,注意下标从1开始。 相似函数:instr1,instr1函数用于计算子串str2在字符串str1中的位置,instr1函数支持指定起始搜索位置和匹配次数
to_char to_char函数用于将日期按照指定格式转换为字符串。 命令格式 to_char(string date, string format) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE 或 STRING 代表需要处理的日期。 格式为