检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
properties.sasl.kerberos.service.name' = 'kafka', 'properties.security.protocol' = 'SASL_PLAINTEXT', 'properties.kerberos.domain.name' = 'hadoop.系统域名
Prinical,示例如下: Client { com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true keyTab = "{LocalPath}/user.keytab" principal="super@<系统域名
“taskmanager.network.netty.sendReceiveBufferSize”:默认是系统缓冲区大小(cat /proc/sys/net/ipv4/tcp_[rw]mem) ,一般为4MB,表示netty的发送和接收的缓冲区大小。
= '2021-08-28'", order => 'id'); 注意事项 table与path参数必须存在一个,否则无法判断需要执行clustering的表 如果需要对指定分区进行clustering,参考格式:predicate => "dt = '2021-08-28'" 系统响应
Prinical,示例如下: Client { com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true keyTab = "{LocalPath}/user.keytab" principal="super@<系统域名
数据源为文件系统,该参数才有效。用户如果需增量导入数据建议设置该参数。 例如设置为“.txt”,源文件为“test-loader.csv”,则导出后源文件名为“test-loader.csv.txt”。
<系统域名>@<系统域名>;user.principal=sparkuser;user.keytab=/opt/FIclient/user.keytab;"; Configuration config = new Configuration(); config.addResource
cd {客户端安装目录} kinit {用于认证的业务用户} 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /data(hdfs dfs命令有同样的作用),创建对应目录。
命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 gsql -p 20051 -d hivemeta -U username -W password 执行如下命令修改限制。
默认使用操作系统的换行符。 string 否 \n 输出字段 配置输出信息: 位置:配置输出字段的位置。 字段名:配置输出字段的字段名。 类型:配置字段类型,字段类型为“DATE”或“TIME”或“TimeStamp”时,需指定特定时间格式,其他类型指定无效。
系统响应 可在driver日志中查看命令运行成功或失败。 父主题: CarbonData语法参考
<系统域名>@<系统域名>;user.principal=sparkuser;user.keytab=/opt/FIclient/user.keytab;"; Configuration config = new Configuration(); config.addResource
{ com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true keyTab="/opt/client/user.keytab" principal="hivetest@系统域名
“taskmanager.network.netty.sendReceiveBufferSize”:默认是系统缓冲区大小(cat /proc/sys/net/ipv4/tcp_[rw]mem) ,一般为4MB,表示netty的发送和接收的缓冲区大小。
默认使用操作系统的换行符。 string 否 \n 输出字段 配置输出信息: 位置:配置输出字段的位置。 字段名:配置输出字段的字段名。 类型:配置字段类型,字段类型为“DATE”或“TIME”或“TimeStamp”时,需指定特定时间格式,其他类型指定无效。
系统响应 可在客户端中查看查询结果。 父主题: Hudi CALL COMMAND语法说明
被更新 total_records_written 该文件中新插入了多少个record total_bytes_written 该文件新增多少bytes的数据 total_errors 指定的instant在更新或者插入过程中的报错 file_size 该文件的大小(bytes) 系统响应
处理步骤 登录FusionInsight Manager,选择“系统 > 角色 > 添加角色”,填写角色名称,在“配置资源权限”表格中选择“待操作的集群名称 > Hive > Hive读写权限”,在待操作数据库所在行勾选“查询”、“删除”、“插入”、“建表”、“Select授权”、
登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明