检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置参数 登录FusionInsight Manager系统,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。 参数 说明 默认值 spark.eventLog.rolling.enabled 是否启用滚动event log文件。
在部分低版本操作系统中使用curl命令访问JobHistoryServer会有兼容性问题,导致无法返回正确结果。
默认使用操作系统的换行符。 说明: 该配置仅用于MySQL专用连接器,当数据列内容中包含默认分隔符时,需要设置自定义分隔符,否则会出现数据错乱。 string 否 \n 输出字段 配置关系型数据库输出字段的相关信息: 字段名:配置输出字段的字段名。 表列名:配置数据库表的列名。
系统默认内置的Topic不支持删除操作。 查看生产数据条数。 在“Producer Message”栏可选择“Day”、“Week”、“Month”不同时段查看当前集群所有集群生产数据条数。 父主题: 管理Kafka Topic
col1); alter table complex_table add columns(col_struct.col_name string comment 'add new column to a struct col' after col_from_col_struct); 系统响应
在弹出的窗口中,选择一个或多个需要恢复数据的组件,单击“确定”,等待系统自动恢复租户数据。 父主题: 管理MRS租户资源
不同集群的用户系统没有同步,因此访问跨集群组件时,用户的权限管理由对端集群的用户配置决定。
TableName[] listTableNames(final Pattern pattern, final boolean includeSysTables) 作用与上一个方法类似,用户可以通过该方法指定返回的结果是否包含系统表,上一个方法只返回用户表。
如果分区内,某一列的所有值均已过期,则ClickHouse会从文件系统中删除这个分区目录下的列文件。当表内的数据过期时,ClickHouse会删除所有对应的行。
TableName[] listTableNames(final Pattern pattern, final boolean includeSysTables) 作用与上一个方法类似,用户可以通过该方法指定返回的结果是否包含系统表,上一个方法只返回用户表。
集群已启用Kerberos认证(安全模式) 登录FusionInsight Manager,选择“系统 > 权限 > 角色 > 添加角色”,填写角色名称,如“dorisrole”,在“配置资源权限”选择“待操作的集群 > Doris”,勾选“Doris管理员权限”,单击“确定”。
<系统域名> -Djava.security.krb5.conf=.
选择“系统 > 用户”界面,选择clickhouseuser用户,选择“更多 > 下载认证凭据”。 首次认证,需要先修改初始密码后再下载认证凭据文件,否则会导致安全认证失败。
<系统域名> -Djava.security.krb5.conf=.
参考信息 表2 滚动重启组件实例期间对系统影响说明 组件名称 业务中断说明 系统受影响的说明 ClickHouse 滚动重启过程中,已经提交的业务如果在超时时间内(默认30分钟)可以执行完成,则无影响。
说明: 登录FusionInsight Manager页面,选择“系统 > 权限 > 域和互信 > 本端域”,即可查看系统域名,系统域名所有字母需转换为小写。
对系统的影响 第一次访问Manager和Hue WebUI,需要在浏览器中添加站点信任以继续打开Hue WebUI。 前提条件 启用Kerberos认证时,MRS集群管理员已分配用户使用Hive的权限。
执行以下语句: create table test_1 (id int, name text, value text); 配置“Hive输入”算子,生成三个字段A、B和C: 设置了数据连接器后,单击“自动识别”,系统将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可
执行以下语句: create table test_1 (id int, name text, value text); 配置“Spark输入”算子,生成三个字段A、B和C: 设置了数据连接器后,单击“自动识别”,系统将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可
true spark-beeline场景: 登录FusionInsight Manager系统。 详细操作请参考访问集群Manager。