检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Cp工具依赖于集群间复制功能,该功能默认未启用。两个集群都需要配置。 该任务指导MRS集群管理员在MRS修改参数以启用集群间复制功能。 对系统的影响 启用集群间复制功能需要重启Yarn,服务重启期间无法访问。 前提条件 两个集群HDFS的参数“hadoop.rpc.protect
properties”、“/opt/client/Hive/config/hive-site.xml”放入工程的conf目录中。 登录MRS Manager,选择“系统设置 > 用户管理”。 在用户名中选择一个拥有Hive权限的用户,然后在右侧“操作”列中选择“更多 >下载认证凭据”,保存后解压得到用户的user
数据连接。 创建FlinkServer数据连接步骤 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 数据连接管理”,进入数据连接管理页面。 单击“创建数据连接”,在弹出的页面中选择数据连接类型,参考表1填写信息,单击“确定”,完
删除Topic。 在待修改项的“Operation”列单击“Action > Delete”。在弹出的确认信息页面中单击“OK”即可完成删除。 系统默认内置的Topic不支持删除操作。 查看生产数据条数。 在“Producer Message”栏可选择“Day”、“Week”、“Mon
Manager新增文件句柄数量监控功能。 MRS Manager新增大数据组件发生重启事件上报功能。 MRS镜像 解决ECS VNC登录不停打印输出问题。 解决操作系统日志转储配置问题。 补丁兼容关系 包含1.7.1.5及之前发布的所有补丁解决的问题。 注意事项 由于1.7.1 集群的健康检查中存在一项误
tored as rcfile,但是文件格式为txt,则不符合要求。 文件必须是HDFS上的文件,不可以用file://的形式指定本地文件系统上的文件。 文件名不能以下横线(_)或点(.)开头,以这些开头的文件会被忽略。 如下所示,如果用户test_hive load数据,正确的权限如下:
name text, value text); 配置“Hive输入”算子,生成三个字段A、B和C: 设置了数据连接器后,单击“自动识别”,系统将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。 此操作会覆盖表格内已有数据。
name text, value text); 配置“Spark输入”算子,生成三个字段A、B和C: 设置了数据连接器后,单击“自动识别”,系统将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。 此操作会覆盖表格内已有数据。
客户端安装目录 source bigdata_env 在HDFS客户端执行以下命令访问OBS: hdfs dfs -ls obs://OBS并行文件系统目录 如下表示对接成功: 父主题: 存算分离常见问题
查询性能有较大的提升,可参考Compaction。 集群环境调优 可以通过调整Yarn配置、集群节点资源配置、元数据缓存和动态过滤等策略对系统整体进行调优,可参考如下内容: 调整Yarn配置可参考调整Yarn资源分配。 调整集群节点资源配置可参考调整HetuEngine集群节点资源配置。
在对接HDFS组件之前,需要注意首先确保HDFS中有对应的目录,ClickHouse的HDFS引擎只会操作文件不会创建或删除目录。 当前系统只支持部署在x86节点的ClickHouse集群对接HDFS,部署在ARM节点的ClickHouse集群不支持对接HDFS。 操作步骤 以客户端安装用户,登录客户端所在节点。
pattern, final boolean includeSysTables) 作用与上一个方法类似,用户可以通过该方法指定返回的结果是否包含系统表,上一个接口只返回用户表。 TableName[] listTableNames(String regex) 查看匹配指定正则表达式格式
DFSColocationClient:操作colocation文件的接口。常用接口参见表4。 系统中不保留文件与LocatorId的映射关系,只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时,系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
3.x及之后版本 登录FusionInsight Manager。 选择“系统 > 对接 > Syslog”。 开启“Syslog服务”开关。 MRS 3.x之前版本 登录MRS Manager,单击“系统设置”。 在“配置”区域“监控和告警配置”下,开启“Syslog配置”开关。
MetaStore,不支持同时访问cluster1的Hive MetaStore和cluster2的Hive MetaStore。 不同集群的用户系统没有同步,因此访问跨集群组件时,用户的权限管理由对端集群的用户配置决定。比如cluster1的userA没有访问本集群HBase meta
当列字段中的值过期时,ClickHouse会将其替换成数据类型的默认值。如果分区内,某一列的所有值均已过期,则ClickHouse会从文件系统中删除这个分区目录下的列文件。当表内的数据过期时,ClickHouse会删除所有对应的行。 在列上配置TTL: CREATE TABLE default
pattern, final boolean includeSysTables) 作用与上一个方法类似,用户可以通过该方法指定返回的结果是否包含系统表,上一个接口只返回用户表。 TableName[] listTableNames(String regex) 查看匹配指定正则表达式格式
DFSColocationClient:操作colocation文件的接口。常用接口参见表4。 系统中不保留文件与LocatorId的映射关系,只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时,系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
MetaStore,不支持同时访问cluster1的Hive MetaStore和cluster2的Hive MetaStore。 不同集群的用户系统没有同步,因此访问跨集群组件时,用户的权限管理由对端集群的用户配置决定。比如cluster1的userA没有访问本集群HBase meta
pattern, final boolean includeSysTables) 作用与上一个方法类似,用户可以通过该方法指定返回的结果是否包含系统表,上一个接口只返回用户表。 TableName[] listTableNames(String regex) 查看匹配指定正则表达式格式