检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
所以为了在小内存模式下能加载较大日志文件,需要对大应用开启日志滚动功能。一般情况下,长时间运行的应用建议打开该功能。 配置参数 登录FusionInsight Manager系统,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。 参数 说明 默认值 spark.eventLog
2为MapReduce的“JHS_FLOAT_IP”参数的参数值,19888为JobHistoryServer的端口号。 在部分低版本操作系统中使用curl命令访问JobHistoryServer会有兼容性问题,导致无法返回正确结果。 用户能看到历史任务的状态信息(任务ID,开始时间,结束时间,是否执行成功等信息)
义分隔符,否则会出现数据错乱。 string 否 , 换行分隔符 用户根据数据实际情况,填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 说明: 该配置仅用于MySQL专用连接器,当数据列内容中包含默认分隔符时,需要设置自定义分隔符,否则会出现数据错乱。 string
删除Topic。 在待修改项的“Operation”列单击“Action > Delete”。在弹出的确认信息页面中单击“OK”即可完成删除。 系统默认内置的Topic不支持删除操作。 查看生产数据条数。 在“Producer Message”栏可选择“Day”、“Week”、“Mon
comment 'add new column to a struct col' after col_from_col_struct); 系统响应 通过运行DESCRIBE命令,可显示新添加的列。 父主题: Hudi Schema演进及语法说明
/opt/executor/bin/refresh-client-config.sh 配置回收站清理策略。 登录OBS控制台。 选择“并行文件系统”,单击已创建的文件系统名称。 选择“数据管理> 生命周期规则”,单击“创建”,创建“/user/.Trash”目录的生命周期规则。 配置集群使用存算
Internet Explorer浏览器可能存在兼容性问题,建议更换兼容的浏览器访问Hue WebUI,例如Google Chrome浏览器50版本。 对系统的影响 第一次访问Manager和Hue WebUI,需要在浏览器中添加站点信任以继续打开Hue WebUI。 前提条件 启用Kerber
name text, value text); 配置“Hive输入”算子,生成三个字段A、B和C: 设置了数据连接器后,单击“自动识别”,系统将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。 此操作会覆盖表格内已有数据。
name text, value text); 配置“Spark输入”算子,生成三个字段A、B和C: 设置了数据连接器后,单击“自动识别”,系统将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。 此操作会覆盖表格内已有数据。
save(basePath); 其中,"obs://testhudi/cow_table/"是OBS路径,“testhudi”是并行文件系统名称,请根据实际情况修改。 使用datasource API命令查看表建立成功,数据正常。 val roViewDF = spark. read
DFSColocationClient:操作colocation文件的接口。常用接口参见表4。 系统中不保留文件与LocatorId的映射关系,只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时,系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
pattern, final boolean includeSysTables) 作用与上一个方法类似,用户可以通过该方法指定返回的结果是否包含系统表,上一个接口只返回用户表。 TableName[] listTableNames(String regex) 查看匹配指定正则表达式格式
MetaStore,不支持同时访问cluster1的Hive MetaStore和cluster2的Hive MetaStore。 不同集群的用户系统没有同步,因此访问跨集群组件时,用户的权限管理由对端集群的用户配置决定。比如cluster1的userA没有访问本集群HBase meta
3.x及之后版本 登录FusionInsight Manager。 选择“系统 > 对接 > Syslog”。 开启“Syslog服务”开关。 MRS 3.x之前版本 登录MRS Manager,单击“系统设置”。 在“配置”区域“监控和告警配置”下,开启“Syslog配置”开关。
Storm组件Supervisor进程使用的内存占系统总内存的平均百分比。 取值范围[0 ~ 100]。 StormSupervisorCPUAverageUsagePercentage 百分比 Storm组件Supervisor进程使用的CPU占系统总CPU的平均百分比。 取值范围[0 ~
删除Topic。 在待修改项的“Operation”列单击“Action > Delete”。在弹出的确认信息页面中单击“OK”即可完成删除。 系统默认内置的Topic不支持删除操作。 查看生产数据条数。 在“Producer Message”栏可选择“Day”、“Week”、“Mon
properties”、“/opt/client/Hive/config/hive-site.xml”放入工程的conf目录中。 登录MRS Manager,选择“系统设置 > 用户管理”。 在用户名中选择一个拥有Hive权限的用户,然后在右侧“操作”列中选择“更多 >下载认证凭据”,保存后解压得到用户的user
降低读取延迟:通过同时从多个数据节点读取相同的数据块来降低总体读取时间。 适应网络变化:在网络条件不稳定或部分节点出现性能问题时,提高客户端的读取效率。 对系统的影响 多路读会增加网络流量和CPU使用率,由于需要处理更多的连接和请求,需要根据现网硬件及作业情况实际调整。例如:默认三副本的情况下启用
全局默认设置。 副本间强一致必须要结合原子性一起使用,否则在插入过程中出现异常,无法回退成功。 登录FusionInsight Manager系统。 详细操作请参考访问集群Manager。 选择“集群 > 服务 > ClickHouse > 配置 > 全部配置 > 可靠性”,修改以下参数:
Manager新增文件句柄数量监控功能。 MRS Manager新增大数据组件发生重启事件上报功能。 MRS镜像 解决ECS VNC登录不停打印输出问题。 解决操作系统日志转储配置问题。 补丁兼容关系 包含1.7.1.5及之前发布的所有补丁解决的问题。 注意事项 由于1.7.1 集群的健康检查中存在一项误