检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark对接OBS MRS集群支持Spark服务在创建表时指定Location为OBS文件系统路径,也支持基于Hive Metastore方式对接OBS。
<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.
<系统域名> 说明: 用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 client.keytab 使用keytab认证方式登录时,使用的keytab文件所在目录。
Doris数据变更建议 执行特殊的大SQL操作时,可以使用类似SELECT /*+ SET_VAR(query_timeout = xxx*/ from table通过Hint方式设置Session会话变量,不要设置全局的系统变量。 父主题: Doris应用开发规范
选择“系统管理 > 集群连接管理”,进入集群连接管理页面。 单击“创建集群连接”,在弹出的页面中参考表1填写信息,单击“确定”,完成集群连接创建。创建完成后,可在对应集群连接的“操作”列对集群连接进行编辑、测试、删除等操作。
在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
使用Presto 配置sql-standard-with-group创建schema失败报Access Denied Presto的coordinator进程无法正常启动 Presto查询Kudu表时系统报错找不到表 Presto查询Hive表无数据 MRS Presto查询报错“
<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.
系统域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数值获取。
使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优
示例 ALTER TABLE table1 RENAME TO table2 系统响应 通过运行SHOW TABLES查看新的表名。 父主题: Hudi Schema演进及语法说明
Windows系统路径示例:"D:\\hetu-examples-python3\\hetu-jdbc-XXX.jar" Linux系统路径示例:"/opt/hetu-examples-python3/hetu-jdbc-XXX.jar" 父主题: HetuEngine样例程序(Python3
INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及数据库底层数据传输的信息。 如果您需要修改日志级别,请执行如下操作: 登录FusionInsight Manager系统。
解决方法: 执行如下命令可查看是否关闭: systemctl status firewalld(不同的操作系统查询命令不一致,此命令以CentOS为例) 如下图所示:dead表示关闭。
INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及数据库底层数据传输的信息。 如果您需要修改日志级别,请执行如下操作: 登录FusionInsight Manager系统。
MRS 3.x及之后版本:选择“系统 > 权限 > 用户”。 MRS 3.x之前版本:选择“系统设置 > 权限配置 > 用户管理”。 在需导出文件的用户所在行,选择“更多 > 下载认证凭据”,待文件自动生成后指定保存位置,并妥善保管该文件。
表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。
表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。
INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 默认情况下配置Spark2x日志级别不需要重启服务。 登录FusionInsight Manager系统。
表2 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。