检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进行;应用提交一般是在Linux环境下进行。 在进行二次开发时,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7以上版本。 安装JDK 开发环境的基本配置。版本要求:1.7或者1.8。 说明: 基于安全考虑,服务端只支持TLS
Task的并行度,指定的是所有Task统一的并行度。 推荐Source的并行度由上游组件推断设置,对于流系统,与上游的分区数相同(例如Kafka的Topic分区数);对于批系统,与上游的切片数相同(例如HDFS的block数量)。 Flink作业中有Source、Sink、中间计
principal="test@<系统域名>" useTicketCache=false storeKey=true debug=true; }; test:为准备集群认证用户信息创建的用户名称,例如developuser。 系统域名:登录FusionInsight Manager后,选择“系统 > 权限
是否自动清除 12006 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 NodeAgent代理进程异常,无法上报心跳至平台。如果因为网络、硬件故障或ssh互信造成,则组件业务无法保证正常。
上述示例将创建名为“productdb.productNameIndexTable”的二级表并加载所提供列的索引信息。 系统响应 将创建二级索引表,加载与所提供的列相关的索引信息到二级索引表中,并将成功消息记录在系统日志中。 父主题: CarbonData语法参考
nk的WebUI,在图形化界面进行集群连接、数据连接、流表管理和作业管理等。 该任务指导用户在MRS集群中访问Flink WebUI。 对系统的影响 第一次访问Manager和Flink WebUI,需要在浏览器中添加站点信任以继续访问Flink WebUI。 操作步骤 使用具有
准备本地应用开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下:
集群互信管理 MRS集群互信概述 修改MRS集群系统域名 配置MRS集群间互信 配置互信MRS集群的用户权限 父主题: MRS集群安全配置
执行df -h命令,查看系统磁盘分区的使用信息。 查看DBservice数据目录空间是否已满。 是,执行3.f。 否,执行4。 扩容升级。 磁盘扩容后,等待2分钟检查告警是否清除。 是,操作结束。 否,执行4。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。
shortcircuit.DomainSocketFactory - The short-circuit local reads feature cannot be used because libhadoop cannot be loaded. 793 [main] INFO
准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境: Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下:
ERROR ERROR表示错误日志输出。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示系统及系统调试信息。 如果您需要修改日志级别,请执行如下操作: 请参考修改集群服务配置参数,进入Loader的“全部配置”页面。
user.keytab文件位置请根据自己实际路径填写。 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input(hdfs dfs命令有同样的作用),创建对应目录。 在Linux系统HDFS客户端使用命令hadoop fs -put log1.txt
HBase表以“命名空间:表名”格式进行存储,若在创建表时不指定命名空间,则默认存储在“default”中。其中,“hbase”命名空间为系统表命名空间,请不要对该系统表命名空间进行业务建表或数据读写等操作。 功能分解 根据上述的业务场景进行功能分解,需要开发的功能点如表2所示。 表2 在HBase中开发的功能
MRS集群安全配置 集群互信管理 更换MRS集群证书 MRS集群安全加固 修改MRS集群系统用户密码 修改MRS集群数据库用户密码 父主题: MRS集群运维
在进行二次开发时,要准备的开发和运行环境如表1所示: 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下:
点取消隔离后,需要重装主机,以保证隔离节点和集群使用相同的CA证书。 该章节仅适用于MRS 3.x及之后版本。 对系统的影响 更换过程中MRS系统需要重启,此时系统无法访问且无法提供服务。 更换证书以后,所有组件和Manager的模块使用的证书将自动更新。 更换证书以后,还未信任该证书的本地环境,需要重新安装证书。
上述示例将创建名为“productdb.productNameIndexTable”的二级表并加载所提供列的索引信息。 系统响应 将创建二级索引表,加载与所提供的列相关的索引信息到二级索引表中,并将成功消息记录在系统日志中。 父主题: DML
parquet_mngd; 注意事项 为了更好的加载数据性能,CTAS使用bulk insert作为写入方式。 系统响应 Table创建成功,创建成功的消息将被记录在系统日志中。 父主题: Hudi DDL语法说明
获取登录“Loader WebUI”的账户和密码。 操作步骤 关联操作 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。