检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进度 表示作业运行进度。 组 表示作业所属组。 开始 表示作业开始时间。 持续时间 表示作业运行使用的时间。 Id 表示作业的编号,由系统自动生成。 如果MRS集群安装了Spark组件,则默认会启动一个作业“Spark-JDBCServer”,用于执行任务。 父主题: 使用Hue提交Oozie作业
实例使配置生效。 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值: com.huawei.mrs.MrsObsCredentialsProvider:通过MRS云服务委托获取凭证。
=> 'SIMPLE', hoodie.datasource.write.table.type => 'MERGE_ON_READ'); 系统响应 执行完成后可通过desc formatted table来查看表属性。 父主题: Hudi CALL COMMAND语法说明
)] 描述 创建一个空的schema。schema是表、视图以及其他数据库对象的容器。当指定可选参数IF NOT EXISTS时,如果系统已经存在同名的schema,将不会报错。 Schema默认路径为hdfs://hacluster/user/hive/warehouse/。
column1 = 'xxx'); 示例5: delete from columncarbonTable1 where column2 >= 4; 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: CarbonData语法参考
务端的时间一致,否则安装会失败。 在节点上安装客户端可以使用root或任意操作系统用户进行操作,要求该用户对客户端文件存放目录和安装目录具有操作权限,两个目录的权限为“755”。 本章节以使用操作系统用户“user_client”安装客户端进行举例,安装目录为“/opt/hadoopclient”。
Kafka的服务端的配置信息。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通,可以通过
Kerberos作为安全认证的概念,该系统设计上采用客户端/服务器结构与DES、AES等加密技术,并且能够进行相互认证,即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止replay攻击、保护数据完整性等场景,是一种应用对称密钥体制进行密钥管理的系统。 Kerberos认证协议,主要包含三个角色:
apache.hadoop.hive.serde2.SMS4Rewriter) Hive开源增强特性:支持HBase删除功能 由于底层存储系统的原因,Hive并不能支持对单条表数据进行删除操作,但在Hive on HBase功能中,MRS解决方案中的Hive提供了对HBase表的
管理员可以根据以下指导,在Manager修改参数以启用集群间拷贝功能,启用之后即可创建将数据备份至远端HDFS(RemoteHDFS)的备份任务。 对系统的影响 启用集群间复制功能需要重启Yarn,服务重启期间无法访问。 前提条件 复制数据的集群的HDFS的参数“hadoop.rpc.pro
authorization.enable=false 权限管理介绍 SparkSQL的权限管理是指SparkSQL中管理用户操作数据库的权限系统,以保证不同用户之间操作数据库的独立性和安全性。如果一个用户想操作另一个用户的表、数据库等,需要获取相应的权限才能进行操作,否则会被拒绝。
准备一个提交Flink作业的用户。 登录Manager,选择“系统 > 权限 > 角色”,单击“添加角色”,输入角色名称与描述。在“配置资源权限”的表格中选择“待操作集群的名称 > Flink”,勾选“FlinkServer管理操作权限”,单击“确定”,返回角色管理。 选择“系统 > 权限 > 用户”,单击“添
column1 = 'xxx'); 示例5: delete from columncarbonTable1 where column2 >= 4; 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: DML
show_active_instant_detail(table => 'hudi_table1', instant => '20220913144936897'"); 系统响应 可在客户端中查看查询结果。 父主题: Hudi CALL COMMAND语法说明
用的最大内存。 约束与限制 本章节仅适用于MRS 3.2.0-LTS及之后版本。 操作步骤 登录FusionInsight Manager系统。 详细操作请参考访问集群Manager。 选择“集群 > 服务 > ClickHouse > 配置 > 全部配置 > ClickHouseServer(角色)
将PMS进程的内存配置参数“pms.mem”根据实际情况调大,保存并退出。 ... pms.mem=800m 修改的新值的增长量不能大于操作系统可用剩余内存。 执行以下命令查找PMS进程的PID,并终止PMS进程,等待进程重新启动。 ps -ef | grep pms kill -9
产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 应用任务结束时间变长。 新应用提交后长时间无法运行。 可能原因 告警上报机制需要调整。(仅适用于MRS 3.3
(周四)、FRIDAY(周五)、SATURDAY(周六)、SUNDAY(周日) 约束限制: 不涉及 取值范围: MONDAY(周一)、TUESDAY(周二)、WEDNESDAY(周三)、THURSDAY(周四)、FRIDAY(周五)、SATURDAY(周六)、SUNDAY(周日)之一
ser.keytab”文件所属的用户。 说明: 用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名,如“HADOOP.COM”。 admintest@HADOOP.COM keytab文件 开启安全模式时填写此参数。
py中,修改“hadoop.hadoop.com”修改为hadoop.实际域名。实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看。 先使用kinit命令获取kerberos认证的缓存。 使用准备MRS应用开发用户章节中创建的开发用户执行以下命令运行客户端程序: