检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
时提示网络不可达 开源confluent-kafka-go连接MRS安全集群 MRS集群周期备份任务执行失败 MRS集群客户端无法下载 开启Kerberos认证的MRS集群提交Flink作业报错 通过Hive beeline命令行执行插入命令的时候报错 MRS集群节点如何进行操作系统漏洞升级
动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时地增减Executor个数，从而实现动态分配资源，使整个Spark系统更加健康。 操作步骤 需要先配置External shuffle service。
默认使用操作系统的换行符。 string 否 \n 分割长度单位 长度单位，可选择“char”字符或“byte”字节。 enum 是 char 输入字段 配置输入字段相关信息： 固定长度：设置字段长度，第2个字段起点从第1个字段终点开始，以此类推。 字段名：配置输入字段名。
概述 本章节内容适用于MRS 3.x及后续版本。 Flink从0.10.0版本开始提供了一套API可以将使用Storm API编写的业务平滑迁移到Flink平台上，只需要极少的改动即可完成。通过这项转换可以覆盖大部分的业务场景。 Flink支持两种方式的业务迁移： 完整迁移Storm
其中ResourceManager是一个全新的资源管理系统，而ApplicationMaster则负责MapReduce作业的数据切分、任务划分、资源申请和任务调度与容错等工作。 Yarn和ZooKeeper的关系 ZooKeeper与Yarn的关系如图3所示。
命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 ./encrypt_tool 未加密的密码 得到加密后的密文，作为“authentication.password”的取值。
系统堆单节点最大可用内存。 coordinator.config.properties query.max-memory 7GB Sum(query.max-memory-per-node) * 0.7。 Query集群最大可用内存。
登录FusionInsight Manager系统，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
云硬盘（系统盘和数据盘） 计费因子：云硬盘类型、容量。 购买云硬盘成功后，将立即开始计费，计费与其是否被使用无关。 包年/包月、按需计费 云硬盘的大小 * 云硬盘单价 * 购买数量 * 购买时长 云硬盘单价请参见云硬盘价格计算器。
对系统的影响 修改开关后服务的配置将过期，需要重启对应的服务使配置生效。 关闭HDFS鉴权 登录FusionInsight Manager。 选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置”。 单击“全部配置”。
conf/spark-defaults.conf”配置文件中进行设置，修改如下参数： 参数 参数值 spark.jars Jar包路径，例如：hdfs://hacluster/tmp/spark/JAR/spark-test.jar 登录FusionInsight Manager系统
配置参数 登录FusionInsight Manager系统。 详细操作请参考访问集群Manager。 选择“集群 > 服务 > Spark2x/Spark > 配置”，单击“全部配置”，搜索并调整以下参数。
否 max_server_memory_usage_to_ram_ratio ClickHosueServer默认可使用的系统最大内存比例，小数表示，如0.9表示系统内存的90%。配置不合理可能出现节点OOM导致业务受损。
命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 - job.jobId 需要执行数据备份的作业ID。 作业ID可通过登录Loader webUI在已创建的作业查看。
通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 功能简介 通过HSFabric方式连接到HetuServer，组装对应的SQL发送到HetuServer执行，完成对Hive数据源的增删改查操作。 public class JDBCExampleFabric
取消SQL执行任务 功能介绍 在MRS集群中取消一条SQL的执行任务。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/sql-execution/{sql_id}/cancel 表1
通过JDBC方式实现查询HetuEngine SQL任务 功能简介 通过JDBC连接方式，使用用户名和密码连接到HetuEngine，组装对应的SQL发送到HetuEngine执行，并能查询对应的SQL语句执行进度和状态。 import io.XXX.jdbc.XXXResultSet
创建HBase全局二级索引 功能简介 通过调用“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中的方法进行HBase全局二级索引的管理，该类中addIndices用于创建全局二级索引。 全局二级索引的创建需要指定索引列
通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务 功能简介 通过HSBroker方式连接到HetuEngine，组装对应的SQL发送到HetuEngine执行，完成对Hive数据源的增删改查操作。 public class JDBCExampleBroker
选择“并行文件系统”，单击已创建的文件系统名称。 选择“数据管理> 生命周期规则”，单击“创建”，创建“/user/.Trash”目录的生命周期规则。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
