检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用多线程Producer发送消息 功能简介 在使用Producer API向安全Topic生产消息基础上，实现了多线程Producer，可启动多个Producer线程，并通过指定相同key值的方式，使每个线程对应向特定Partition发送消息。 下面代码片段在com.huawei
MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 MapReduce二次开发远程调试 父主题： MapReduce开发指南（普通模式）
Oozie应用开发流程 本文档主要基于java API对Oozie进行应用开发。 开发流程中各阶段的说明如图1和表1所示。 图1 Oozie应用程序开发流程 表1 Oozie应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Oozie的基本概念，了解场景需求等。
运行HBase样例工程。 前提条件 MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager，请参考登录MRS Manager。 在MRS Manager界面选择“系统设置 > 角色管理 > 添加角色”，如图 1
ive样例工程。 前提条件 MRS服务集群开启了Kerberos认证需要执行该步骤，没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager，请参考登录MRS Manager。 在MRS Manager界面选择“系统设置 > 角色管理 > 添加角色”，如图
准备Hive JDBC开发环境 为了运行Hive组件的JDBC接口样例代码，需要完成下面的操作。 以在Windows环境下开发JDBC方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程获取Hive示例工程。 在Hive示例工程根目录，执行mvn install编译。
前提条件 MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作场景 开发用户用于运行样例工程。用户需要有HDFS权限，才能运行HDFS样例工程。 操作步骤 登录MRS Manager，在MRS Manager界面选择“系统设置 > 角色管理
创建HBase表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin对象的createTable方法来创建表，并指定表名、列族名。创建表有两种方式（强烈建议采用预分Region建表方式）： 快速建表，即创建表后整张表只有一个Regio
删除HBase表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin的deleteTable方法来删除表。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的dropTable方法中
败的情况。 MRS提供了ClickHouse的样例代码工程，旨在提供连接重试机制和规范化用户连接和查询的方法，从而减少业务失败的风险，提升系统的稳定性和可靠性。 本样例代码工程包含了连接、查询和插入相关规则和建议，以及相关的代码示例，可以帮助客户更好地理解和实践这些方法。通过使用
登录Manager，选择“集群 > 服务 > Flink > 实例”，查看FlinkServer所在的“业务IP”。 若FlinkServer实例所在节点与包含HBase服务客户端的安装节点相同，则该节点不执行此步骤。 登录Manager，选择“集群 > 服务 > Flink > 配置 >
Hudi表常见问题及排查手段 Compaction篇 Clean篇 Archive篇 性能篇 写入篇 数据一致性篇 父主题： SparkOnHudi场景操作指导
在权限管理中，为了方便用户使用，授予数据库下表的任意权限将自动关联该数据库目录的HDFS权限。为了避免产生性能问题，取消表的任意权限，系统不会自动取消数据库目录的HDFS权限，但对应的用户只能登录数据库和查看表名。 若为角色添加或删除数据库的查询权限，数据库中的表也将自动添加
即使任务失败，Container挂载的目录也应该被清除。 上述问题是由于删除动作超时导致的。完成某些任务所使用的时间已远超过删除时间。 为避免出现这种场景，您可以参考修改集群服务配置参数，进入Yarn“全部配置”页面。在搜索框搜索“yarn.nodemanager.linux-container-executor.cgroups
authentication.principal 安全模式中使用keytab认证，配置访问Loader服务的“机机”用户名。 authentication.keytab 安全模式中使用keytab认证，配置访问Loader服务的“机机”用户keytab文件目录，需包含绝对路径。 zookeeper.quorum
配置参数说明 配置参数 说明 示例 server.url Loader服务的浮动IP地址和端口（21351）。 为了兼容性，此处支持配置多个IP地址和端口，并以“,”进行分隔。其中第一个必须是Loader服务的浮动IP地址和端口（21351），其余的可根据业务需求配置。 10.0
目前出现上述问题时使用的是默认配置，如表1所示，HDFS客户端到NameNode的RPC连接存在keep alive机制，保持连接不会超时，尽力等待服务器的响应，因此导致已经连接的HDFS客户端的操作会长时间无响应。 对于已经长时间无响应的HDFS客户端，可以进行如下操作： 等待NameN
hours_allowed属性：配置是否根据系统时间执行策略评估。 hours_allowed的值是以逗号分隔的数字，范围从0到23，表示系统时间。 示例：<policy name ="policy1" hours_allowed ="2-6,13-14"> 如果当前系统时间在配置的范围内，则继续评估。否则，将跳过评估。
安全模式支持配置创建临时函数是否需要ADMIN权限功能，而普通模式不支持该功能。 操作步骤 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 若集群详情页面没有“组件管理”页
断消息的最大大小。 若您需要设置“yarn.app.attempt.diagnostics.limit.kc”参数值，具体操作参考修改集群服务配置参数，进入Yarn“全部配置”页面，在搜索框搜索以下参数。 表1 参数描述 参数 描述 默认值 yarn.app.attempt.diagnostics
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
