检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ContainerLaunch.call(ContainerLaunch.java:88) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ThreadPoolExecutor.ru
rtifacts信息。 在IDEA主页面,选择“File > Project Structures...”进入“Project Structure”页面。 在“Project Structure”页面,选择“Artifacts”,单击“+”并选择“From modules with
单击“Apply”后单击“OK”。 在IntelliJ IDEA的菜单栏中,选择“File > Project Structure...”,弹出“Project Structure”窗口。 选择“SDKs”,单击加号选择“JDK”。 在弹出的“Select Home Directory for
{ return new Tuple2<>(); } return new Tuple2<>(words[0], words[1]);
er创建的用户),也可以通过登录MRS集群节点后使用命令进行解锁。 如果服务出现异常状态,有可能是系统内部用户被锁定,需及时解锁,否则会影响集群正常运行。系统内部用户列表请参见MRS集群用户账号一览表。系统内部用户无法使用Manager解锁。 解锁Manager内创建的用户 MRS
3.0及之后版本。 “hdfs://hacluster”为HBase使用的文件系统名,“/hbase”为HBase在文件系统上的根目录,可登录FusionInsight Manager,选择“集群 > 服务 > HBase > 配置”,在搜索框中分别搜索“fs.defaultFS”和“hbase
query cur.execute("show tables") # Return column info from query print cur.getSchema()
WordCountBolt(), 12).fieldsGrouping("split", new Fields("word")); return builder; } 父主题: 开发Storm应用
MEM”参数设置内存。 示例 在执行spark wordcount计算中。1.6T数据,250个executor。 在默认参数下执行失败,出现Futures timed out和OOM错误。 因为数据量大,task数多,而wordcount每个task都比较小,完成速度快。当task数多时
在执行SQL语句前,请使用MRS集群管理员用户修改内存大小配置。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”。 单击“全部配置”,并搜索“SPARK_DRIVER_MEMORY”。 修改参数值适当增加内存大小。仅支
EXISTS和db_name是可选配置。 示例 DROP TABLE IF EXISTS productDatabase.productSalesTable; 系统响应 Table将被删除。 父主题: CarbonData语法参考
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 当Guardian调用IAM 接口失败时,可能会导致获取访问OBS的临时aksk失败,进而业务无法正常访问OBS。 可能原因 IAM 服务异常。 处理步骤 收集故障信息。
当HBase服务的老年代GC时间小于或等于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 19007 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响
AK/SK访问OBS服务,同时OBS服务会使用接收到的AK/SK访问数据加密服务获取KMS密钥状态,因此需要在使用的委托上绑定“KMS Administrator”策略,否则在处理加密数据时OBS会返回“403 Forbidden”的错误信息。目前MRS服务会在默认委托“MRS_
个单词的记录总数的功能。 Spark Streaming样例工程的数据存储在Kafka组件中,向Kafka组件发送数据。 MRS服务提供了Spark服务多种场景下的样例开发工程,本章节对应示例场景的开发思路: 接收Kafka中数据,生成相应DStream。 对单词记录进行分类统计。
录凭证和授权tokens,避免认证过期。 例如: spark-shell --principal spark2x/hadoop.<系统域名>@<系统域名> --keytab ${BIGDATA_HOME}/FusionInsight_Spark2x_XXX/install/Fus
Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。
式数据集,这个数据集的全部或部分可以缓存在内存中,在多次计算间重用。 RDD的生成: 从HDFS输入创建,或从与Hadoop兼容的其他存储系统中输入创建。 从父RDD转换得到新RDD。 从数据集合转换而来,通过编码实现。 RDD的存储: 用户可以选择不同的存储级别缓存RDD以便重用(RDD有11种存储级别)。
kerberos.login.keytab: " 在安全集群环境下,Flink需要进行安全认证。当前客户端未进行相关安全认证设置。 Flink整个系统有两种认证方式: 使用kerberos认证:Flink yarn client、Yarn Resource Manager、JobMana
准备一台不属于MRS集群的Linux弹性云服务器,绑定一个弹性IP,参考集群外节点安装客户端章节安装集群客户端,例如安装目录为“/opt/client”。 确认MRS集群是否开启了Kerberos认证。 是,执行3。 否,执行步骤2:安装Python3。 登录集群的Manager界面。 单击“系统 > 权限 >