检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API 提供HDFS文件系统的应用接口，本开发指南主要介绍如何使用Java API HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口的描述进行应用开发。 Shell 提供shell命令完成HDFS文件系统的基本操作。 HTTP
Spark应用开发流程介绍 Spark包含Spark Core、Spark SQL和Spark Streaming三个组件，其应用开发流程相同。 开发流程中各阶段的说明如图1和表1所示。 图1 Spark应用程序开发流程 表1 Spark应用开发的流程说明 阶段 说明 参考文档 了解基本概念
Spark Streaming对接kafka0-10程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用
conf文件中的对应配置访问FusionInsight ZooKeeper； zookeeper.server.principal：指定ZooKeeper服务端使用principal； zookeeper.sasl.client：如果MRS集群是安全模式，该值设置为“true”，否则设置为“fa
HBase对外接口介绍 HBase Shell接口介绍 HBase Java API接口介绍 Sqlline接口介绍 HBase JDBC API接口介绍 HBase Web UI接口介绍 父主题： HBase应用开发常见问题
HBase ThriftServer连接样例程序 通过ThriftServer实例操作HBase表 通过ThriftServer实例向HBase表中写入数据 通过ThriftServer实例读HBase表数据 父主题： 开发HBase应用
HBase Rest接口调用样例程序 使用REST接口查询HBase集群信息 使用REST接口获取所有HBase表 使用REST接口操作Namespace 使用REST接口操作HBase表 父主题： 开发HBase应用
Kafka 多线程Producer API使用样例 功能介绍 在Kafka Producer API使用样例基础上，实现了多线程Producer，可启动多个Producer线程，并通过指定相同key值的方式，使每个线程对应向特定Partition发送消息。 下面代码片段在com.huawei
调测HBase Phoenix样例程序 HBase支持通过Phoenix调用JDBC接口来访问HBase服务。调测HBase Phoenix样例程序，默认集群已完成HBase对接Phoenix服务，具体对接步骤详情请参考HBase配置Phoenix。 在Windows中运行并调测程序 搭建
仅MRS 1.9.x及之前版本支持HBase python样例代码调测。 HBase支持使用自带的ThriftServer2服务通过python来访问HBase服务。python样例仅支持在Linux环境中运行，调测HBase python样例程序需有与集群环境网络相通的ECS，详情
可以轻松地制作显示每个服务器的服务状态的仪表盘，以及显示跨逻辑服务器池的聚合状态的仪表盘。 OpenTSDB系统表简介 OpenTSDB是基于HBase存储时序数据的，在集群中开启OpenTSDB后，系统会在集群中创建4张HBase表。OpenTSDB系统表如所表1示。 请不要人
安装Flink客户端。 确认服务端Flink组件已经安装。 下载Flink客户端程序。 登录MRS Manager。 单击“服务管理 > Flink > 下载客户端”，在“客户端类型”勾选“完整客户端”，“下载路径”选择“服务器端”，单击“确定”下载客户端到服务器端。 执行如下命令解压
Flink Client CLI介绍 Flink CLI详细的使用方法参考官网描述：https://ci.apache.org/projects/flink/flink-docs-release-1.7/ops/cli.html。 常用CLI Flink常用的CLI如下所示： yarn-session
Impala应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 Impala应用程序开发流程 表1 Impala应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Impala的基本概念。 Impala应用开发常用概念 准备开发和运行环境
在Linux中调测Impala JDBC应用 在运行调测环境上创建一个目录作为运行目录，如“/opt/impala_examples”(Linux环境)，并在该目录下创建子目录“conf”。 执行mvn package ，在工程target目录下获取jar包，比如: impala-examples-mrs-2
Alluxio常用概念 Masters 由两个进程组成，一个是处理用户请求和管理Journal存储系统元数据的Alluxio Master，另一个是调度文件系统操作的Alluxio Job Master。 Workers 负责管理用户可配置的本地资源（例如：内存、SDD、HDD），对底层存储进行数据操作。
式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。 RDD的生成： 从HDFS输入创建，或从与Hadoop兼容的其他存储系统中输入创建。 从父RDD转换得到新RDD。 从数据集合转换而来，通过编码实现。 RDD的存储： 用户可以选择不同的存储级别缓存RDD以便重用（RDD有11种存储级别）。
Storm应用开发简介 简介 Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。 Storm有很多适用的场景：实时分析、在线机器学
Storm样例程序开发思路 通过典型场景，用户可以快速学习和掌握Storm拓扑的构造和Spout/Bolt开发过程。 场景说明 一个动态单词统计系统，数据源为持续生产随机文本的逻辑单元，业务处理流程如下： 数据源持续不断地发送随机文本给文本拆分逻辑，如“apple orange apple”。
WebUI查看应用程序的运行情况。 操作步骤 登录FusionInsight Manager系统。 在浏览器地址栏中输入访问地址，地址格式为“https://FusionInsight Manager系统的WebService浮动IP地址:28443/web”。 例如，在IE浏览器地址栏中，输入“https://10
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
