检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CSV文件的列分隔符，用于分隔每行的数据。 string 是 , 换行符 用户根据数据实际情况，填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 string 否 \n 文件名是否作为字段 自定义一个字段，以当前数据所在的文件名作为该字段值。 string 否 无 绝对路径
user.keytab文件位置请根据自己实际路径填写。 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。 在Linux系统HDFS客户端使用命令hadoop fs -put input_xxx
user.keytab文件位置请根据自己实际路径填写。 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。 在Linux系统HDFS客户端使用命令hadoop fs -put input_xxx
设计DAG 操作场景 合理的设计程序结构，可以优化执行效率。在程序编写过程中要尽量减少shuffle操作，合并窄依赖操作。 操作步骤 以“同行车判断”例子讲解DAG设计的思路。 数据格式：通过收费站时间、车牌号、收费站编号...... 逻辑：以下两种情况下判定这两辆车是同行车 如果两辆车都通过相同序列的收费站，
查看Flink应用调测结果 操作场景 Flink应用程序运行完成后，您可以查看运行结果数据，也可以通过Flink WebUI查看应用程序运行情况。 操作步骤 查看Flink应用运行结果数据。 当用户查看执行结果时，需要在Flink的web页面上查看Task Manager的Stdout日志。
HetuEngine样例程序开发思路 通过典型场景，用户可以快速学习和掌握HetuEngine的开发过程，并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序，需要对Hive数据源的A表和MPPDB数据源的B表进行join运算，则可以用HetuEngine来实现Hive数据源数据查询，流程如下：
Kafka Consumer API使用样例 功能介绍 下面代码片段在com.huawei.bigdata.kafka.example.Consumer类中，用于消费订阅的Topic消息。 代码样例 Consumer线程的dowork方法逻辑，该方法是run方法的重写。 样例代码
在Linux中调测程序 调测OpenTSDB应用 查看OpenTSDB应用调测结果 父主题： 调测OpenTSDB应用
开发Kudu应用 建立Kudu连接 创建Kudu表 打开Kudu表 修改Kudu表 写Kudu数据 读Kudu数据 删除Kudu表 父主题： 开发Kudu应用
H路径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS，而服务端依然使用HDFS，那么需要显式在命令行使用
HBase应用开发常见问题 Phoenix SQL查询样例介绍 HBase对外接口介绍 如何配置HBase双读能力 配置Windows通过EIP访问普通模式集群HBase Phoenix命令行操作介绍 运行HBase应用开发程序产生ServerRpcControllerFactory异常如何处理
为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。 搜索并查看“dfs.storage.policy.enabled”的参数值是否为“true”，
Kudu应用开发常见问题 Kudu Java API接口介绍 Kudu Java API接口可参考官网描述。 其他Kudu完整和详细的接口可以直接参考官方网站上的描述。 地址： https://kudu.apache.org/apidocs。 父主题： Kudu开发指南（普通模式）
准备Oozie应用开发环境 准备本地应用开发环境 导入并配置Oozie样例工程 父主题： Oozie开发指南（普通模式）
读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei
HetuEngine样例程序（Java） 通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务 通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务 通
n3 python3 JDBCExampleBroker.py 运行结果。 Windows系统中，在console界面可以看到运行结果示例： 图1 Windows系统运行结果 Linux系统中运行结果示例： … [ ('hive', ('mv',), ('svc',), ('system'
Hive JDBC访问样例程序 Hive JDBC样例程序开发思路 创建Hive表 加载数据到Hive表中 查询Hive表数据 实现Hive进程访问多ZooKeeper 使用JDBC提交数据分析任务 父主题： 开发Hive应用
HCatalog访问Hive样例程序 功能介绍 本章节介绍如何在MapReduce任务中使用HCatalog分析Hive表数据，读取输入表第一列int类型数据执行count(distinct XX)操作，将结果写入输出表。 样例代码 该样例程序在“hive-examples/hc
Spark应用开发流程介绍 Spark包含Spark Core、Spark SQL和Spark Streaming三个组件，其应用开发流程都是相同的。 开发流程中各阶段的说明如图1和表1所示。 图1 Spark应用程序开发流程 表1 Spark应用开发的流程说明 阶段 说明 参考文档
