检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Oozie客户端提交作业 Oozie客户端配置说明 使用Oozie客户端提交Hive任务 使用Oozie客户端提交Spark2x任务 使用Oozie客户端提交Loader任务 使用Oozie客户端提交DistCp任务 使用Oozie客户端提交其它任务 父主题： 使用Oozie
从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase Spark Streaming对接kafka0-10程序 Structured Streaming程序 父主题： Spark开发指南
LK生态云服务，兼容Elasticsearch、Logstash、Kibana、Cerebro等软件。 约束与限制 已安装MRS的Hive服务和CSS的Elasticsearch服务，并且两个集群之间网络互通。 适用于MRS 3.x及之后版本。 步骤一：配置云搜索服务索引并下载jar包
的依赖包，如何使用IDEA添加到工程中？ 回答 在IDEA主页面，选择“File > Project Structures...”进入“Project Structure”页面。 选择“Libraries”页签，然后在如下页面，单击“+”，添加本地的依赖包。 图1 添加依赖包 单
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 由于Kafka配置的限制，导致Spark Streaming应用运行失败
SparkStructuredStreamingJavaExample Structured Streaming程序 Java SparkStructuredStreamingScalaExample Structured Streaming程序 Scala SparkStructuredSt
的依赖包，如何使用IDEA添加到工程中？ 回答 在IDEA主页面，选择“File > Project Structures...”进入“Project Structure”页面。 选择“Libraries”页签，然后在如下页面，单击“+”，添加本地的依赖包。 图1 添加依赖包 单
配置描述 进入Mapreduce服务参数“全部配置”界面，具体操作请参考修改集群服务配置参数章节。 在搜索框中输入参数名称，修改并保存配置。然后在Mapreduce服务“概览”页面选择“更多 > 同步配置”。同步完成后重启Mapreduce服务。 作业日志参数： 表1 参数说明
向Kerberos服务获取应用服务端的ST（Server Ticket）。 Kerberos服务在收到ST请求后，校验其中的TGT合法后，生成对应的应用服务的ST，再使用应用服务密钥将响应消息进行加密处理。 应用客户端收到ST响应消息后，将ST打包到发给应用服务的消息里面传输给对应的应用服务端（Application
public UserRecord map(String value) throws Exception { return getRecord(value); } }).assignTimestampsAndWatermarks(
ALM-12012 NTP服务异常 告警解释 系统每60s检查一次节点NTP服务与主OMS节点NTP服务是否正常同步时间，连续两次检测NTP服务未同步上时产生该告警。 若正常同步，当节点NTP服务与主OMS节点NTP服务时间偏差连续两次大于等于20s时产生该告警；当节点NTP服务与主OMS节点
[localhost:21000] > use udfs; [localhost:21000] > create function my_lower(string) returns string location '/user/hive/udfs/hive.jar' symbol='org.apache.hadoop
name为hadoop.系统域名，并在conf/flink-conf.yaml中配置security.kerberos.login相关配置项。 说明： 登录FusionInsight Manager页面，选择“系统 > 权限 > 域和互信 > 本端域”，即可查看系统域名，系统域名所有字母需转换为小写。
table.getSchema(); // Scan with a predicate on the 'key' column, returning the 'value' and "added" columns. List<String> projectColumns = new
任务运行中查看日志失败。 任务运行完成，但是查看不到日志。 原因分析 问题1：可能原因是MapReduce服务异常。 问题2：可能原因如下： Spark的JobHistory服务异常。 日志太大，NodeManager在做日志汇聚的时候出现超时。 HDFS存放日志目录权限异常（默认
Flume服务端进程故障 问题现象 Flume运行一段时间后，Manager界面Flume实例显示运行状态“故障”。 原因分析 Flume文件或文件夹权限异常，重启后Manager界面提示如下信息： [2019-02-26 13:38:02]RoleInstance prepare
ClickHouse依赖服务设计 为了保证ClickHouse服务的稳定，需要提早规划好对于底层依赖服务的设计，主要是ZooKeeper，尤其是在使用replicated*系列表引擎的场景下。 ZooKeeper默认部署在MRS集群的Master节点，根据节点CPU和内存规格，调
public UserRecord map(String value) throws Exception { return getRecord(value); } }).assignTimestampsAndWatermarks(
name = row.getString(3); Row returnRow = RowFactory.create(age, id, job, name); return returnRow; } } public class DataSchemaProviderExample
Defaults > Project Structure”。 图3 Configure 在弹出的“Project Structure for New Projects”页面中，选择“SDKs”，单击加号添加JDK。 图4 Project Structure for New Projects 在弹出的“Select
