检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
workflow.xml 功能描述 描述了一个完整业务的流程定义文件。一般由一个start节点、一个end节点和多个实现具体业务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name 流程文件名
coordinator.xml 功能描述 周期性执行workflow类型任务的流程定义文件。 参数解释 “coordinator.xml”中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 frequency 流程定时执行的时间间隔 start 定时流程任务启动时间
Start Action 功能描述 流程任务的执行入口,每个流程任务有且仅有一个该节点。 参数解释 Start Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 to 后继action节点的名称 样例代码 <start to="mr-dataLoad
job.properties 功能描述 流程的属性定义文件,定义了流程运行期间使用的外部参数值对。 参数解释 “job.properties”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 nameNode HDFS NameNode集群地址 resourceManager
coordinator.xml 功能描述 周期性执行workflow类型任务的流程定义文件。 参数解释 “coordinator.xml”中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 frequency 流程定时执行的时间间隔 start 定时流程任务启动时间
class MyProcessorSupplier implements ProcessorSupplier<String, String> { @Override public Processor<String, String> get() { return
structure 数据文件的结构,通常是一个表格的列名和数据类型。 例如,structure 可以是一个字符串,描述了列名和数据类型,如 column1 INT, column2 STRING, column3 DATE。
columns // If returned columns not included in index table, will query back user table, // it's not the fast way to get data, suggest
columns // If returned columns not included in index table, will query back user table, // it's not the fast way to get data, suggest
在IDEA主页,选择“File > Project Structures...”进入“Project Structure”页面。 选择“Modules”,选中工程名称,然后右键选择“Add > Scala”。
job.properties 功能描述 流程的属性定义文件,定义了流程运行期间使用的外部参数值对。 参数解释 “job.properties”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 nameNode HDFS NameNode集群地址 resourceManager
messageStream.rebalance().map(new MapFunction<String, String>() { @Override public String map(String s) throws Exception { return
MapReduce Action 功能描述 MapReduce任务节点,负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager
messageStream.rebalance().map(new MapFunction<String, String>() { @Override public String map(String s) throws Exception { return
start a simple text server, run 'netcat -l -p <port>' and " + "type the input text into the command line"); return
<系统域名>", "krb_service":"hive"} 创建连接,执行HQL,样例代码中仅执行查询所有表功能,可根据实际情况修改HQL内容,输出查询的列名和结果到控制台。
start a simple text server, run 'netcat -l -p <port>' and " + "type the input text into the command line"); return
登录MRS Manager页面,单击“系统配置 > 角色管理 > 添加角色”,添加一个拥有Hive Admin Privilege权限的角色。 在MRS Manager页面,单击“系统配置 > 用户管理 ”。 在指定用户对应的“操作”列单击“修改”。
在IntelliJ IDEA的菜单栏中,选择“File > Project Structure...”,弹出“Project Structure”窗口。 选择“SDKs”,单击加号选择“JDK”。
系统域名:可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 查看作业管理界面,作业状态为“运行中”。 参考管理Kafka Topic中的消息,查看Topic并向Kafka中写入数据。