如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
Logstash Plugin是数据接入服务（DIS）为Logstash开发的插件，包含DIS Input与DIS Output。 DIS Input用于从DIS服务下载数据到Logstash。 DIS Output用于将Logstash中的数据上传到DIS服务。 DIS Logstash Plugin安装流程如图1所示。
Flume Plugin是数据接入服务（DIS）为Flume开发的插件，包含DIS Source与DIS Sink。 DIS Source用于从DIS服务下载数据到Flume Channel。 DIS Sink用于将Flume Channel中的数据上传到DIS服务。 DIS Flume Plugin安装流程如图1所示。
配置样例工程 样例代码请查看：https://github.com/huaweicloud/huaweicloud-sdk-python-dis/tree/master/dis_sdk_python_demo。 操作步骤 huaweicloud-python-sdk-dis已发布到
初始化DIS客户端 您可以使用以下两种方法初始化DIS SDK客户端实例，优先选择使用代码进行初始化。其中，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参考获取认证信息。 使用代码初始化DIS SDK客户端实例。 1 2 3 4
初始化DIS客户端 您可以使用以下方法初始化DIS SDK客户端实例。其中，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参考获取认证信息。 cli = disclient(endpoint='**your-endpoint**',
与原生KafkaConsumer接口适配说明 表1 接口适配说明 原生KafkaConsumer 类型 DISKafkaConsumer 说明 Set<TopicPartition> assignment() 接口 支持 获取consumer消费的通道与分区信息 Set<String>
安装Plugin 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Flume服务器。 进入到Flume的安装目录。 cd ${FLUME_HOME} 上传“dis-flume-plugin-X.X.X.zip”安装包到此目录下。 解压安装包。
Source的类型。 com.cloud.dis.adapter.flume.source.DISSource streams 是 指定在DIS服务上创建的通道名称。 与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。 ak 是 用户的Access Key。 获取方式请参见检查认证信息。
卸载Plugin(可选) 操作步骤 使用PuTTY工具远程登录Flume所在服务器。 停止Flume程序。 进入DIS Flume Plugin插件所在的目录。 cd ${FLUME_HOME} cd dis-flume-plugin 卸载DIS Flume Plugin。 dos2unix
此过程的关键日志说明如下 Heartbeat {"state":"JOINING"} Heartbeat表示心跳请求，每10s发起一次，用于和服务端保持连接。如果超过1分钟服务端没有收到心跳，会认为消费端已离线，消费组会重新分配。若心跳结果为JOINING表示消费者需要重新加入消费组，若为STABLE表示消费组稳定。
准备环境 配置pom.xml文件 如果已有maven工程，在pom.xml中使用如下依赖即可。 <dependency> <groupId>com.huaweicloud.dis</groupId> <artifactId>huaweicloud-dis-kafk
查询通道列表 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 start_stream_name = "" #可设置为空，或是已存在的通道名 执行listStream_sample.py文件默认调用listStream_test方法，获取响应200查询成功。
查询转储列表 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 streamname="XXX" #已存在的通道名 执行list_dump_task_sample.py文件默认调用list_dump_task_test方法，获取响应200查询成功。 响应示例如下：
下载数据之消费位移 消费位移确认有自动提交与手动提交两种策略，在创建DISKafkaConsumer对象时，通过参数enable.auto.commit设定，true表示自动提交（默认）。 自动提交策略由消费者协调器（Coordinator）每隔${auto.commit.interval
与原生KafkaConsumer接口适配说明 表1 接口适配说明 原生KafkaConsumer 类型 DISKafkaConsumer 说明 Set<TopicPartition> assignment() 接口 支持 获取consumer消费的通道与分区信息 Set<String>
自定义SparkStreaming作业 获取DIS Spark Streaming Demo 这里获取“dis-spark-streaming-X.X.X.zip”压缩包。解压“dis-spark-streaming-X.X.X.zip”压缩包，解压之后获得以下目录： “dis-
读取通道数据时，如何区分不同类型数据？ 不同类型的消息使用不同的通道； 使用同一个通道的不同分区。上传消息时，不同类型的消息指定不同的partition_key，消费时根据partition_key来区分不同类型消息。 父主题： 转储相关问题
Json格式上传流式数据 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容，数据上传格式如下：
此过程的关键日志说明如下 Heartbeat {"state":"JOINING"} Heartbeat表示心跳请求，每10s发起一次，用于和服务端保持连接。如果超过1分钟服务端没有收到心跳，会认为消费端已离线，消费组会重新分配。若心跳结果为JOINING表示消费者需要重新加入消费组，若为STABLE表示消费组稳定。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
您即将访问非华为云网站，请注意账号财产安全
