检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基于Serverless版事件流实现Kafka实例之间的数据同步 方案概述 实施及验证
Serverless版事件流概述 随着业务系统的扩展,数据源生成的数据流不仅数量激增,而且速度也显著加快,这就要求采用更加高效的方式来分析和处理这些数据。 事件流对事件源产生的事件实时拉取、过滤及转换,并路由至事件目标,是一种更为实时、轻量和高效的端到端的流式数据处理场景。 如下
社区版RocketMQ 本章节介绍在事件流里添加社区版RocketMQ事件源的方法。 目前支持RocketMQ的开源版本:4.9.7/5.1.4。 前提条件 已有社区版RocketMQ集群实例。 当源端为社区版RocketMQ时,目标端只支持选择FunctionGraph(函数计算)。
基于Serverless版事件流实现RocketMQ推送事件至函数工作流服务 本文介绍如何通过事件网格服务的事件流功能将RocketMQ产生的事件推送至函数工作流服务。 前提条件 进行本实践操作需要提前完成的事项: 已开通事件网格服务并授权。 已创建虚拟私有云和子网。 已创建安全组。
Serverless版事件流 Serverless版事件流概述 事件源 事件规则 事件目标 管理Serverless版事件流 监控 父主题: 事件流
管理Serverless版事件流 创建事件流 编辑事件流 删除事件流 RocketMQ采集函数错误码 父主题: Serverless版事件流
路由到函数工作流 本章节介绍在创建事件流时如何配置函数工作流 FunctionGraph为事件目标。 前提条件 已开通FunctionGraph并创建函数作为事件目标。 操作步骤 登录事件网格控制台。 在左侧导航栏选择“事件流 > Serverless版事件流”,进入“Serverless版事件流”页面。
移动云RocketMQ版 本章节介绍在事件流里添加移动云 RocketMQ版事件源的方法。 目前支持region:上海二 前提条件 已在移动云购买RocketMQ实例。 当源端为移动云RocketMQ时,目标端只支持选择FunctionGraph(函数计算)。 创建移动云 RocketMQ版事件源
裸金属服务器 BMS 云测 CloudTest VPC终端节点 VPCEP 云存储网关服务 CSG 虚拟专用网络 VPN 企业路由器 ER 推荐系统 RES 云服务器备份服务 CSBS 内容分发网络服务 CDN 容器安全服务 CGS 态势感知 SA 代码托管 CodeHub 表格存储服务
实施及验证 约束与限制 事件目标kafka不支持自定义证书。 单消息需保持大小在2M以下。 源端配置操作步骤 登录事件网格控制台。 在左侧导航栏选择“事件流 > Serverless版事件流”,右上角单击“创建Serverless版事件流”。 左上角单击,配置事件流名称和描述,完成后单击“确定”。
RocketMQ采集函数错误码 错误码 错误码说明 运维说明 操作建议 200 心跳成功 设置事件流状态为RUNNING,清除告警。 正常提示。 601 未知致命异常 设置事件流状态为ERROR,上报告警,自动重启事件流。 建议联系华为工程师处理。 602 网络异常 502 消费者不存在
方案概述 事件流作为一种更为实时、轻量和高效的端到端的流式数据处理通道,对事件源产生的事件实时拉取、过滤及转换,并路由至事件目标。 源端分布式消息Kafka版生产的消息可以通过事件流这个通道被路由到目标端的分布式消息Kafka版,无需定义事件网格。详情请参见事件流概述。 本文介绍
事件规则 事件流支持配置规则,默认会将消息透传至目标。 事件规则是指事件流转到事件目标之前,将CloudEvents标准事件转换成事件目标可以接受的事件类型。 事件流支持事件过滤和转换,具体规则请参考事件规则。 父主题: Serverless版事件流
创建事件流 本章节指导您如何在事件网格控制台创建事件流。 操作步骤 登录事件网格控制台。 在左侧导航栏选择“事件流”,进入“事件流”页面。 单击“创建事件流”。 在弹窗中输入事件流名称和描述,单击“确定”,完成事件流名称和描述信息输入。 配置事件源。 单击“事件源”,右侧弹出“事件源”弹窗。
监控 查看监控数据 支持的监控指标 配置监控告警 父主题: Serverless版事件流
事件目标 路由到函数工作流 路由到分布式消息服务Kafka版 路由到对象存储服务OBS 父主题: Serverless版事件流
事件源 分布式消息服务Kafka版 移动云RocketMQ版 社区版RocketMQ 分布式消息服务RocketMQ版 父主题: Serverless版事件流
删除事件流 本章节指导您在控制台里删除事件流。 操作步骤 登录事件网格控制台。 在左侧导航栏选择“事件流”,进入“事件流”页面。 在待删除的事件流所在行,单击“删除”,弹出“删除事件流”对话框。 单击“确定”,完成事件流的删除。 父主题: 管理Serverless版事件流
查看监控数据 操作场景 云监控对事件流进行日常监控,可以通过控制台直观的查看事件流各项监控指标。 前提条件 已创建事件流。 操作步骤 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择事件流所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 事件网格EG”,单击进入事件网格EG页面。
编辑事件流 事件流创建成功后,支持修改事件流的名称、描述、状态、事件源和事件目标。 修改事件流的名称和描述 登录事件网格控制台。 在左侧导航栏选择“事件流”,进入“事件流”页面。 在待修改描述信息的事件流所在行,单击“配置”,进入事件流详情页。 单击事件流名称旁的编辑图标,弹出“配置名称和描述”弹窗。