检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
消息/邮件。 代理(Broker) 即Kafka集群架构设计中的单个Kafka进程,一个Kafka进程对应一台服务器,因此手册中描述的代理,还包括对应的存储、带宽等服务器资源。 分区(Partition) 为了实现水平扩展与高可用,Kafka将Topic划分为多个分区,消息被分布式存储在分区中。
例开启了“Kafka自动创建Topic”,则该操作为可选。 “Kafka自动创建Topic”表示向一个未创建的Topic生产或消费消息时,系统会自动创建此Topic,此Topic的默认参数值如表1所示。 集群实例支持在“实例管理 > 配置参数”中修改“log.retention.
业务过载处理建议 方案概述 Kafka业务过载,一般表现为CPU使用率高、磁盘写满的现象。 当CPU使用率过高时,系统的运行速度会降低,并有加速硬件损坏的风险。 当磁盘写满时,相应磁盘上的Kafka日志目录会出现offline问题。此时,该磁盘上的分区副本不可读写,降低了分区的可
故障恢复后会从leader副本进行数据同步,保持数据一致性。 创建多副本的Topic 数据持久化 业务系统日常运行中可能出现一些小概率的异常事件。部分可靠性要求非常高的业务系统,除了要求实例高可用,还要求数据安全、可恢复,以便在实例发生异常后能够使用备份数据进行恢复,保障业务正常运行。
Connect。 购买Kafka实例 分布式消息服务Kafka版控制台提供了多种购买Kafka实例的方式,满足您在不同业务场景的需求。 表2 Kafka实例购买方式 购买方式 适用场景 快速购买Kafka集群实例 快速购买Kafka实例的操作指导。分布式消息服务Kafka版已经预设了几种实例规格,根据业务需要选择对应规格进行购买。
期前7日凌晨3:00首次尝试自动续费,如果扣款失败,每天凌晨3:00尝试一次,直至Kafka实例到期或者续费成功。到期前7日自动续费扣款是系统默认配置,您也可以根据需要修改此扣款日。 父主题: 续费
ExtendProductIosEntity objects 磁盘IO信息。 support_features Array of ExtendProductSupportFeaturesEntity objects 支持的特性功能。 properties ExtendProductPropertiesEntity
Kafka Topic分区数设置建议 方案概述 Topic分区数是影响Kafka系统性能、吞吐量以及并行度的关键配置之一:分区数过少,会限制生产者的并发能力,还可能导致消费者出现空闲现象;分区数过多,则可能造成集群性能下降、监控统计间隔增长等问题。因此,为Topic设置合理的分区数至关重要。
策略授权参考 本章节介绍DMS for Kafka策略授权场景下支持的策略授权项。 支持的授权项 策略包含系统策略和自定义策略,如果系统策略不满足授权要求,管理员可以创建自定义策略,并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应,授权项列表说明如下:
None 服务介绍 分布式消息服务介绍 04:19 介绍什么是分布式消息服务 Kafka:数据流转的桥梁 02:03 Kafka-数据流转的桥梁 特性讲解 消息积压诊断 03:18 消息积压诊断 Kafka分区平衡 02:49 Kafka分区平衡 操作指导 购买Kafka实例 07:58
非弱密码(如果不能确定哪些是弱密码,请在替换证书对话框中输入密码,系统会自动判定是否为弱密码)。 出现如下提示信息时,输入“y”。 Trust this certificate? 执行以下命令,为服务器证书签名。 导出服务器证书“server.cert-file”。 keytool -keystore
需要配置安全组。 使用内网通过同一个VPC访问实例 客户端和实例是否使用相同的安全组? 是,如果保留了创建安全组后,系统默认添加的入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则,则无需添加其他规则。否则,请添加表1所示规则。 表1 安全组规则 方向 协议
件、软件、介质、虚拟机、操作系统、数据等)由客户完全控制向客户与华为云共同控制转变,这也就意味着客户需要承担的责任取决于客户所选取的云服务。如图1所示,客户可以基于自身的业务需求选择不同的云服务类别(例如IaaS、PaaS、SaaS服务)。不同的云服务类别中,每个组件的控制权不同
开通自动续费后,还可以手动续费该Kafka实例。手动续费后,自动续费仍然有效,在新的到期时间前的第7天开始扣款。 自动续费的到期前7日自动扣款属于系统默认配置,您也可以根据需要修改此扣款日,如到期前6日、到期前5日等等。 更多关于自动续费的规则介绍请参见自动续费规则说明。 前提条件 请确认包年/包月Kafka实例还未到期。
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统,也是Logstash支持的众多输入输出源之一。本章节主要介绍Logstash如何对接Kafka实例。
续费 续费概述 手动续费 自动续费
附录 状态码 错误码 实例状态说明 获取项目ID 获取账号名和账号ID
安全 责任共担 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 认证证书
分布式消息服务Kafka版在兼容开源Kafka基础上,对版本特性做了一定程度的定制和增强,所以,除了拥有开源Kafka的优点,分布式消息服务Kafka版提供了更多可靠、实用的特性。 表1 分布式消息服务Kafka版与开源Kafka的差异说明 对比类 对比项 分布式消息服务Kafka版
"support_features": "feature.physerver.kafka.topic.accesspolicy,message_trace_enable,features.pod.token.access,feature.physerver.kafka.pulbic