检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不均衡。 系统重新实现了分区分配策略,但策略逻辑有问题,会导致分区间的数据不均衡。 Kafka扩容了Broker节点,新增的节点没有分配分区,会导致节点间的数据不均衡。 业务使用过程中随着集群状态的变化,多少会发生一些Leader副本的切换或迁移,会导致个别Broker节点上的数据更多,从而导致节点间的数据不均衡。
在页面右上角,单击“申请扩大配额”。 阅读盘古Doer服务声明后,单击“同意”。 在页面右侧的“盘古Doer”侧边窗口,根据您的需求填写配额调整的相关参数。 单击“确定”,提交申请。 提交申请后,您可以根据返回信息查看处理进展。 立即生效:当目标配额不超过自动生效值,则系统自动审批通过,目标配额将在一
"dim_router" : [ "kafka_instance_id" ] }, { "name" : "kafka_broker", "metrics" : [ "broker_data_size", "broker_messages_in_rate"
表2 响应Body参数 参数 参数类型 描述 users Array of ShowInstanceUsersEntity objects 用户列表。 表3 ShowInstanceUsersEntity 参数 参数类型 描述 user_name String 用户名称。 由英文字符
弹性云服务器(Elastic Cloud Server) 弹性云服务器是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。Kafka实例运行在弹性云服务器上,一个代理对应一台弹性云服务器。 云硬盘(Elastic Volume Service) 云硬盘为云服务器提供块存储服务,
&listUsersbody, Action: &actionBatchDeleteInstanceUsersReq, } response, err := client.BatchDeleteInstanceUsers(request) if err == nil {
如下: 规格:kafka.2u4g.cluster*3 总存储空间:高I/O 300GB 用了一段时间后,用户发现Kafka实例当前规格无法满足业务需要,于2023/03/20 9:00:00升配为kafka.4u8g.cluster*3。因为该Kafka实例打算长期使用下去,于2023/03/20
("phy_ca.crt") print('start producer') producer = KafkaProducer(bootstrap_servers=conf['bootstrap_servers'], sasl_mechanism="PLAIN"
检查是否同一个VPC。如果不是,请参考跨VPC访问。 检查安全组规则是否配置正确。请参考如何选择和配置安全组。 检查Consumer和Producer的配置 查看日志,检查Consumer和Producer初始化时打印的参数是否符合预期,是否和自己在配置文件中设置的一致。 如果不一致,请检查配置文件的写法。
Kafka实例每个代理(即broker)的存储空间为100GB,配置了“自动删除”策略,并创建了一个180分区的Topic,磁盘容量到达95%时,没有自动删除最早的消息。 可能原因 Kafka实例每个代理会使用33GB的磁盘作为日志和Zookeeper数据的存储,且创建实例时磁盘格式
false:不同步落盘。 external_configs Object 参数解释: 扩展配置。 topic_type Integer 参数解释: Topic类型。 取值范围: 0:普通Topic。 1:系统(内部)Topic。 topic_other_configs Array of
-成长地图 | 华为云
{topic-name} --bootstrap-server {connection-address} --partitions {number-of-partitions} --replication-factor {number-of-replicas} 表3 创建Topic参数说明
createUserSuccess 创建用户失败 kafka createUserFailure 删除用户成功 kafka deleteUserSuccess 删除用户失败 kafka deleteUserFailure 更新用户策略成功 kafka updateUserPoliciesTaskSuccess
-keystore server.keystore.jks -alias localhost -certreq -file server.crt 按照提示信息输入1中记录的keystore密码。 执行以下命令,使用CA的私钥对server.crt进行签名,并为签名后的证书命名为“server-signed
roker扩容至6个Broker,问题现象为新扩容的Broker上没有分区,业务仍集中在原有节点上。 扩容后未增加分区数量,且未执行分区平衡,导致分区数仍分布在原有节点上。 分区数建议设置为Broker数量的整数倍,然后执行分区平衡,确保分区能够均衡的分布在每个Broker上。
参数 类型 说明 cluster Object of cluster 集群基本信息。参数请查看表3。 表3 cluster参数说明 参数 类型 说明 controller String 控制器ID。 brokers Array Object of brokers 节点列表。参数请查看表4。
conf”配置文件中,增加如下内容,连接Kafka实例。 input { stdin {} } output { kafka { bootstrap_servers => "ip1:port1,ip2:port2,ip3:port3" topic_id => "topic-logstash"
高危漏洞: Kafka社区发现漏洞并发布修复方案后,分布式消息服务Kafka版一般在1个月内进行修复,修复策略与社区保持一致。 操作系统紧急漏洞按照操作系统修复策略和流程对外发布,一般在一个月内提供修复方案,用户自行修复。 其他漏洞: 按照版本正常升级流程解决。 修复声明 为了防止客
具(MirrorMaker)进行跨实例的数据同步。 在单可用区或多可用区中部署实例 使用MirrorMaker跨实例数据同步 副本冗余 副本通过数据同步的方式保持数据一致,当网络发生异常或节点故障时,通过冗余副本自动故障切换,并且故障恢复后会从leader副本进行数据同步,保持数据一致性。