检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于管理员创建IAM用户接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请
Flink 1.15消费进度提交失败 问题现象 Flink 1.15版本消费Kafka时, 消费进度提交失败,持续报错:COORDINATOR_NOT_AVAILABLE。 根因描述 Flink 1.15版本使用的Kafka客户端存在bug,当某次消费进度提交失败后, 客户端将c
实例规格单价 * 购买时长 请参见分布式消息服务Kafka版价格详情中的“实例价格”。 存储空间费用 存储空间单价 * 购买时长 请参见分布式消息服务Kafka版价格详情中的“存储价格”。 图2给出了上述示例配置的费用计算过程。图中价格仅供参考,实际计算请以分布式消息服务Kafka版价格详情中的价格为准。
不上服务端的发送速度,未处理的消息会越来越多,这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积,从而会造成消息消费延迟。 分布式消息服务Kafka版在控制台提供了消息积压诊断功能,如果消息存在堆积,诊断后会生成诊断记录,诊断记录显示消息堆积可能的原因、受影响的分区或
Kafka业务使用流程 分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka实例。使用Kafka实例生产消费消息的流程如下图所示。 图1 Kafka业务使用流程 创建用户并授权使用DMS for Kafka 创建IAM用户,并授予DMS
删除Kafka实例 对于按需计费的Kafka实例,控制台支持删除单个实例,也可批量删除实例。对于包年/包月的Kafka实例,如果不再使用,单击“操作”栏下的“更多 > 退订”,退订成功后,Kafka实例会自动被删除。 删除的实例能否恢复取决于是否开启回收站策略,如果未开启回收站策
Kafka连接问题排查和解决 概述 本章节主要描述Kafka连接问题的排查和解决。 问题分类 当您发现与Kafka实例连接出现异常时,可以根据本文的内容,从以下几个方面进行排查。 检查网络 检查Consumer和Producer的配置 客户端连接问题-Java客户端 客户端连接问题-Go客户端
Kafka实例规格 Kafka单机实例 Kafka集群实例
户可以订阅+发布此Topic,其他用户只能发布此Topic。 图3 为用户设置Topic权限 在“用户权限”对话框底部,单击“一键输入”,系统自动在输入框中输入“MODIFY”,确认修改权限。然后单击“确定”,完成为用户的授权。 图4 确认修改权限 验证权限设置是否正确。 单击已
重启Kafka实例 分布式消息服务Kafka版支持在控制台重启单个Kafka实例,或批量重启Kafka实例。 约束与限制 在Kafka实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 在客户端配置重试机制,避免因为重启实例导致的业务断连。 前提条件 只有当Kafka实例处于
用户管理 查询用户列表 创建用户 批量删除用户 重置用户密码 修改用户参数 查询用户权限 设置用户权限 父主题: API V2(推荐)
查看监控指标与配置告警 查看Kafka监控数据 Kafka支持的监控指标 配置Kafka监控告警
ExtendProductIosEntity objects 磁盘IO信息。 support_features Array of ExtendProductSupportFeaturesEntity objects 支持的特性功能。 properties ExtendProductPropertiesEntity
主题管理 开启或关闭实例自动创建Topic功能 修改Kafka实例Topic分区的副本 Kafka生产消息 Kafka实例创建Topic Kafka实例查询Topic 修改Kafka实例Topic Kafka实例批量删除Topic 查询Topic的分区列表 查询Topic的当前生产者列表
其他接口 查询维护时间窗时间段 查询可用区信息 查询产品规格列表 查询实例在CES的监控层级关系 查询Kafka产品规格核数 查询旧规格升级新规格映射 父主题: API V2(推荐)
Logstash是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统,也是Logstash支持的众多输入输出源之一。本章节主要介绍Logstash如何对接Kafka实例。 方案架构 Kafka实例作为Logstash输出源的示意图如下。
业务数据不均衡处理建议 方案概述 Kafka将Topic划分为多个分区,所有消息分布式存储在各个分区上。每个分区有一个或多个副本,分布在不同的Broker节点上,每个副本存储一份全量数据,副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示: 在实
您可以在创建Kafka实例时添加标签,也可以在Kafka实例创建完成后,在“实例管理 > 标签”页面添加标签。另外,您还可以删除标签。 如您的组织已经设定分布式消息服务Kafka版的相关标签策略,则需按照标签策略规则为Kafka实例添加标签。在“实例管理 > 标签”页面新添加的标签如果不符合标签策略的规则,会添加失败。
管理Kafka Manager 访问Kafka Manager 重置Kafka Manager密码 重启Kafka Manager 关闭Kafka Manager 父主题: 管理实例
如何查看堆积消息数? 通过以下任意一种方法,查看堆积消息数。 在Kafka控制台的“实例管理 > 消费组管理”页面,单击待查看堆积消息的消费组名称,进入消费组详情页。在“消费进度”页签,查看消费组中每个Topic的总堆积数。具体步骤,请参考查看消费进度。 在Kafka控制台的“监控