检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果用户不手动设置ID，系统将自动给每个算子分配一个ID。只要该算子的ID不改变，即可从savepoint恢复，ID的产生取决于用户的应用代码，并且对应用代码的结构十分敏感。因此，强烈推荐用户手动为每个算子设置ID。Savepoint产生的数据将被保存到配置的文件系统中，如FsStat
参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 用户提交到HetuEngine该故障计算实例的SQL任务会执行失败。 可能原因 HDFS服务异常 Yarn服务异常 Yarn队列资源不足 计算实例进程故障
于查看MapReduce历史任务信息的服务器，当前开源JHS只支持单实例服务。JobHistoryServer HA能够解决JHS单点故障时，应用访问MapReduce接口无效，导致整体应用执行失败的场景，从而大大提升MapReduce服务的高可用性。 图1 JobHistoryServer
lancer接口工作方式类似。Mover能够基于设置的数据存储策略，将集群中的数据重新分布。 通过运行Mover，周期性地检测HDFS文件系统中用户指定的HDFS文件或目录，判断该文件或目录是否满足设置的存储策略，如果不满足，则进行数据迁移，使目标目录或文件满足设定的存储策略。 约束与限制
Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点： 高吞吐量 消息持久化到磁盘 分布式系统易扩展 容错性好
Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点： 高吞吐量 消息持久化到磁盘 分布式系统易扩展 容错性好
云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。 Kafka集群：Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量，可扩展性的消息系统。广泛用
用户在MRS集群中访问OBS服务过程中出现证书过期问题。 问题现象 MRS集群产生“ALM-12054 证书文件失效”或“ALM-12055 证书文件即将过期”告警，且告警详情中触发告警的证书为OBS证书。 图1 OBS证书即将过期告警 图2 OBS证书失效告警 原因分析 OBS系统生成的证书有
sh”时，默认使用此API。 新Producer API和新Consumer API，在下文中统称为新API。 处理步骤 旧Consumer API 前提条件 系统管理员已明确业务需求，并准备一个Kafka管理员用户（属于kafkaadmin组）。 已安装Kafka客户端。 操作步骤 以客户端安装用户，登录安装Kafka客户端的节点。
def contains(str1, substr1): if substr1 in str1: return True return False if __name__ == "__main__": if len(sys.argv) < 2:
name = row.getString(3); Row returnRow = RowFactory.create(age, id, job, name); return returnRow; } } public class DataSchemaProviderExample
WARN表示当前事件处理存在异常告警信息。 INFO INFO表示记录系统及各事件正常运行状态信息 DEBUG DEBUG表示记录系统及系统的调试信息 如果您需要修改日志级别，请执行如下操作： 参考修改集群服务配置参数，进入Yarn服务“全部配置”页面。 在左边菜单栏中选择所需修改的角色所对应的日志菜单。
参数含义 定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 内存使用过高，部分查询任务可能因为内存不足而失败。
RootVolumeSize Integer 参数解释： 节点系统盘大小，不可配置，默认为40GB。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 RootVolumeProductId String 参数解释： 节点系统盘的产品ID。 约束限制： 不涉及 取值范围： 不涉及
登录MRS集群Manager的用户是什么？ 问： MRS集群创建成功后，登录集群Manager界面的用户是什么？ 答： 登录Manager的系统默认账号为admin，密码为购买集群时用户自己设置的密码。 父主题： 用户认证及权限类
”表示执行完成）。 ECS重置密码插件升级（可选） 华为云ECS服务提供了一键式重置密码功能，弹性云服务器的密码丢失或过期时，可使用该功能进行一键式重置密码。重置密码插件为ECS内部运行的客户端进程，不对外提供任何网络服务，重置密码插件CloudResetPwdUpdateAgent使用了Apache
DDL语句，例如： hcat -e "show tables" 需注意： 如果要使用HCatalog客户端，必须从服务页面选择“更多 > 下载客户端”，下载全部服务的客户端。Beeline客户端不受此限制。 由于权限模型不兼容，使用HCatalog客户端创建的表，在HiveSer
{ return new Tuple2<>(); } return new Tuple2<>(words[0], words[1]);
count; } // 获取用户自定义状态 public long geState() { return this.count; } } 带checkpoint的数据源 source算子的代码，该段代码每发送10000条数据休息1
运行Spark Streaming任务参数调优的注意事项 问题 运行Spark Streaming任务时，随着executor个数的增长，数据处理性能没有明显提升，对于参数调优有哪些注意事项？ 回答 在executor核数等于1的情况下，遵循以下规则对调优Spark Streaming运行参数有所帮助。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
