检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据恢复失败。 约束与限制 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 HBase元数据不能与NameNode元数据同时恢复,会导致数据恢复失败。 MRS 3.1.0及之后版本,支持从OBS中恢复数据。 对系统的影响 数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。
_2() > (2 * 60)) { return true; } return false; } }); //对符合的female信息进行打印显示
SQLContext:是Spark SQL功能和DataFrame的主入口。 DataFrame:是一个以命名列方式组织的分布式数据集 DataFrameReader:从外部存储系统加载DataFrame的接口。 DataFrameStatFunctions:实现DataFrame的统计功能。
[localhost:21000] > use udfs; [localhost:21000] > create function my_lower(string) returns string location '/user/hive/udfs/hive.jar' symbol='org.apache.hadoop
hasNext() { return true; } @Override public String next() { return generator.nextHexString(4);
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 证书文件已经失效,对应模块功能受限,无法正常使用。 可能原因 系统未导入证书
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 由于Kafka配置的限制,导致Spark Streaming应用运行失败
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 由于Kafka配置的限制,导致Spark Streaming应用运行失败
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 SparkSQL UDF功能的权限控制机制
支持指定资源池的弹性伸缩能力。 Master主机规格升级功能支持多Master节点集群。 Bootstrap脚本支持以root用户身份执行。 集群主机系统盘支持最小100GB容量,数据盘支持最小200GB容量。 组件版本信息 组件 版本 CarbonData 2.2.0 ClickHouse
[localhost:21000] > use udfs; [localhost:21000] > create function my_lower(string) returns string location '/user/hive/udfs/hive.jar' symbol='org.apache.hadoop
[localhost:21000] > use udfs; [localhost:21000] > create function my_lower(string) returns string location '/user/hive/udfs/hive.jar' symbol='org.apache.hadoop
ALM-27005 数据库连接数使用率超过阈值 告警解释 系统每30秒周期性检查DBServer节点的数据库连接数使用率,并把实际数据库连接数使用率和阈值相比较,当数据库连接数的使用率连续5次(可配置,默认值为5)超过设定阈值时,系统将产生此告警,数据库连接数使用率的阈值设为90%(可配置,默认值为90%)。
修改MRS集群节点操作系统用户密码 该任务指导用户定期修改MRS集群节点操作系统用户omm、ommdba、root的登录密码,以提升系统运维安全性。各节点操作系统用户无需设置为统一的密码。 默认集群操作系统用户密码有效期为90天,如果需要修改操作系统用户密码有效期,可以参考修改MRS操作系统用户密码有效期进行配置。
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 在PySpark程序中使用Conda打包Python环境及第三方库
* * @return null * @throws Exception exception
Defaults > Project Structure”。 图3 Configure 在弹出的“Project Structure for New Projects”页面中,选择“SDKs”,单击加号添加JDK。 图4 Project Structure for New Projects 在弹出的“Select
* * @return null * @throws Exception exception
metastore.kerberos.principal Hive组件中MetaStore服务的Principal,如“hive/hadoop.<系统域名>@<系统域名>”。 hive-metastore/_HOST@EXAMPLE.COM hive.metastore.thrift.sasl.qop
ructuredStreamingJavaExample 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。 sparknormal-examples/SparkStructuredSt