检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Jar包路径，例如：hdfs://hacluster/tmp/spark/JAR/spark-test.jar 登录FusionInsight Manager系统，选择“集群 > 服务 > Spark > 配置 > 全部配置 >JDBCServer（角色） > 自定义”，在“custom”中添加如下参数，并重启JDBCServer服务。
式的下推，在2.3版本中，增加了对null、in、and、or表达式的下推支持。 配置参数 登录FusionInsight Manager系统。 详细操作请参考访问集群Manager。 选择“集群 > 服务 > Spark2x/Spark > 配置”，单击“全部配置”，搜索并调整以下参数。
管理员可以根据业务实际需要，在普通模式集群中配置开启Yarn鉴权，或关闭HDFS和ZooKeeper鉴权。 约束与限制 该章节仅适用于MRS 3.x及之后版本。 对系统的影响 修改开关后服务的配置将过期，需要重启对应的服务使配置生效。 关闭HDFS鉴权 登录FusionInsight Manager。 选择“集群
name为hadoop.系统域名，并在conf/flink-conf.yaml中配置security.kerberos.login相关配置项。 说明： 登录FusionInsight Manager页面，选择“系统 > 权限 > 域和互信 > 本端域”，即可查看系统域名，系统域名所有字母需转换为小写。
用户名为dorisuser），并修改初始密码。 登录Doris集群Manager页面，详细操作请参考访问MRS集群Manager。 选择“系统 > 权限 > 角色 > 添加角色”，填写角色名称，如“dorisrole”，在“配置资源权限”选择“待操作的集群 > Doris”，勾选
登录FusionInsight Manager系统，选择“集群 > 服务 > Loader > 更多 > 重启服务”，输入管理员密码重启Loader服务。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统，具体请参见访问集群Manager。
获取的用户需要属于storm组。 Kerberos服务的renewable、forwardable开关和票据刷新周期的设置在Kerberos服务的配置页面的“系统”标签下，票据刷新周期的修改可以根据实际情况修改“kdc_renew_lifetime”和“kdc_max_renewable_life”的值。
所以为了在小内存模式下能加载较大日志文件，需要对大应用开启日志滚动功能。一般情况下，长时间运行的应用建议打开该功能。 配置参数 登录FusionInsight Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 spark.eventLog
2为MapReduce的“JHS_FLOAT_IP”参数的参数值，19888为JobHistoryServer的端口号。 在部分低版本操作系统中使用curl命令访问JobHistoryServer会有兼容性问题，导致无法返回正确结果。 用户能看到历史任务的状态信息（任务ID，开始时间，结束时间，是否执行成功等信息）
义分隔符，否则会出现数据错乱。 string 否 , 换行分隔符 用户根据数据实际情况，填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 说明： 该配置仅用于MySQL专用连接器，当数据列内容中包含默认分隔符时，需要设置自定义分隔符，否则会出现数据错乱。 string
删除Topic。 在待修改项的“Operation”列单击“Action > Delete”。在弹出的确认信息页面中单击“OK”即可完成删除。 系统默认内置的Topic不支持删除操作。 查看生产数据条数。 在“Producer Message”栏可选择“Day”、“Week”、“Mon
comment 'add new column to a struct col' after col_from_col_struct); 系统响应 通过运行DESCRIBE命令，可显示新添加的列。 父主题： Hudi Schema演进及语法说明
单击，在弹出的确认窗中输入当前登录的用户密码确认身份，单击“确定”。 在弹出的窗口中，选择一个或多个需要恢复数据的组件，单击“确定”，等待系统自动恢复租户数据。 父主题： 管理MRS租户资源
/opt/executor/bin/refresh-client-config.sh 配置回收站清理策略。 登录OBS控制台。 选择“并行文件系统”，单击已创建的文件系统名称。 选择“数据管理> 生命周期规则”，单击“创建”，创建“/user/.Trash”目录的生命周期规则。 配置集群使用存算
Internet Explorer浏览器可能存在兼容性问题，建议更换兼容的浏览器访问Hue WebUI，例如Google Chrome浏览器50版本。 对系统的影响 第一次访问Manager和Hue WebUI，需要在浏览器中添加站点信任以继续打开Hue WebUI。 前提条件 启用Kerber
Cp工具依赖于集群间复制功能，该功能默认未启用。两个集群都需要配置。 该任务指导MRS集群管理员在MRS修改参数以启用集群间复制功能。 对系统的影响 启用集群间复制功能需要重启Yarn，服务重启期间无法访问。 前提条件 两个集群HDFS的参数“hadoop.rpc.protect
name text, value text); 配置“Hive输入”算子，生成三个字段A、B和C： 设置了数据连接器后，单击“自动识别”，系统将自动读取数据库中的字段，可根据需要选择添加，然后根据业务场景手动进行完善或者修正即可，无需逐一手动添加。 此操作会覆盖表格内已有数据。
name text, value text); 配置“Spark输入”算子，生成三个字段A、B和C： 设置了数据连接器后，单击“自动识别”，系统将自动读取数据库中的字段，可根据需要选择添加，然后根据业务场景手动进行完善或者修正即可，无需逐一手动添加。 此操作会覆盖表格内已有数据。
save(basePath); 其中，"obs://testhudi/cow_table/"是OBS路径，“testhudi”是并行文件系统名称，请根据实际情况修改。 使用datasource API命令查看表建立成功，数据正常。 val roViewDF = spark. read
Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
