检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
dbcp.username" = "test", -- 关系型数据库密码,命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 "qubit.sql.dbcp.password" = "xxx"); 父主题: 使用Hive
点磁盘可用空间块放置策略”,可提高将块数据写到磁盘可用空间较大节点的概率,解决因为数据节点磁盘容量不一致导致的节点使用率不均衡的情况。 对系统的影响 修改磁盘选择策略为“节点磁盘可用空间块放置策略(org.apache.hadoop.hdfs.server.blockmanagement
显示创建集群时的付费类型,目前支持“按需计费”和“包年/包月”。 集群版本 集群的版本信息。 集群类型 创建集群时的集群类型。 集群ID 集群的唯一标识,创建集群时系统自动赋值,不需要用户设置。 创建时间 显示集群创建的时间。 订单号 显示创建集群的订单号。该参数仅在“付费类型”为“包年/包月”时显示。 可用区
创建Hive表并向表中插入数据。 创建表: create table test(name string) location "obs://OBS并行文件系统名称/user/hive/warehouse/数据库名/表名"; 表创建成功后,可执行以下命令查看表的Location: desc formatted
度。 动态资源调度就是为了解决这种场景,根据当前应用任务的负载情况,实时的增减Executor个数,从而实现动态分配资源,使整个Spark系统更加健康。 操作步骤 需要先配置External shuffle service。 使用动态资源调度功能,必须配置External Shuffle
火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 图1表示区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。
在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见自定义购买弹性云服务器。 方法二:使用本机访问MRS集群操作Impala,在安装开发环境后并完成以下步骤后再运行样例代码。
进行作业开发时,系统支持对作业添加锁的功能,锁定作业的用户具备该作业的所有权限,其他用户不具备被锁定的作业的开发、启动和删除等权限,但可通过强制获取锁来具备作业的所有权限。开启该功能后,可直接通过单击“锁定作业”、“解锁作业”、“强制获取锁”来获取相应的权限。 系统默认开启作业锁功
用户名为dorisuser),并修改初始密码。 登录Doris集群Manager页面,详细操作请参考访问MRS集群Manager。 选择“系统 > 权限 > 角色 > 添加角色”,填写角色名称,如“dorisrole”,在“配置资源权限”选择“待操作的集群 > Doris”,勾选
登录集群Manager页面,详细操作请参考访问MRS集群Manager。 在Manager界面选择“系统 > 权限 > 角色”创建一个Hive角色(例如“hiverole”),详细操作请参考创建Hive角色。 选择“系统 > 权限 > 用户 > 添加用户”,根据界面提示创建一个人机用户(例如hive
通过如下配置项可开启自动进行数据倾斜处理功能,通过将Hash分桶后数据量很大的、且超过数据倾斜阈值的分桶拆散,变成多个task处理一个桶的数据机制,提高CPU资源利用率,提高系统性能。 未产生倾斜的数据,将采用原有方式进行分桶并运行。 使用约束: 只支持两表Join的场景。 不支持FULL OUTER JOIN的数据倾斜处理。
示参数分类。(下图以HDFS组件为例) 在导航树选择指定的参数分类,并在右侧修改参数值。 不确定参数的具体位置时,支持在右上角输入参数名,系统将实时进行搜索并显示结果。(下图以HDFS组件为例) 单击“保存配置”,并在确认对话框中单击“是”。 等待界面提示“操作成功”,单击“完成”,配置已修改。
2为MapReduce的“JHS_FLOAT_IP”参数的参数值,26014为JobHistoryServer的端口号。 在部分低版本操作系统中使用curl命令访问JobHistoryServer会有兼容性问题,导致无法返回正确结果。 用户能看到历史任务的状态信息(任务ID,开始时间,结束时间,是否执行成功等信息)
在权限管理中,为了方便用户使用,授予数据库下表的任意权限将自动关联该数据库目录的HDFS权限。为了避免产生性能问题,取消表的任意权限,系统不会自动取消数据库目录的HDFS权限,但对应的用户只能登录数据库和查看表名。 如果为角色添加或删除数据库的查询权限,数据库中的表也将自动添
在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见自定义购买弹性云服务器。 方法二:使用本机访问MRS集群操作Impala,在安装开发环境后并完成以下步骤后再运行样例代码。
在权限管理中,为了方便用户使用,授予数据库下表的任意权限将自动关联该数据库目录的HDFS权限。为了避免产生性能问题,取消表的任意权限,系统不会自动取消数据库目录的HDFS权限,但对应的用户只能登录数据库和查看表名。 若为角色添加或删除数据库的查询权限,数据库中的表也将自动添加
column1 = 'india' and exists( select * from table3 o where o.column2 > 1); 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: DML
的工具,可以通过该工具多并发设置目录中所有文件的副本数、属主、权限、ACL信息等。 约束与限制 本章节适用于MRS 3.x及后续版本。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担,所以在集群空闲时使用文件并发操作命令。 前提条件 已安装包含HDFS的客户
column1 = 'india' and exists( select * from table3 o where o.column2 > 1); 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: CarbonData语法参考
的工具,可以通过该工具多并发设置目录中所有文件的副本数、属主、权限、ACL信息等。 约束与限制 本章节适用于MRS 3.x及后续版本。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担,所以在集群空闲时使用文件并发操作命令。 前提条件 已安装包含HDFS的客户