检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
count(distinct b) from hivetb; 当前语句中count distinct出现次数超出了步骤 2中配置规则的阈值,系统提示信息如下: ... WARN : STATIC_0001 The count(distinct X) times exceeds the
permissions 创建新分区时用户的权限。 location 新分区的存放位置。 ifNotExists 如果设置为true, 当分区已经存在,系统报错。 返回结果 参数 描述 database 数据库名 table 表名 partitions 分区名 例子 curl -i -u : --insecure
permissions 创建新分区时用户的权限。 location 新分区的存放位置。 ifNotExists 如果设置为true, 当分区已经存在,系统报错。 返回结果 参数 描述 database 数据库名 table 表名 partitions 分区名 例子 curl -i -u : --negotiate
maxbuffer”参数配置为一个更高的值。 “jute.maxbuffer”只能设置为Java系统属性,且没有zookeeper前缀。如果要将“jute.maxbuffer”的值设为X,在ZooKeeper客户端或服务端启动时传入以下系统属性:-Djute.maxbuffer=X。 例如,将参数值设置为4MB:-Djute
maxbuffer”参数配置为一个更高的值。 “jute.maxbuffer”只能设置为Java系统属性,且没有zookeeper前缀。如果要将“jute.maxbuffer”的值设为X,在ZooKeeper客户端或服务端启动时传入以下系统属性:-Djute.maxbuffer=X。 例如,将参数值设置为4MB:-Djute
准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下:
sh”时,默认使用此API。 新Producer API和新Consumer API,在下文中统称为新API。 处理步骤 旧Consumer API 前提条件 系统管理员已明确业务需求,并准备一个Kafka管理员用户(属于kafkaadmin组)。 已安装Kafka客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。
选择“集群 > 服务 > HBase > 配置”,在搜索框中搜索并修改以下参数: fs.coldFS:修改该参数值为OBS文件系统名,例如:obs://OBS并行文件系统名称。 hbase.fs.hot.cold.enabled:该参数值默认为“false”,必须修改为“true”。 fs
并且不能超过99个字符。 角色 表示实例组包含哪个角色的实例。 复制源 指从指定的实例组复制配置值到新组,若为空,则新组对应的各配置值为系统默认值。 描述 只可以包含汉字、英文字母、数字、中英文逗号、中英文句号、下划线(_)、空格和换行符,并且不能超过200个字符。 每个实例必
WebUI时,界面提示无法显示此页 HDFS WebUI无法正常刷新损坏数据的信息 NameNode节点长时间满负载导致客户端无响应 为什么主NameNode重启后系统出现双备现象 为什么DataNode无法正常上报数据块 是否可以手动调整DataNode数据存储目录 DataNode的容量计算出错如何处理
该目录无法删除或修改名称。Hive表(除EXTERNAL表外)执行drop操作时,会尝试删除该表对应的HDFS数据目录,如果目录删除失败,系统会提示表删除失败。 如果确实需要删除该表,可手动删除涉及到该表的所有备份任务。 父主题: Hive常见问题
对表执行clean操作时需要表的owner才可以执行。 如果需要修改clean默认的参数,需要在执行前以set方式设置好需要保留的commit数等参数。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明
能被删除。 修改密码策略 登录Manager。 进入密码策略配置页面。 MRS 2.x及之前版本:选择“系统设置”,单击“密码策略配置”。 MRS 3.x及之后版本:选择“系统 > 权限 > 安全策略 > 密码策略”,单击待修改的密码策略所在行的“修改”。 根据界面提示,修改密码策略,具体参数见下表。
20150303,男,City9 登录对象存储服务OBS控制台,单击“并行文件系统 > 创建并行文件系统”,填写以下参数,单击“立即创建”。 表2 并行文件系统参数 参数项 取值 区域 华北-北京四 文件系统名称 mrs-hbase 数据冗余存储策略 单AZ存储 策略 私有 归档数据直读
用户只有绑定角色或者加入绑定角色的用户组,才能获得权限。 HetuEngine的权限管理是指HetuEngine中管理用户操作数据库的权限系统,以保证不同用户之间操作数据库的独立性和安全性。如果一个用户想操作另一个用户的表、数据库等,需要获取相应的权限才能进行操作,否则会被拒绝。
column11 from sourceTable2 where column1 = 'xxx'); 示例5: delete from h0; 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明
HBase表以“命名空间:表名”格式进行存储,若在创建表时不指定命名空间,则默认存储在“default”中。其中,“hbase”命名空间为系统表命名空间,请不要对该系统表命名空间进行业务建表或数据读写等操作。 开发思路 根据上述的业务场景进行功能分解,需要开发的功能点如表2所示。 表2 在HBase中开发的功能
HBase表以“命名空间:表名”格式进行存储,若在创建表时不指定命名空间,则默认存储在“default”中。其中,“hbase”命名空间为系统表命名空间,请不要对该系统表命名空间进行业务建表或数据读写等操作。 开发思路 根据上述的业务场景进行功能分解,需要开发的功能点如表2所示。 表2 在HBase中开发的功能
操作权限的用户,否则跳过此步骤。 kinit MRS集群用户 连接数据库。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 sqoop list-databases --connect jdbc:mysql://数据库IP地址:3306/
cd/opt/hadoopclient kinit<用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input(hdfs dfs命令有同样的作用),创建对应目录。 在Linux系统HDFS客户端使用命令hadoop fs -putlog1.txt