检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
关键设计原则 HBase是以RowKey为字典排序的分布式数据库系统,RowKey的设计对性能影响很大,具体的RowKey设计请考虑与业务结合。 父主题: HBase数据读写样例工程
ClickHouse应用开发思路 ClickHouse作为一款独立的DBMS系统,使用SQL语言就可以进行常见的操作。开发程序示例中,全部通过clickhouse-jdbc API接口来进行描述。 设置属性:设置连接ClickHouse服务实例的参数属性。
系统会从这个http地址下载Driver文件。仅支持无认证的http服务。
表2列出了CloudTable常用操作与系统权限的授权关系,您可以参照该表选择合适的系统权限。
一般情况下,可以通过将FE扩展至3个以上实现FE的高可用,且FE节点的扩容过程,不影响当前系统运行。BE节点的扩容过程,不影响当前系统运行以及正在执行的任务,并且不会影响当前系统的性能,数据均衡会自动进行,集群会在几个小时到一天不等的时间内恢复到负载均衡的状态。
如果使用select *,会加重系统的压力。 【规则】通过limit限制查询返回的数据量,节省计算资源、减少网络开销。 如果返回的数据量过大,客户端有可能出现内存溢出等服务异常。
原因分析:当您的账户余额不足导致系统扣费失败时,您的服务资源将会进入保留期,保留期内服务资源将被冻结而无法使用,但资源和数据会为您保留。 处理方法:当集群状态为“已冻结”时,您需要给账户充值以确保账户余额不为0才能解冻,详细操作请参见如何续费。解冻后,集群状态将恢复为“可用”。
如表1所示,包括了CloudTable的所有系统权限。 表1 CloudTable系统角色 系统角色 描述 类别 依赖关系 cloudtable Administrator 表格存储服务的管理员权限。
表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 安装JDK,版本为1.8.0_272。
给用户组授权之前,请您了解用户组可以添加的CloudTable权限,并结合实际需求进行选择,CloudTable支持的系统权限,请参见:CloudTable系统权限。如果您需要对除CloudTable之外的其它服务授权,IAM支持服务的所有权限请参见权限策略。
图2 消息日志类数据存储和查询 实时报表查询与分析 场景:通过实时、批量接入把源业务系统数据采集到CloudTable Doris/StarRocks中,下游业务应用对数据进行多维度、多模式分析,并可以在亚秒级内响应,快速得出报表结果。
HBase使用流程 CloudTable HBase集群模式提供了基于Apache HBase的分布式、可伸缩、全托管的NoSQL数据存储系统,它提供了毫秒级的随机读写能力,适用于海量结构化数据、半结构化数据存储和查询应用。
实时分析系统(复杂扫描和过滤)。 事务性应用(需要强一致性的金融/交易性系统)。 Java api适合需要高性能、复杂业务逻辑和与现有Java系统集成的场景,特别是在生产环境中提供最可靠和最灵活的访问方式。 父主题: 连接HBase集群
HBase集群节点扩容 为了提升系统的计算能力、存储能力,用户可以通过节点扩容来扩容集群。节点扩容将会产生相应的费用。用户可根据实际需要或业务情况,动态的增加节点的个数,集群将自适应的实现负载均衡,保证业务不中断,平滑扩容。
ClickHouse集群节点扩容 ClickHouse节点扩容增加集群中计算节点的数量,计算节点的扩容过程,不影响当前系统运行。 使用限制 余额不足账户无法扩容。 配额不足无法扩容。 zookeeper节点不支持节点扩容。 操作步骤 登录表格存储服务控制台。
表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7及以上版本。 安装JDK 开发环境的基本配置。版本要求:1.7或者1.8。考虑到后续版本的兼容性,强烈推荐使用1.8。
因此我们监测磁盘的使用率和剩余空间,通过设置不同的警戒水位,来控制Doris系统中的各项操作,尽量避免发生磁盘被写满的情况。 如何调整数据均衡的灵敏度? BE定期(每隔一分钟)会向FE汇报一次磁盘使用情况。FE记录这些统计值,并根据这些统计值,限制不同的操作请求。
快速创建HBase集群并进行离线数据查询 HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统。本章节提供从零开始使用HBase的操作指导:通过HBase Shell命令实现创建表,往表中插入数据,修改表,读取表数据,删除表中数据以及删除表的功能。
以当前系统时间计算,并根据TTL策略规定超过90天数据存储在冷盘中。
Import工具需要在客户端主机的操作系统的shell界面中执行。在客户端机器上进入HBase目录后执行Import工具,Import工具的命令格式如下: .