检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实时数仓简介 实时数仓在大规模数据查询和分析能力基础上,提供高并发、高性能、低时延、低成本的事务处理能力。 如需使用实时数仓能力,请在DWS控制台创建集群时,选择存算一体1:4云盘规格,了解更多参见存算一体规格。 创建DWS集群选择1:8云盘规格为标准数仓,1:4云盘规格为实时数
GaussDB(DWS)常用运维命令集 本章节仅列出运维常用命令,其中查看的系统对象可根据实际情况灵活变通,查询返回的具体字段含义,请参考《开发指南》中关于对应系统表、系统视图、系统函数的介绍。 查看运维状态类 前提条件:正常连接上DWS集群。 查看当前业务整体运行情况。 1 select
管理数据源 管理MRS数据源 管理OBS数据源 管理LakeFormation数据源 父主题: 迁移业务数据至GaussDB(DWS)集群
Council)制定发布,用于决策支持系统测试基准,主要用于衡量大数据产品的分析性能。TPC-DS查询共包含24张表,99个查询测试语句。 SSB SSB(Star Schema Benchmark)是一种在学术界和工业界广泛应用的数据库系统性能评估基准测试方法。它能够对比不同数
磁盘:SSD云盘,每块600GB,共2块 软件环境 内核版本:Linux 3.10.0-862.14.1.5.h757.eulerosv2r7.x86_64 操作系统:EulerOS release 2.0 (SP5) 数据库版本:DWS 3.0 父主题: SSB性能测试
审计 审计开关 操作审计 父主题: GaussDB(DWS)数据库GUC参数
and Incrementals。用来管理Hadoop大数据体系下存储在DFS(Distributed File System,分布式文件系统)上大型分析数据集。 Hudi不是单纯的数据格式,而是一套数据访问方法(类似GaussDB(DWS)存储的access层),在Apache
图1 在MRS上查看数据存储路径 获取MRS数据源连接的外部服务器信息 使用创建外部服务器的用户去连接其对应的数据库。 是否使用普通用户在自定义数据库中创建外表,请根据需求进行选择: 是 请先确保,您已按照手动创建外部服务器章节中的步骤,创建了普通用户dbuser和它的数据库myd
/opt/DSC/DSC/log/ --application-lang SQL --conversion-type ddl --targetdb gaussdbA 系统回显 ********************** Schema Conversion Started *************************
分析函数 在Teradata中,分析函数统称为有序分析函数,它们为数据挖掘、分析和商业智能提供了强大的分析能力。 ORDER BY中的分析函数 输入:ORDER BY子句中的分析函数 1 2 3 4 SELECT customer_id, customer_name, RANK(customer_id
QUALIFY 通常,QUALIFY子句和CSUM()、MDIFF()、ROW_NUMBER()、RANK()等分析函数(窗口函数)一同使用。子查询中会包含QUALIFY子句指定的窗口函数。迁移工具支持QUALIFY使用MDIFF()、RANK()和ROW_NUMBER()函数。
ALIAS 所有数据库都支持ALIAS。在Teradata中,定义ALIAS的语句允许其SELECT和WHERE子句引用ALIAS。但是目标数据库的SELECT和WHERE语句不支持ALIAS,因此MT将其迁移为实际的字段名称替换。 比较操作符LT、LE、GT、GE、EQ和NE不得用作表别名或列别名。
支持指定部分列 DSC支持在执行INSERT期间指定部分列(非全部列)。当输入的INSERT语句不包含输入的CREATE语句中提到的所有列时会出现这种情况。在迁移时,会向这些列添加指定的默认值。 session_mode设为Teradata时支持此功能。 INSERT-INTO-
类型转换和格式化 本节主要介绍Teradata类型转换和格式化的迁移语法。迁移语法决定了关键字/特性的迁移方式。 在Teradata中,FORMAT关键词用于格式化字段/表达式。FORMAT '9(n)' 和'z(n)'分别使用0和空格(' ')填充,即使用LPAD函数。数据类型
支持的关键词和特性 DSC支持迁移的MySQL关键字和特性如表1所示。 “版本”列代表初次支持该关键字/特性的DWS集群版本。 “备注”列包含该特性的配置参数,可用于自定义迁移工具如何迁移相应的关键字/特性。 表1 章节 对象->关键词/特性 版本 备注 数据类型 数字类型 8.0
ROW_FORMAT ROW_FORMAT定义了行存储的物理形式。ROW_FORMAT的选择与存储引擎有关,如果在创建表的时候选择了存储引擎不相关的ROW_FORMAT,则使用默认的ROW_FORMAT创建表。当ROW_FORMAT取值为DEFAULT,DSC迁移为SET NOC
MODIFY修改列 MySQL使用MODIFY关键字修改列数据类型、设置非空约束。DSC工具迁移时会根据GaussDB(DWS)的特性进行相应适配。 输入示例 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 CREATE
ROUNDROBIN表 GaussDB(DWS)支持建立roundrobin表,根据实际需要设置表1中的参数table.type进行配置。设置table.type=ROUND-ROBIN。 输入示例 1 2 3 4 5 CREATE TABLE charge_snapshot (
ROLLUP MySQL中的group by column with rollup需要转换为GaussDB(DWS)中的group by rollup (column); 输入示例 1 2 3 select id,product_id,count(1) from czb_account
工具支持从Oracle到GaussDB(DWS)的迁移,包括模式、DML、查询、系统函数、PL/SQL等。 执行Oracle SQL迁移 执行以下命令设置源数据库、输入和输出文件夹路径、日志路径、应用程序语言和迁移类型: Linux操作系统: ./runDSC.sh --source-db Oracle