检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Iceberg前准备 设置GUC 本版本新增GUC参数enable_meta_scan,用于优化查询的性能。 该参数默认打开,但在表数据量很小的情况下,关闭可能比打开的时候查询性能更高,请基于实际情况打开或关闭该GUC。 代码示例如下: 1 2 3 4 5 6 SHOW enable_meta_scan
快速开始 以下代码使用ibis库连接DataArtsFabric数据湖并执行数据查询,将结果转换为DataFrame格式的基本语法。 示例仅供参考,请您根据实际情况进行修改。 关于Ibis更详细的用法,请参见Ibis官方文档。 import ibis # 导入ibis依赖 con
获取DBeaver 您可以通过DBeaver官方网站 ,根据操作系统获取对应版本的DBeaver。 使用JDBC对接DataArtsFabric SQL 获取JDBC的Maven坐标,可参考获取JDBC。
加载驱动 在创建数据库连接之前,需要先加载数据库驱动程序。 加载驱动有两种方法: 在代码中创建连接之前任意位置隐含装载:Class.forName("org.postgresql.Driver"); 在JVM启动时参数传递:java -Djdbc.drivers=org.postgresql.Driver
因此当此参数小于30s时,系统在第一次发送心跳失败时即会报错,当此参数大于60s时,系统在与LakeFormation长时间断连的情况下有可能丢锁。
约束限制 Python UDF即使用Python语言编写的自定义函数,当DataArtsFabric SQL提供的内置函数无法支撑客户的业务实现时, 客户可以参考本文中的开发流程及使用示例,自行编写代码逻辑创建Python UDF,以满足多样化业务需求。 使用Python Scalar
可接受的值是系统相关的。 取值范围:字符串 使用命令locale -a查看当前系统支持的区域和相应的编码格式,并可以选择进行设置。 默认情况下,gs_initdb会根据当前的系统环境初始化此参数,通过locale命令可以查看当前的配置环境。
客户端初始化 使用Java SDK工具访问DataArtsFabric SQL,需要用户初始化DataArtsFabric SQL客户端。用户可以使用永久AK/SK或临时AK/SK两种认证方式初始化客户端,示例代码如下: 前提条件 已参考使用前须知获取了对应权限。 已参考使用前准备配置了
以并行文件系统为例: 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。 文件系统名称:根据界面要求设置并行文件系统名称,例如“fabric-serverless”。 其他参数根据实际情况选择。
使用前准备 在使用JavaSDK访问DataArtsFabric SQL之前,您需要先完成服务环境的准备和开发环境的准备。服务环境准备包括准备账号和访问密钥,是使用SDK与DataArtsFabric SQL云服务交互的必要条件。开发环境准备是指为了您能顺利完成SDK的安装、完成基于
系统策略 LakeFormation ReadOnlyAccess 下表列出了DataArtsFabric常用操作与系统权限的授权关系,您可以参照该表选择合适的系统权限。
解压后有两个JDBC的驱动jar包: gsjdbc4.jar:与PostgreSQL保持兼容的驱动包,其中类名、类结构与PostgreSQL驱动完全一致,曾经运行于PostgreSQL的应用程序可以直接移植到当前系统使用。
sys_tags 否 Array of SystemTagParam objects 参数解释:系统标签列表,目前只包含一个tag结构体。key下面只包含一个value。 约束限制:不涉及。 取值范围:1。 默认取值:不涉及。
Hadoop Catalog Hadoop Catalog不依赖外部系统,可以使用任意文件系统,它将当前表元数据文件路径记录在一个文件目录下。 因为Hadoop支持存算分离,底层的数据文件可以是HDFS或者是OBS对象系统等。
系统管理函数 数据库对象函数 统计信息函数 XML函数 漏斗和留存函数 ICEBERG表服务函数 UDF配置函数 父主题: SQL语法参考
values 是 Array of strings 参数解释:系统标签的值列表。 约束限制:固定值。 取值范围:1。 默认取值:不涉及。
取值范围:字符串 设置为空串('')的时候,系统会自动转换成一对双引号。 设置的内容中包含双引号,系统会认为是不安全字符,会将每个双引号转换成一对双引号。 默认值:default_db current_schema 参数说明:设置当前的模式。
创建Ray集群 Ray是一款高性能分布式执行框架,它使用了和传统分布式计算系统不一样的架构,提供了分布式计算的抽象方式。
作为数据库管理员和应用程序开发人员,至少需要了解以下知识: 操作系统知识。这是一切的基础。 SQL语法。这是操作数据库的必备能力。 使用前提条件 使用本指南前,需要完成以下任务。 开通DataArtsFabric SQL服务。
大模型推理场景介绍 常见的大模型包括大语言模型、多模态大模型、文生图大模型等,其中大语言模型支持文本生成,可以根据用户输入的提示词(prompt)进行推理,可广泛应用于以下领域: 问答系统:大语言模型可以处理自然语言,理解用户的意图,回答用户提出的问题。