检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
什么是DataArts Fabric DataArts Fabric(简称DataArtsFabric)是华为云提供的数据+AI一站式开发平台,提供从数据处理、分析到模型微调、推理、部署上线的全生命周期管理能力,让数据工程师、数据科学家、AI应用开发工程师等多角色使用自己最熟悉的
约束限制:支持模糊匹配。 取值范围: FABRIC_COMMON_POLICY:基础通用服务相关权限策略,是委托必需的权限策略; FABRIC_SELF_POLICY:访问自身服务所需要的权限策略; FABRIC_SMN_POLICY:消息通知功能相关权限策略,用来将系统通知消息转发到SMN;
FABRIC_SELF_POLICY:访问自身服务所需要的权限策略; FABRIC_SMN_POLICY:消息通知功能相关权限策略,用来将系统通知消息转发到SMN; FABRIC_LAKEFORMATION_POLICY:LakeFormation功能相关权限策略; FABRIC_AOM_POLICY:AOM功能相关权限策略。
API概览 通过使用Fabric服务所提供的接口,您可以完整的使用Fabric服务的基本功能。Fabric服务提供的具体API如表1所示。 表1 Fabric服务API概览 类型 子类型 说明 Fabric-admin 服务健康检查 服务健康检查。 用户协议管理 用户协议管理。 委托管理
py同级目录下新增register.py,详细流程及代码片段如下: 使用ibis-fabric创建会话。 import huawei-ibis-fabric as fabric import ibis # 导入ibis依赖 con = ibis.fabric.connect(...) # 创建会话 (可选
l_returnflag, l_linestatus ORDER BY l_returnflag, l_linestatus; 对应的DataFrame逻辑如下: import ibis # 导入ibis依赖 con = ibis.fabric.connect(
SDK概述 数智融合服务软件开发工具包(DataArts Fabric SDK,DataArts Fabric Software Development Kit)是对DataArtsFabric服务提供的REST API进行的封装,以简化用户的开发工作。用户直接调用DataArtsFabric
lar Python UDF注册参数。 import ibis_fabric as fabric from ibis_fabric.udf import RegisterType # 隐式注册UDF @fabric.udf.python(database="your-database"
赋予对应column的一个有效表达式或值: 向表中字段插入单引号时需要使用单引号自身进行转义。 如果插入行的表达式不是正确的数据类型,系统试图进行类型转换,如果转换不成功,则插入数据失败,系统返回错误信息。 示例: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
ibis_fabric as fabric from ibis_fabric.udf import RegisterType def calculate_product(price: float, quantity: int) -> float: return price
创建vpcep客户端 功能介绍 创建vpcep客户端。VPC打通APIG,使用户可以通过内网域名调用到fabric接口。此接口为同步接口,无配套使用接口和特殊场景。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
此时,该算子可以被多个DataFrame表达式多次调用,示例如下: import ibis import ibis_fabric as fabric from ibis_fabric.udf import RegisterType def transform_json(ts: float
如果您需要对您所拥有的Fabric进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用Fabric服务的其它功能。 默
PG_FOREIGN_SERVER PG_FOREIGN_SERVER系统表存储外部服务器定义。一个外部服务器描述了一个外部数据源,例如一个远程服务器。外部服务器通过外部数据封装器访问。 表1 PG_FOREIGN_SERVER字段 名字 类型 引用 描述 oid oid - 行
取值范围: FABRIC_COMMON_POLICY:基础通用服务相关的权限策略; FABRIC_SMN_POLICY:消息通知功能相关的权限策略; FABRIC_LAKEFORMATION_POLICY:LakeFormation功能相关的权限策略; FABRIC_AOM_POLICY:AOM功能相关的权限策略;
查询endpoint_id domain=FABRIC_DOMAIN, #租户名 user=FABRIC_USER, #IAM用户名 password=FABRIC_PASS, #IAM密码 project_id=FABRIC_PROJECT_ID
规格选择列表中可以看到所有的规格,选择的规格可根据创建的Ray资源向下兼容,例如创建了一个fabric.ray.dpu.d4x的资源,那么在选择head规格的时候可以选择fabric.ray.dpu.d1x、fabric.ray.dpu.d2x、fabric.ray.dpu.d4x,即一个大的资源规格可以被拆分为多个小的资源规格。
以并行文件系统为例: 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。 文件系统名称:根据界面要求设置并行文件系统名称,例如“fabric-serverless”。 其他参数根据实际情况选择。 在并行文件系统页面,单击已创建的文件系统名称,例
PG_OPERATOR PG_OPERATOR系统表存储有关操作符的信息。 表1 PG_OPERATOR字段 名字 类型 引用 描述 oid oid - 行标识符(隐藏属性,必须明确选择才会显示)。 oprname name - 操作符的名称。 oprnamespace oid PG_NAMESPACE
url 数据库连接描述符。格式如下: jdbc:fabricsql://fabric-ep.endpoint/catalog 说明: catalog为lakeformation中对应catalog名称。 fabric-ep.endpoint为DataArtsFabric服务终端节点。