检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据源管理 ROMA Connect支持的数据源 接入API数据源 接入ActiveMQ数据源 接入ArtemisMQ数据源 接入DB2数据源 接入DIS数据源 接入DWS数据源 接入DM数据源 接入Gauss100数据源 接入FTP数据源 接入HL7数据源 接入HANA数据源 接入HIVE数据源
默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接模式 选择数据库的连接方式。 默认:使用系统默认方式连接数据库。 专业:使用JDBC连接字符串方式连接数据库。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。
a的能力。 HTTP响应头管理:提供了自定义HTTP响应头的能力,并在API响应中返回自定义的响应头。 断路器:在后端服务出现性能问题时为系统提供保护的能力。 可见范围 选择插件的可见范围。 集成应用:插件归属某个集成应用,仅拥有该集成应用权限的用户可查看和使用该插件。 全局:所有用户都可查看和使用该插件。
仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写DWS集群中要接入的数据库名。 是否使用JDBC字符串 选择连接数据库模式。 否:由系统根据用户配置自动拼接数据源连接字符串。 是:由用户自己输入数据源连接字符串。 JDBC字符串 仅当“是否使用JDBC字符串”选择“是”时需要配置。
编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接模式 选择连接数据库模式。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 版本号 选择连接的版本号,支持V100R003C20和V300R001C00。
仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写DWS集群中要接入的数据库名。 是否使用JDBC字符串 选择连接数据库模式。 否:由系统根据用户配置自动拼接数据源连接字符串。 是:由用户自己输入数据源连接字符串。 JDBC字符串 仅当“是否使用JDBC字符串”选择“是”时需要配置。
选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 是否使用JDBC字符串 选择连接数据库模式。 否:由系统根据用户配置自动拼接数据源连接字符串。 是:由用户自己输入数据源连接字符串。 连接地址 仅当“是否使用JDBC字符串”选择“否”时需要配置。
单击“更改”,可从本地上传一个图标。不上传则默认使用根据资产名称首字母生成的标准图标。 标签 输入资产标签。 版本 输入资产版本。不输入将使用系统为您生成的默认版本号。 资产描述 输入资产描述。 图1 新建资产 单击“确定”,完成资产的创建。 上架资产 在新版ROMA Connect左侧导航栏选择“资产中心>我的资产”。
编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接模式 选择连接数据库模式。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。
接入数据源 概述 在创建采集任务之前,您需要先接入数据源,确保可以正常从数据源采集模型。根据数据源类型的不同,数据源的接入配置有所差异。 操作步骤 接入DWS数据源 接入GaussDB数据源 接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源
创建组合任务 概述 FDI支持创建组合任务,组合任务适用于需要持续同步实时数据的场景。实现一个源端多个数据表到一个目标端多个数据表的实时同步及增量同步,提高了数据的集成同步效率。 组合任务支持数据表之间字段(列)级别的灵活映射,例如源端一个数据表中的多个字段可分别映射到目标端的不
配置索引生命周期策略(可选) ElasticSearch存储的数据,默认未设置过期时间,用户可根据磁盘空间情况,为ElasticSearch数据设置索引生命周期策略。 创建生命周期策略 登录Kibana可视化界面。 访问地址:IP:Port 其中,IP为ELK所部署服务器的IP;
接入自定义数据源 概述 ROMA Connect支持把自定义的连接器作为一个数据源,并用于数据集成任务。在使用自定义数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 已有可用的连接器
支持的数据与协议 数据集成 数据集成任务支持的数据源相关信息如表1所示。 表1 数据集成支持的数据源 数据源类型 支持的版本 普通任务的源端 普通任务的目标端 组合任务的源端 组合任务的目标端 API - 支持 支持 不支持 不支持 ActiveMQ 5.15.9 支持 支持 不支持
配置跨域资源共享策略 出于安全性考虑,浏览器会限制从页面脚本内发起的跨域请求,此时页面只能访问当前域的资源。CORS允许浏览器向跨域服务器发送XMLHttpRequest请求,从而实现跨域访问。更多跨域访问的说明请参见配置跨域访问API。 ROMA Connect支持通过插件策略
插入数据违反非空约束 原因分析 任务执行异常失败,查看日志有如下信息: 解决方案 可参考以下内容进行问题排查解决: 源表中此字段可为null,但创建目标表时设置此字段为非null属性,需修改字段属性保持一致。 用户配置任务时多了一个表映射,将一个相似名称的源表配置采集数据到此目标
数据源管理 接入DWS数据源 接入GaussDB数据源 接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL Server数据源 接入DAMENG数据源
可以使用不同的安全组,请根据实际需要进行配置。在创建安全组时应注意如下要求: 创建安全组时,“模板”选择“自定义”。 安全组创建后,请保留系统默认添加的入方向和出方向规则。 使用ROMA Connect服务要求必须添加表2所示安全组规则,其他规则请根据实际需要添加 创建安全组的操
应提前创建API分组。 绑定域名 在开放API前,您需要为API分组绑定一个独立域名,供用户访问API使用。 在绑定独立域名前,您可以使用系统为API分配的默认子域名进行API调用测试,ROMA Connect对默认子域名的访问次数做了限制,每天最多可以访问1000次。 创建API
自定义后端管理 下线自定义后端 导入导出自定义后端 添加自定义后端公共配置 附录:自定义后端的Swagger扩展定义 父主题: 服务集成指导