检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
什么是数据接入服务DIS 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从多种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。
与其他服务的关系 介绍DIS与其他服务的关系。 对象存储服务(Object Storage Service,简称OBS) 在用户购买接入通道时选择数据转储至OBS,用户上传的数据会存储至对象存储服务(OBS)。 统一身份认证服务(Identity and Access Management,简称IAM)
图解数据接入服务DIS
开通DIS服务 注册云服务账号。 开通DIS服务。 使用DIS服务之前必须先充值,才能正常使用DIS服务。 登录DIS管理控制台。 单击页面右上角的“费用”。 单击“充值”,系统自动跳转到充值窗口。 根据界面提示信息,对账户进行充值。 充值成功后,关闭充值窗口,返回管理控制台首页。
计费说明 计费项 DIS根据您的消息数量和使用分区时长计费。 表1 计费项信息 计费项 计费说明 消息数量 用户上传至DIS通道的消息数量,下载不计入消息数量。单条消息计量不超过25KB,即用户每次上传的单条数据超过25KB时按多条消息计算,不足25KB时,按单条消息计算。 说明:
SignedHeaders,Signature;} 请求头里的签名信息Authorization字段有误 请检查请求头里的Authorization字段是否包含Credential,SignedHeaders, Signature。 441 DIS.4110 Empty Signature header
API说明 通道管理 App管理 Checkpoint管理 数据管理 转储任务管理 监控管理 标签管理
简介 DIS SDK能做什么 内容导航
表1 常用最佳实践 实践 描述 案例 使用DIS采集增量驾驶行为日志数据 数据接入服务(Data Ingestion Service,简称DIS)采集增量驾驶行为日志数据并上传到华为云对象存储服务(Object Storage Service,简称OBS),通过数据湖探索(Data
解释请参见转储至OBS。 每个通道最多可创建5个转储任务。 当新增转储任务至OBS且目标OBS桶设置了IP访问控制策略时,由于DIS服务与OBS服务之间存在网络隔离,转储任务因网络限制而无法正常运行。如需解决此问题,请联系技术工程师处理。 单击“立即创建”。 在对应“任务名称”的操作列单击“更多
入门 DIS使用流程简介 步骤1:开通DIS通道 步骤2:准备DIS应用开发环境 步骤3:发送数据到DIS 步骤4:从DIS获取数据 获取认证信息 连接OBS 自动创建委托
什么是分区? 分区(Partition)是DIS数据通道的基本吞吐量单位。创建通道时,将指定所需的分区数量。 普通通道单分区容量:最高发送速度可达1MB/秒或1000条记录/秒(达到任意一种速度上限才会被限流),最高提取速度可达 2MB/秒,单次请求的记录总大小不能超过1MB(不
-DIS成长地图 | 华为云
附录 错误码 状态码 获取项目ID
String value = "Hello world[sync]. " + i; Future<RecordMetadata> future = producer.send(new ProducerRecord<>(streamName, key, value));
String value = "Hello world[sync]. " + i; Future<RecordMetadata> future = producer.send(new ProducerRecord<>(streamName, key, value));
am,则将下面的CustomFileStream与另外的DISStream模块删除或者注释)。 Linux服务器上配置DIS Agent 使用PuTTY 工具登录日志所在服务器。 执行cd /opt/dis-agent-X.X.X/命令,进入“dis-agent-X.X.X”文件夹。
权限并删除高危权限 登录统一身份认证服务IAM的旧版控制台。 IAM新版本支持基于身份策略授权模型,不会展示旧版控制台的角色与策略。由于DIS服务定义的委托最小化权限策略为旧版控制台的角色与策略,因此需要前往旧版控制台进行操作。 在IAM服务左侧导航窗格中,进入“委托”,搜索“d
相关资源 SDK下载 兼容性 如何校验软件包完整性?