检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域
取值范围: 1h 3h 12h 可自定义查看监控信息的时间段。 单击“自定义”页签后的,分别设置开始时间和结束时间。 其中,结束时间不能晚于当前的系统时间。 开始时间与结束时间的差值不超过72h。 分区监控 分区编号 流分区编号,默认从0开始。取值方式:从下拉框选择。 该分区的总输入/输出流量(KB/秒)
py文件默认调用list_dump_task_test方法,获取响应200查询成功。 响应示例如下: 1 2 200 {'total_number': 1, 'tasks': [{'last_transfer_timestamp': 1538018769241, 'state': 'RUNNING', 'create_time':
<artifactId>cloud-dis-spark-streaming_2.11</artifactId> <version>1.2.1</version> <scope>compile</scope> </dependency> 检查认证信息 检查AK/SK AK/SK
commitCheckpointRequest.setAppName(appName); // 需要提交的sequenceNumber commitCheckpointRequest.setSequenceNumber("100"); // 分区编号 commitCheckpointRequest.setPartitionId("0");
"stream_type": "COMMON", "stream_id": "L84hxfES223eVrFyxiE", "retention_period": 168, "create_time": 1532423353637, "last_modified_time": 1532423354625
使用DIS采集增量驾驶行为日志数据 数据接入服务(Data Ingestion Service,简称DIS)采集增量驾驶行为日志数据并上传到华为云对象存储服务(Object Storage Service,简称OBS),通过数据湖探索(Data Lake Insight,简称DL
<artifactId>cloud-dis-flink-connector_2.11</artifactId> <version>1.0.5</version> <scope>compile</scope> </dependency> 检查认证信息 检查AK/SK AK/SK
0及以上版本。进入Flume安装目录,执行如下命令查看Flume版本。 $ bin/flume-ng version | grep Flume 确认使用的Java版本为1.8.0及以上版本。执行如下命令查看java版本。 java -version 检查DIS通道 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。
Settings”。 在搜索框搜索maven,找到maven的配置,请确保Maven home directory(Maven安装路径),User settings file (settings.xml文件位置)和Local repository(本地仓库地址)配置正确。 若不正确,请修改,否则步骤
使用SDK 使用SDK(Java) 使用Kafka Adapter上传与下载数据 使用SDK(Python)
使用Agent上传数据 使用DIS Flume Plugin上传与下载数据 使用DIS Logstash Plugin上传与下载数据 使用Kafka Adapter上传与下载数据 使用DIS Spark Streaming下载数据 使用DIS Flink Connector上传与下载数据 使用设备接入IoTDA写入数据至DIS
{"total_number":20,"stream_names":["Stream0","Stream1","Stream2","Stream3","Stream4"],"has_more_streams":true} 表2 响应参数说明 参数名 类型 说明 total_number Int
], "password": { "user": { "name": "username", "password": "********",
ample.py文件调用getCheckpoint_test方法,响应结果如下: 1 2 3 4 { "sequence_number": "10", "metadata": "metadata" } 父主题: 使用SDK(Python)
'dis-w_p', 'dis_test1', 'dis_test2'], 'has_more_streams': False, 'total_number': 4} 父主题: 使用SDK(Python)
APP名称(APP是已存在状态) partitionId="shardId-0000000000" #分区的唯一标识符。 seqNumber="0" #序列号 metadata="" #用户消费程序端的元数据信息,元数据信息的最大长度为1000个字符 partition
发送“POST https://dis的Endpoint/v2/{project_id}/streams”。 在Request Header中增加“X-Auth-Token”。 在Request Body中传入参数如下: { "stream_name": "dis-DLpR",
tRequest))); 查询Checkpoint的返回信息如下。 1 2 getCheckpoint: {"sequence_number": "10", "metadata": "metadata"} 父主题: 使用SDK(Java)
例如,您可以让一个应用程序运行实时分析,让其他应用程序从同一个DIS数据通道中将数据发送至对象存储服务(Object Storage Service,简称OBS)。 安全可靠:DIS可将数据保留24~72小时,以防数据在应用程序故障、个别机器故障或设施故障时丢失。 父主题: 一般性问题