检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户创建DIS通道,选择将数据转储到对象存储服务(Object Storage Service,简称OBS)中,需要通过创建IAM委托授权DIS服务去访问用户的OB资源。 使用账号首次进入界面添加转储任务时,系统会自动弹出创建委托界面。 单击 “同意授权”则平台会自动创建委托。 委托授权
capacity = 10000 # 定义 Sink (使用logger sink,输出到控制台) agent.sinks.loggerSink.type = logger agent.sinks.loggerSink.channel = memoryChannel 启动Flume程序,启动命令请参考Apache
request.setTransferTaskName(taskName); 配置“DeleteTransferTaskRequest”对象之后,通过调用deleteTransferTask的方法删除转储任务。 1 dic.deleteTransferTask(request);
将显示用户在企业项目服务中已创建的项目。系统还内置了一个缺省的企业项目“default”,如果用户没有为通道选择企业项目,将使用缺省项目“default”。 在通道创建过程中,如果通道与企业项目绑定成功,则通道创建成功,如果绑定失败,系统会发送告警,通道创建失败。 当删除DIS通
setObsBucketPath("obs-dis"); descriptor.setFilePrefix("transfertask"); // 转储周期,单位s descriptor.setDeliverTimeInterval(900); // 可选:在DIS管理页面自动创建名称为“dis_admin_a
setObsBucketPath("obs-dis1"); descriptor.setFilePrefix("transfertask"); // 转储周期,单位s descriptor.setDeliverTimeInterval(300); // 可选,转储OBS的目标文件格式:默认text,可配置parquet、carbon
request.setTransferTaskName(taskName); 配置“DescribeTransferTaskRequest”对象之后,通过调用describeTransferTask的方法查询指定的转储任务详情。 1 DescribeTransferTaskResult result
projectid='', region='',bodySerializeType='protobuf') 配置参数如下: 1 streamname="dis-test1" #已存在的通道名 参照该文件中的test方法,bodySerializeType="protobuf"选取protobuf格式上传。
DeleteTransferTaskRequest{} request.StreamName = "{stream_name}" request.TaskName = "{task_name}" response, err := client.DeleteTransferTask(request)
ame}"); BatchStartTransferTaskReq body = new BatchStartTransferTaskReq(); List<BatchTransferTask> listbodyTasks = new ArrayList<>();
ListTransferTasksRquest request = new ListTransferTasksRquest(); // 指定待查询的通道名称 request.setStreamName(streamName); 配置“ListTransferTaskReques
min_agency deliver_time_interval Integer 根据用户配置的时间,周期性的将数据导入OBS,若某个时间段内无数据,则此时间段不会生成打包文件。 单位:秒 deliver_size_interval Integer 转储文件大小,用户定义本地缓存
ecordDelimiter解析后上传记录。此时要保证文件以recordDelimiter结尾,否则Agent会认为文件追加未完成,继续等待recordDelimiter写入。 false:文件不会追加内容。文件最后一行不以recordDelimiter结尾,Agent仍会当做最
参数 参数类型 描述 total_number Integer 转储任务总数。 quota Integer 可创建的转储任务配额。 tasks Array of TransferTask objects 转储任务列表。 表4 TransferTask 参数 参数类型 描述 task_name
Explorer”中右键单击所需工程,选择“Properties ”,进入“Properties for dis-sdk-demo”页面。 左侧页签栏选择“Resource”,右侧对话框显示“Resource”页面。 在“Text file encoding”栏中选择“Other”,单击下拉框选择“UTF-8”。
Explorer”中右键单击所需工程,选择“Properties ”,进入“Properties for dis-sdk-demo”页面。 左侧页签栏选择“Resource”,右侧对话框显示“Resource”页面。 在“Text file encoding”栏中选择“Other”,单击下拉框选择“UTF-8”。
initialPosition: START_OF_FILE ## upload max interval(ms) maxBufferAgeMillis: 5000 ### If there are other monitor files, continue to follow the
snappy gzip zip 默认不压缩。 csv_properties CSVProperties object CSV 格式数据的相关属性,比如分隔符 delimiter writable_partition_count Integer 可写分区总数量(只包含ACTIVE状态的分区)。
列出了数据接入服务 (Data Ingestion Service)常用操作与系统权限的授权关系,您可以参照该表选择合适的系统权限。 表2 常用操作与系统权限的关系 操作 DIS Administrator DIS Operator DIS User 创建通道 √ √ x 删除通道 √ √ x