检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
快速入门 初始化EMS客户端 本示例用于初始化EMS客户端配置并启动EMS服务。 # 引入模块 import os, torch, torch_npu from ems import Ems, EmsConfig, EmsException, CcConfig, CcKvOption
同步保存KVCache 功能介绍 将加速卡在推理计算中产生的多个KVCache数据块，批量保存在EMS缓存池，并立即返回结果。 接口约束 接口会休眠阻塞。 仅支持华为昇腾加速卡显存拷贝。 部分键值保存失败，接口不会返回失败，后续读取无法命中该键值。 当前KVCache仅支持华为昇腾卡NPU显存数据拷贝。
与其他服务的关系 图1 EMS与其他服务的关系 表1 EMS与其他服务的关系 服务名称 EMS服务与其他服务的关系 主要交互功能 云容器引擎 （Cloud Container Engine，CCE） EMS数据面镜像基于CCE云容器引擎服务进行安装部署。 部署EMS数据集群 云硬盘（Elastic
火水电，AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前，华为云已在全球多个地域开放云服务，您可以根据需求选择适合自己的区域
获取详细信息 功能介绍 EMS捕获到接口执行异常，可以通过接口获取异常详细信息。 方法定义 EmsExcepiton.message() 返回结果 表1 返回结果 类型 说明 string 参数解释： 返回异常详细说明。 取值范围： 无 代码样例 本示例用于获取异常详细描述信息 。
激活EMS 创建终端节点 登录VPC控制台。 在“终端节点”页面，单击“购买终端节点”。进入“购买终端节点”页面。 “服务类别”：“按名称查找”。 “服务名称”填写表1并单击“验证”。 若显示“已找到服务”，继续后续操作。 若显示“未找到服务”，请检查“区域”是否和终端节点服务所
配置告警规则 客户需要在EMS集群上开启默认的事件告警配置，并添加EMS的联系组。 操作步骤 登录CCE控制台，单击集群名称进入集群。 左侧导航栏选择“云原生规则 > 告警中心”，选择“告警规则”标签，单击页面中心的“开启告警中心” 在“选择联系组”时，单击“新建联系组”参数如下，完成新建后，进行选择。
使用前准备 在使用Python SDK访问华为云弹性内存服务EMS之前，您需要先完成推理/训练环境的准备。环境准备需要提前在本地完成环境搭建，比如下载安装依赖软件，安装开发工具等，以便您能顺利完成推理/训练环境准备，以及SDK的安装、基于SDK的代码开发与运行。 准备环境 在推理/训练容器内执行命令npu-smio
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
