检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
与其他服务的关系 图1 EMS与其他服务的关系 表1 EMS与其他服务的关系 服务名称 EMS服务与其他服务的关系 主要交互功能 云容器引擎 （Cloud Container Engine，CCE） EMS数据面镜像基于CCE云容器引擎服务进行安装部署。 部署EMS数据集群 云硬盘（Elastic
检查异步IO状态 ContextCaching.is_ready 检测返回的异步Future对象是否已完成计算。 获取异步IO结果 ContextCaching. get_result 获取返回的异步Future对象的结果。
get_result(ccfuture) 请求参数说明 表1 请求参数列表 参数名称 参数类型 是否必选 描述 ccfuture 表2 是 参数解释： 异步计算返回的Future对象。 约束限制： 必须为async_save或async_load等接口返回的CcFuture实例，不能为None。
is_ready(ccfuture) 请求参数说明 表1 请求参数列表 参数名称 参数类型 是否必选 描述 ccfuture 表2 是 参数解释： 异步计算返回的 Future 对象。 约束限制： 必须为async_save或async_load 等接口返回的 CcFuture 实例，不能为None。
身份认证与访问控制 IAM身份认证 用户访问EMS服务控制台时，其本质是通过EMS服务管理面提供的REST风格的API接口进行请求。 EMS服务管理面的接口支持认证请求，需要用户从华为云统一身份认证服务 IAM获取正确的鉴权信息才能访问成功。关于IAM鉴权信息的详细介绍及获取方式，请参见认证鉴权。
产品架构 EMS产品架构主要由三部分组成：领域专用服务SDK、分布式内存池和管理面。请参考图1 EMS产品架构。 图1 EMS产品架构 领域专用服务SDK包含一系列面向不同AI应用场景的插件和接口服务SDK，提供业务系统接入、业务数据布局和近数据处理等功能，实现业务请求的内存
为保证数据传输的安全性，访问EMS服务控制台时支持HTTPS协议。 操作认证 所有EMS服务管理面的API都会进行IAM身份认证。 审计与安全 出于分析或审计等目的，用户可以开启日志记录功能。通过将EMS日志规则配置到云日志服务 LTS，您可以获取EMS数据面的相关运行日志，从而帮助您定位问题。 服务韧性
EMS存储初始化 功能说明 Ems是访问EMS服务的Python客户端，它为调用者提供一系列与EMS服务进行交互的接口，提供EMS内存池健康检查等能力，以及ContextCaching等存储功能。 方法定义 init(config) 构造函数参数描述 表1 EmsConfig 参数名称
print(f"failed to save, {e}.") exit(2) try: for future in future_list: result = future.result() print(f"rsult:{result}") except
Token，TTFT），同时也节省了推理算力，提高推理吞吐，加速了大模型推理服务的效率。 建议搭配服务 AI开发平台 ModelArts、云容器引擎 CCE、高性能弹性文件服务 SFS Turbo、对象存储服务 OBS。 图1 LLM大语言模型推理
print(f"failed to save, {e}.") exit(2) try: for future in future_list: result = future.result() print(f"rsult:{result}") except
异常处理 获取错误码 获取详细信息
产品优势 EMS内存存储具有以下优势： 半托管融合部署，降低成本 EMS数据面部署在AI服务器上，采用融合部署，统一纳管AI服务器上空闲的DRAM内存资源，复用DRAM内存资源，提供推理加速服务，降低推理KVCache存储成本。 分级缓存，提升推理吞吐，优化推理时延 EMS通过构建
产品功能 表1列出了弹性内存存储服务EMS提供的常用功能特性。 表1 EMS功能概览 功能名称 功能描述 创建凭证 使用EMS前，需要先创建凭证，用于激活EMS。 部署EMS 在已创建的CCE集群的节点上部署EMS，以提供内存服务。 在CCE集群上安装监控插件，将CCE集群上部署
nr_hugepages”参数以指定系统中支持的大页数目。操作系统默认使用大小为的常规页面，而设置大页可显著提高大型数据结构访问效率；考虑到EMS需求，应将大页大小设置为“2MB”并确保EMS独占使用权，这一操作会减少系统剩余的普通页面内存。 服务重启与系统适应调整 完成上述内核参数调整
ContextCaching相关接口 注册KVCache 同步保存KVCache 异步保存KVCache 同步加载KVCache 异步加载KVCache 检查异步IO状态 获取异步IO结果
部署类问题 EMS内存池需要占用AI节点多少DRAM内存 在执行主机配置脚本的过程中，无返回信息怎么办
在“终端节点”页面，单击“购买终端节点”。进入“购买终端节点”页面。 “服务类别”：“按名称查找”。 “服务名称”填写表1并单击“验证”。 若显示“已找到服务”，继续后续操作。 若显示“未找到服务”，请检查“区域”是否和终端节点服务所在区域一致或输入的“服务名称”是否正确。 “虚拟私有云”和“子网”选择租
健康检查接口主要用于探测EMS存储服务状态是否工作正常，可以用于服务熔断后恢复场景。 方法定义 Ems.check_health() 请求参数说明 无。 返回结果说明 表1 返回结果 类型 说明 bool 参数解释： EMS存储服务是否正常。 取值范围： False：表示EMS服务异常。 True：表示EMS服务正常。
常见问题 EMS初始化失败如何定位？ ContextCaching接口超时时间如何设置？
