检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 EMS产品架构 领域专用服务SDK包含一系列面向不同AI应用场景的插件和接口服务SDK，提供业务系统接入、业务数据布局和近数据处理等功能，实现业务请求的内存加速。目前，该SDK主要应用于大语言模型的推理，通过分布式内存池提升处理效率并降低成本。
获取错误码 调用EMS接口时，需要对EmsExcepiton异常进行捕获，并根据异常中不同错误码进行不同策略处理。 功能介绍 EMS捕获到接口异常，可以通过接口获取异常状态码。 方法定义 EmsExcepiton.status_code() 常见的状态码及其含义： EMS异常状态码
EMS存储初始化 功能说明 Ems是访问EMS服务的Python客户端，它为调用者提供一系列与EMS服务进行交互的接口，提供EMS内存池健康检查等能力，以及ContextCaching等存储功能。 方法定义 init(config) 构造函数参数描述 参数名称 参数类型 是否必选
同步保存KVCache 功能介绍 将加速卡在推理计算中产生的多个KVCache数据块，批量保存在EMS缓存池，并立即返回结果。 接口约束 接口会休眠阻塞。 仅支持华为昇腾加速卡显存拷贝。 部分键值保存失败，接口不会返回失败，后续读取无法命中该键值。 当前KVCache仅支持华为昇腾卡
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
