检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检查异步IO状态 ContextCaching.is_ready 检测返回的异步Future对象是否已完成计算。 获取异步IO结果 ContextCaching. get_result 获取返回的异步Future对象的结果。
方法定义 ContextCaching.get_result(ccfuture) 请求参数说明 表1 请求参数列表 参数名称 参数类型 是否必选 描述 ccfuture 表2 是 参数解释： 异步计算返回的Future对象。
方法定义 ContextCaching.is_ready(ccfuture) 请求参数说明 表1 请求参数列表 参数名称 参数类型 是否必选 描述 ccfuture 表2 是 参数解释： 异步计算返回的 Future 对象。
exit(2) try: for future in future_list: result = future.result() print(f"rsult:{result}") except EmsException as e:
exit(2) try: for future in future_list: result = future.result() print(f"rsult:{result}") except EmsException as e:
缓存系统性能优化 EMS还采用了以下技术来优化缓存系统性能，如图2所示： 图2 EMS以存代算技术 采用异步保存和读取策略，以减少加载和保存KV缓存的时间。 利用多级缓存和分布式缓存架构，通过更大容量的存储介质提供充足的缓存空间。
由于主机系统经过长时间运行后，物理内存可能出现严重的碎片化现象，内核需要整理并分配连续的大页内存区域。在分配大量大页内存的情况下，这一过程可能非常耗时。 解决方式 为了确保大页分配能够顺利进行并生效，建议可以考虑重启主机，利用系统初始化的过程来完成大页的重新分配与配置。
图1 EMS产品架构 领域专用服务SDK包含一系列面向不同AI应用场景的插件和接口服务SDK，提供业务系统接入、业务数据布局和近数据处理等功能，实现业务请求的内存加速。目前，该SDK主要应用于大语言模型的推理，通过分布式内存池提升处理效率并降低成本。
在IaaS场景下，客户控制着除基础设施外的所有组件，因此客户需要做好除基础设施外的所有组件的安全工作，例如应用自身的合法合规性、开发设计安全，以及相关组件（如中间件、数据库和操作系统）的漏洞修复、配置安全、安全防护方案等。
内核参数优化：大页配置 配置“vm.nr_hugepages”参数以指定系统中支持的大页数目。操作系统默认使用大小为的常规页面，而设置大页可显著提高大型数据结构访问效率；考虑到EMS需求，应将大页大小设置为“2MB”并确保EMS独占使用权，这一操作会减少系统剩余的普通页面内存。
您在华为云账户先充值，系统每小时统计前一小时的实际使用量并进行结算，从账户余额中扣除实际消费金额。 详细的服务资费费率标准请提工单咨询。 计费项 计费项为安装EMS业务集群节点使用的时长。 开始计费：EMS业务集群部署成功并激活后开始计费。
建议搭配服务 AI开发平台 ModelArts、云容器引擎 CCE、高性能弹性文件服务 SFS Turbo、对象存储服务 OBS。 图1 LLM大语言模型推理
卸载EMS EMS使用helm uninstall命令卸载EMS后台系统，同时通过主机配置脚本，还原系统大页配置。 卸载EMS后台系统 返回到CCE控制台，在左侧导航栏中单击“集群管理”。在右侧集群列表中，找到对应集群，在右侧单击“命令行工具”进入命令行。
升级EMS 当客户需要使用EMS新版本时，需要执行升级操作更新EMS后台系统。系统通过Helm的滚动升级能力进行升级， 一次升级一个节点。 前提条件 客户已经下载了新版本的Helm包。 升级前检查，所有的EMS进程均正常（参考部署后检查），如果不正常，请联系EMS技术支持。
