检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
身份认证与访问控制 IAM身份认证 用户访问EMS服务控制台时，其本质是通过EMS服务管理面提供的REST风格的API接口进行请求。 EMS服务管理面的接口支持认证请求，需要用户从华为云统一身份认证服务 IAM获取正确的鉴权信息才能访问成功。关于IAM鉴权信息的详细介绍及获取方式，请参见认证鉴权。
要应用于大语言模型的推理，通过分布式内存池提升处理效率并降低成本。 分布式内存池负责跨节点的内存空间管理、数据负载均衡等任务，通过空间池化提供内存缓存共享访问。内存池当前采用融合部署方式，即利用AI服务器中的DRAM，将DRAM内存池化以实现分布式共享，并进行本地亲和调度和访问。
于AI服务器的显存容量限制，现有的推理系统无法在AI服务器的显存中持续保存多轮对话的KVCache缓存。为了应对这一问题，系统通常会丢弃已处理对话的KV缓存，以腾出显存空间来服务新的请求。然而，当这些被丢弃的KV缓存对应的对话再次出现时，系统必须重新计算这些KV缓存，如图1 中的
传输加密（HTTPS） 为保证数据传输的安全性，访问EMS服务控制台时支持HTTPS协议。 操作认证 所有EMS服务管理面的API都会进行IAM身份认证。 审计与安全 出于分析或审计等目的，用户可以开启日志记录功能。通过将EMS日志规则配置到云日志服务 LTS，您可以获取EMS数据面的相关运行日志，从而帮助您定位问题。
降低推理时延，降低推理资源部署成本。LLM在线推理场景示意图如图1所示。 由于AI服务器显存内存墙瓶颈，EMS利用AI集群的空闲内存构建分布式内存池，实现显存容量的扩展，突破单机内存的瓶颈。通过EMS将LLM推理中的多轮对话、公共前缀等场景下的历史KVCache缓存在EMS中，L
约束限制： 无 取值范围： 大于0。 默认取值： 无 返回结果 表4 返回结果 类型 说明 CcFuture 参数解释： 返回异步执行Future句柄。 取值范围： 无 表5 CcFuture 方法名称 参数 返回结果 描述 result 无 CcResult 参数解释： 获取异步执行的结果。
Language Model）推理服务旨在为大规模语言模型（LLM）的推理任务提供高效、低延迟的在线服务能力。EMS通过KVCache缓存、多级缓存、分布式内存池化以及智能亲和调度等技术，加速推理速度并降低资源消耗。 激活凭证 您可以在EMS控制台创建激活凭证，您需要使用激活凭证激活EMS后才能正常使用EMS内存缓存功能。
ken输出时延，改善用户对话体验。 分布式共享内存池，提升缓存命中率 EMS将AI服务器上空闲的DRAM内存构建成分布式内存池，突破单机内存瓶颈，提升缓存空间，同时使得节点间能够进行高效的数据共享，支持亲和调度，提升缓存命中率，满足大规模分布式推理需求。 兼容主流推理框架，满足多样化访问
约束限制： 无 取值范围： 大于0。 默认取值： 无 返回结果说明 表4 返回结果 类型 说明 CcFuture 参数解释： 返回异步执行Future句柄。 取值范围： 无 表5 CcFuture 方法名称 参数 返回结果 描述 result 无 CcResult 参数解释： 获取异步执行的结果。
云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施，包括云安全战
安全 责任共担 身份认证与访问控制 数据保护技术 认证证书
加速卡计算产生的KVCache连续显存长度。 约束限制： 无 取值范围： 大于0。 默认取值： 无 返回结果说明 表4 返回结果 类型 说明 CcFuture 参数解释： 返回异步执行Future句柄。 取值范围： 无 表5 CcResult 参数名称 参数类型 描述 success int 参数解释： 请求的批量key读写连续成功的个数。
nr_hugepages”参数以指定系统中支持的大页数目。操作系统默认使用大小为的常规页面，而设置大页可显著提高大型数据结构访问效率；考虑到EMS需求，应将大页大小设置为“2MB”并确保EMS独占使用权，这一操作会减少系统剩余的普通页面内存。 服务重启与系统适应调整 完成上述内核参数调整
卸载EMS EMS使用helm uninstall命令卸载EMS后台系统，同时通过主机配置脚本，还原系统大页配置。 卸载EMS后台系统 返回到CCE控制台，在左侧导航栏中单击“集群管理”。在右侧集群列表中，找到对应集群，在右侧单击“命令行工具”进入命令行。 待命令行工具界面初始化完毕后，在命令行输入helm
计费说明 计费模式 EMS支持按需付费（后付费）计费方式。 按需付费（后付费）即先使用后付费的付费方式。您在华为云账户先充值，系统每小时统计前一小时的实际使用量并进行结算，从账户余额中扣除实际消费金额。 详细的服务资费费率标准请提工单咨询。 计费项 计费项为安装EMS业务集群节点使用的时长。
用户需通过创建委托的方式，将日志资源权限委托给EMS运维账号，以便EMS运维账号能够获取日志。 操作步骤 使用管理员账号登录IAM控制台。 在统一身份认证服务的左侧导航窗格中，选择“委托”页签，单击右上方的“创建委托”。 “委托名称” 输入ems-lts-{account-name}，
监控指标。 “认证方式”选择“Bearer Token”，请联系EMS运维人员提供“身份凭据”。 “跳过证书认证”选择“是”。 根据需求选择“规格配置”。 插件规格： 选择“系统预置规格”时，系统会根据不同的预置规格配置插件的实例数及资源配额，具体配置值请以控制台显示为准。 选择
容器内挂载 /var/log/dfv/infrastructure/zookeeper4sl/*.log dmk_zk-zk_log_0-{cluster_id} 容器内挂载 /var/log/dfv/infrastructure/zookeeper4sl/*.log.0 EMS根据
升级EMS 当客户需要使用EMS新版本时，需要执行升级操作更新EMS后台系统。系统通过Helm的滚动升级能力进行升级， 一次升级一个节点。 前提条件 客户已经下载了新版本的Helm包。 升级前检查，所有的EMS进程均正常（参考部署后检查），如果不正常，请联系EMS技术支持。 请注
常规页面转换为大页。由于主机系统经过长时间运行后，物理内存可能出现严重的碎片化现象，内核需要整理并分配连续的大页内存区域。在分配大量大页内存的情况下，这一过程可能非常耗时。 解决方式 为了确保大页分配能够顺利进行并生效，建议可以考虑重启主机，利用系统初始化的过程来完成大页的重新分配与配置。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
