检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
凭证管理 创建凭证
集群管理 部署EMS 激活EMS 升级EMS 卸载EMS
创建凭证 登录EMS管理控制台。 申请公测成功后,单击页面上的“创建凭证”,在弹出框内单击“确定”。 如果凭证成功显示在列表中,则表示创建凭证成功(每个区域仅支持创建一个凭证)。请保存该凭证ID,因为该ID需要在激活EMS章节中使用。 父主题: 凭证管理
身份认证与访问控制 IAM身份认证 用户访问EMS服务控制台时,其本质是通过EMS服务管理面提供的REST风格的API接口进行请求。 EMS服务管理面的接口支持认证请求,需要用户从华为云统一身份认证服务 IAM获取正确的鉴权信息才能访问成功。
更新管理 由于EMS数据面采用融合部署,因此EMS数据面需要手动更新版本。如果EMS数据面服务需要进行升级更新操作时,需要用户授权或协助在用户容器集群上进行手动更新操作。 父主题: 安全
EMS激活时,EMS数据面会和EMS管理面通信,通过EMS管理面校验并完成用户关联后,用户才能使用EMS。 父主题: 控制台使用类问题
注册KVCache 功能介绍 将推理过程中使用的KVCache内存布局一次性注册到EMS上下文缓存(Context Caching)中,用于后续save/load/async_save/async_load接口按块(block)进行定位与管理。
检查异步IO状态 ContextCaching.is_ready 检测返回的异步Future对象是否已完成计算。 获取异步IO结果 ContextCaching. get_result 获取返回的异步Future对象的结果。
图1 EMS产品架构 领域专用服务SDK包含一系列面向不同AI应用场景的插件和接口服务SDK,提供业务系统接入、业务数据布局和近数据处理等功能,实现业务请求的内存加速。目前,该SDK主要应用于大语言模型的推理,通过分布式内存池提升处理效率并降低成本。
卸载EMS EMS使用helm uninstall命令卸载EMS后台系统,同时通过主机配置脚本,还原系统大页配置。 卸载EMS后台系统 返回到CCE控制台,在左侧导航栏中单击“集群管理”。在右侧集群列表中,找到对应集群,在右侧单击“命令行工具”进入命令行。
exit(2) try: for future in future_list: result = future.result() print(f"rsult:{result}") except EmsException as e:
内核参数优化:虚拟内存映射管理 调整系统内核配置,将“vm.max_map_count”参数值由默认值调整至建议值“6553000”。此参数控制每个进程可拥有的最大虚拟内存区域数量,EMS因需处理海量数据流与频繁内存映射操作故对此值有较高要求。
exit(2) try: for future in future_list: result = future.result() print(f"rsult:{result}") except EmsException as e:
方法定义 ContextCaching.get_result(ccfuture) 请求参数说明 表1 请求参数列表 参数名称 参数类型 是否必选 描述 ccfuture 表2 是 参数解释: 异步计算返回的Future对象。
方法定义 ContextCaching.is_ready(ccfuture) 请求参数说明 表1 请求参数列表 参数名称 参数类型 是否必选 描述 ccfuture 表2 是 参数解释: 异步计算返回的 Future 对象。
激活EMS 应用运维管理 (Application Operations Management,AOM) EMS将监控指标、告警等采集到应用运维管理平台,便于您随时监控业务。
父主题: 集群管理
建议搭配服务 AI开发平台 ModelArts、云容器引擎 CCE、高性能弹性文件服务 SFS Turbo、对象存储服务 OBS。 图1 LLM大语言模型推理
父主题: 集群管理
约束与限制 EMS权限管理 IAM认证用户默认可以直接访问EMS控制台,无需授予任何IAM权限。 您需要使用通过EMS控制台申请的激活凭证激活EMS软件后才能正常使用EMS内存缓存功能。