检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
默认取值: 无 返回结果 表4 返回结果 类型 说明 CcFuture 参数解释: 返回异步执行Future句柄。 取值范围: 无 表5 CcFuture 方法名称 参数 返回结果 描述 result 无 CcResult 参数解释: 获取异步执行的结果。
默认取值: 无 返回结果说明 表4 返回结果 类型 说明 CcFuture 参数解释: 返回异步执行Future句柄。 取值范围: 无 表5 CcFuture 方法名称 参数 返回结果 描述 result 无 CcResult 参数解释: 获取异步执行的结果。
获取详细信息 功能介绍 EMS捕获到接口执行异常,可以通过接口获取异常详细信息。 方法定义 EmsExcepiton.message() 返回结果 表1 返回结果 类型 说明 string 参数解释: 返回异常详细说明。 取值范围: 无 代码样例 本示例用于获取异常详细描述信息 。
默认取值: 无 返回结果说明 表4 返回结果 类型 说明 CcFuture 参数解释: 返回异步执行Future句柄。 取值范围: 无 表5 CcResult 参数名称 参数类型 描述 success int 参数解释: 请求的批量key读写连续成功的个数。
缓存系统性能优化 EMS还采用了以下技术来优化缓存系统性能,如图2所示: 图2 EMS以存代算技术 采用异步保存和读取策略,以减少加载和保存KV缓存的时间。 利用多级缓存和分布式缓存架构,通过更大容量的存储介质提供充足的缓存空间。
SDK接口概览 表1总结了EMS Python SDK支持的接口及功能描述,每个接口的详细介绍和示例代码请前往接口详情页查看。 SDK API概览 表1 Python SDK API概览 接口名 方法 功能描述 初始化 Ems.init 初始化EMS客户端。 获取ContextCaching
建议搭配服务 AI开发平台 ModelArts、云容器引擎 CCE、高性能弹性文件服务 SFS Turbo、对象存储服务 OBS。 图1 LLM大语言模型推理
卸载EMS EMS使用helm uninstall命令卸载EMS后台系统,同时通过主机配置脚本,还原系统大页配置。 卸载EMS后台系统 返回到CCE控制台,在左侧导航栏中单击“集群管理”。在右侧集群列表中,找到对应集群,在右侧单击“命令行工具”进入命令行。
由于主机系统经过长时间运行后,物理内存可能出现严重的碎片化现象,内核需要整理并分配连续的大页内存区域。在分配大量大页内存的情况下,这一过程可能非常耗时。 解决方式 为了确保大页分配能够顺利进行并生效,建议可以考虑重启主机,利用系统初始化的过程来完成大页的重新分配与配置。
华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。
内核参数优化:大页配置 配置“vm.nr_hugepages”参数以指定系统中支持的大页数目。操作系统默认使用大小为的常规页面,而设置大页可显著提高大型数据结构访问效率;考虑到EMS需求,应将大页大小设置为“2MB”并确保EMS独占使用权,这一操作会减少系统剩余的普通页面内存。
一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 如何选择区域?
获取Context Caching对象 功能介绍 获取Ems初始化的Context Caching对象,在访问Context Caching的相关接口前使用。 方法定义 Ems.get_cc() 请求参数说明 无。 返回结果说明 表1 返回结果 类型 说明 ContextCaching
您在华为云账户先充值,系统每小时统计前一小时的实际使用量并进行结算,从账户余额中扣除实际消费金额。 详细的服务资费费率标准请提工单咨询。 计费项 计费项为安装EMS业务集群节点使用的时长。 开始计费:EMS业务集群部署成功并激活后开始计费。
/zookeeper4sl/*.log dmk_zk-zk_log_0-{cluster_id} 容器内挂载 /var/log/dfv/infrastructure/zookeeper4sl/*.log.0 EMS根据微服务创建日志组,日志组的名称请设置为“微服务名称-{已部署EMS
升级EMS 当客户需要使用EMS新版本时,需要执行升级操作更新EMS后台系统。系统通过Helm的滚动升级能力进行升级, 一次升级一个节点。 前提条件 客户已经下载了新版本的Helm包。 升级前检查,所有的EMS进程均正常(参考部署后检查),如果不正常,请联系EMS技术支持。
健康检查 功能介绍 健康检查接口主要用于探测EMS存储服务状态是否工作正常,可以用于服务熔断后恢复场景。 方法定义 Ems.check_health() 请求参数说明 无 返回结果说明 表1 返回结果 类型 说明 bool 参数解释: EMS存储服务是否正常。 取值范围: False
使用前准备 在使用Python SDK访问华为云弹性内存服务EMS之前,您需要先完成推理/训练环境的准备。环境准备需要提前在本地完成环境搭建,比如下载安装依赖软件,安装开发工具等,以便您能顺利完成推理/训练环境准备,以及SDK的安装、基于SDK的代码开发与运行。 准备环境 在推理/
插件规格: 选择“系统预置规格”时,系统会根据不同的预置规格配置插件的实例数及资源配额,具体配置值请以控制台显示为准。 选择“自定义规格”时,您可根据需求调整插件实例数和资源配额。
环境变量 变量描述 EMS SDK提供了以下环境变量。 表1 环境变量 变量名称 变量类型 描述 ENABLE_CC_PROFILING string 参数解释: 开启Context Caching的profiling功能。 约束限制: 必须为数字。 取值范围: “1”:开启。 其他