检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在训练代码目录下放置“pip-requirements.txt”文件后，在训练启动文件被执行前系统会执行如下命令，以安装用户指定的Python Packages。
第二条命令为重新生成GRUB引导程序的配置文件，用于在启动计算机时加载操作系统， 命令将使用新安装的内核镜像更新GRUB的配置文件，以便在下次启动时加载新的内核。 父主题： Lite Server
若用户的机器或资源池无法连通网络，并无法git clone下载代码、安装python依赖包的情况下，用户则需要找到已联网的机器（本章节以Linux系统机器为例）提前下载资源，以实现离线安装。用户可遵循以下步骤操作。
Windows系统建议使用Postman。 方式二：使用curl命令发送预测请求。Linux系统建议使用curl命令。 方式三：使用Python语言发送预测请求。 方式四：使用Java语言发送预测请求。
以Linux x86_64架构的操作系统为例，获取Docker安装包。您可以执行以下指令安装Docker。关于安装Docker的更多指导内容参见Docker官方文档。
当环境问题导致训练作业异常时，系统将自动修复异常或隔离节点，并重启训练作业，提高训练成功率。为了避免丢失训练进度、浪费算力。此功能已适配断点续训练。 图1 开启故障重启 断点续训练是通过checkpoint机制实现。
释放被冻结的“包年/包月”的Lite Server资源 包周期节点、整柜资源或超节点资源被冻结锁定时，无法通过“退订”功能释放资源，此时系统支持直接通过“释放”功能释放资源。 登录ModelArts管理控制台。
背景介绍 客服系统是企业与消费者沟通的重要桥梁，然而传统的人工客服存在着人工成本高昂、数据收集和分析困难、难以24小时提供服务等痛点。
/llm_tools/PD_separate python draw_picture_4graph_p90.py \ --ttft-threshold 2000 \ --tpot-threshold 50 \ --requests-num 300 \ --data-root .
场景描述 当用户使用MaaS部署的模型服务进行数据请求、模型推理等操作时，系统通过验证API Key来确认用户的身份与访问权限，只有具备有效API Key的用户才能成功调用模型服务，防止未经授权的访问。 首次接入服务：用户首次调用模型接口时需要创建API Key完成身份认证。
场景描述 企业智能客服：企业希望利用推理API优化客服系统，实现智能问答、意图识别，提升客服效率与客户满意度。 内容创作辅助：媒体、广告公司借助推理API进行文案创作、创意生成，提高内容产出的效率与质量。
以Linux x86_64架构的操作系统为例，获取Docker安装包。您可以使用以下指令安装Docker。关于安装Docker的更多指导内容参见Docker官方文档。
使用AppCode认证鉴权方式进行在线预测 场景描述 APPcode认证是一种简易的API调用认证方式，通过在HTTP请求头中添加参数X-Apig-AppCode来实现身份认证，无需复杂的签名过程，适合于客户端环境安全可控的场景，如内网系统之间的API调用。
开通工作空间后，系统会默认创建一个“default”空间，用户之前创建的所有资源均在此空间下。用户可以创建多个工作空间，每个新工作空间相当于一个独立的“ModelArts分身”，不同工作空间之间互不影响，便于管理和使用。
以Linux x86_64架构的操作系统为例，获取Docker安装包。您可以使用以下指令安装Docker。关于安装Docker的更多指导内容参见Docker官方文档。
原因分析二：当操作系统为macOS/Linux时，可能是密钥文件或放置密钥的文件夹权限问题，请参考解决方法二处理。
以Linux x86_64架构的操作系统为例，获取Docker安装包。您可以执行以下指令安装Docker。关于安装Docker的更多指导内容参见Docker官方文档。
千亿参数大模型的体积超过200G，在版本管理、生产部署上对平台系统产生了新的要求。例如：导入模型时，需要支持动态调整租户存储配额；模型加载、启动慢，部署时需要灵活的超时配置；当负载异常重启，模型需要重新加载，服务恢复时间长的问题亟待解决。
准备工作 准备一套可以连接外部网络，装有Linux系统并安装18.09.7及以上版本docker的虚拟机或物理机用作镜像构建节点，以下称“构建节点”。
VS Code安装指导如下： 图2 Windows系统下VS Code安装指导 Linux系统下，执行命令sudo dpkg -i code_1.85.2-1705561292_amd64.deb安装。 Linux系统用户，需要在非root用户进行VS Code安装。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
