检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Code开发环境中显示Notebook实例详情页，单击“连接”，系统自动启动该Notebook实例并进行远程连接。 图9 查看Notebook实例详情页 第一次连接Notebook时，系统右下角会提示需要先配置密钥文件。选择本地密钥pem文件，根据系统提示单击“OK”。 图10 配置密钥文件 单击
object 操作系统镜像信息。 表9 extendParams 参数 参数类型 描述 dockerBaseSize String 指定资源池节点的容器引擎空间大小。值为0时表示不限制大小。 表10 Os 参数 参数类型 描述 name String 操作系统名称。 imageId
object 操作系统镜像信息。 表9 extendParams 参数 参数类型 描述 dockerBaseSize String 指定资源池节点的容器引擎空间大小。值为0时表示不限制大小。 表10 Os 参数 参数类型 描述 name String 操作系统名称。 imageId
/ : * ? " < > | ' &”。 勾选“我已阅读并同意《华为云AI Gallery数字内容发布协议》和《华为云AI Gallery服务协议》”。 选择运行环境：CPU、GPU或ASCEND。 图2 发布AI Gallery Notebook 界面提示成功创建分享后，单击“”跳转至AI
false } 2. 启动vLLM，如果是使用命令行的方式，指定--quantization "gptq"参数，其他参数请参考Step3 启动推理服务 python -m vllm.entrypoints.openai.api_server --model <your_model> --quantization
false } 2. 启动vLLM，如果是使用命令行的方式，指定--quantization "gptq"参数，其他参数请参考Step3 启动推理服务 python -m vllm.entrypoints.openai.api_server --model <your_model> --quantization
false } 2. 启动vLLM，如果是使用命令行的方式，指定--quantization "gptq"参数，其他参数请参考Step3 启动推理服务 python -m vllm.entrypoints.openai.api_server --model <your_model> --quantization
false } 2. 启动vLLM，如果是使用命令行的方式，指定--quantization "gptq"参数，其他参数请参考步骤六 启动推理服务 python -m vllm.entrypoints.openai.api_server --model <your_model> --quantization
过SSH登录，不同机器之间网络互通。 购买Lite Server资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主
过SSH登录，不同机器之间网络互通。 购买Lite Server资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主
发布数据集到AI Galley参数说明 参数 说明 资产标题 在AI Gallery显示的资产名称。 来源 可选择“ModelArts”、“对象存储服务（OBS）”、“本地上传”。 ModelArts区域 选择当前控制台所在的区域。 OBS区域 选择与当前控制台一致的区域。 存储位置 用来存储发布的资产。
false } 2. 启动vLLM，如果是使用命令行的方式，指定--quantization "gptq"参数，其他参数请参考步骤六 启动推理服务 python -m vllm.entrypoints.openai.api_server --model <your_model> --quantization
false } 2. 启动vLLM，如果是使用命令行的方式，指定--quantization "gptq"参数，其他参数请参考Step3 创建服务启动脚本 python -m vllm.entrypoints.openai.api_server --model <your_model>
false } 2. 启动vLLM，如果是使用命令行的方式，指定--quantization "gptq"参数，其他参数请参考步骤六 启动推理服务 python -m vllm.entrypoints.openai.api_server --model <your_model> --quantization
false } 2. 启动vLLM，如果是使用命令行的方式，指定--quantization "gptq"参数，其他参数请参考Step3 启动推理服务 python -m vllm.entrypoints.openai.api_server --model <your_model> --quantization
false } 2. 启动vLLM，如果是使用命令行的方式，指定--quantization "gptq"参数，其他参数请参考Step3 创建服务启动脚本 python -m vllm.entrypoints.openai.api_server --model <your_model>
false } 2. 启动vLLM，如果是使用命令行的方式，指定--quantization "gptq"参数，其他参数请参考Step6 启动推理服务 python -m vllm.entrypoints.openai.api_server --model <your_model> --quantization
批量创建类型。可选值如下： rack：表示整柜。 表12 Os 参数 参数类型 描述 name String 操作系统名称。 imageId String 操作系统镜像id。 imageType String 操作系统镜像类型。 private：私有镜像。 表13 NodePoolStatus 参数 参数类型
批量创建类型。可选值如下： rack：表示整柜。 表11 Os 参数 参数类型 描述 name String 操作系统名称。 imageId String 操作系统镜像id。 imageType String 操作系统镜像类型。 private：私有镜像。 表12 NodePoolStatus 参数 参数类型
件夹名称，例如：demo。挂载时，后台自动会在Notebook容器“的/data/”目录下创建该文件夹，用来挂载OBS文件系统。 选择存放OBS并行文件系统下的文件夹，单击“确定”。 挂载成功后，可以在Notebook实例详情页查看到挂载结果。 代码调试。 打开Notebook，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
