检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
常见错误原因和解决方法 显存溢出错误 网卡名称错误 保存ckpt时超时报错 Git下载代码时报错 父主题: 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.907)
常见错误原因和解决方法 显存溢出错误 网卡名称错误 保存ckpt时超时报错 mc2融合算子报错 父主题: 主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导(6.3.912)
录制Profiling Ascend PyTorch Profiler是针对PyTorch框架开发的性能数据采集和解析工具,通过在PyTorch训练脚本中插入Ascend PyTorch Profiler接口,执行训练的同时采集性能数据,完成训练后直接输出可视化的性能数据文件,提升了性能分析效率。
支持的模型列表 表1 支持的大语言模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持W8A16量化 是否支持 kv-cache-int8量化 开源权重获取地址 1 llama-7b √ √ √ √ √ https://huggingface
录制Profiling Ascend PyTorch Profiler是针对PyTorch框架开发的性能数据采集和解析工具,通过在PyTorch训练脚本中插入Ascend PyTorch Profiler接口,执行训练的同时采集性能数据,完成训练后直接输出可视化的性能数据文件,提升了性能分析效率。
常见错误原因和解决方法 显存溢出错误 网卡名称错误 保存ckpt时超时报错 Git下载代码时报错 父主题: 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.910)
使用llm-compressor工具量化 当前版本使用llm-compressor工具量化仅支持Deepseek-v2系列模型的W8A8量化。 本章节介绍如何在GPU的机器上使用开源量化工具llm-compressor量化模型权重,然后在NPU的机器上实现推理量化。 具体操作如下:
使用kv-cache-int8量化 kv-cache-int8是实验特性,在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化、per-tensor+per-head静态量化以及per-token,支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。
PG_EXTENSION PG_EXTENSION系统表存储关于所安装扩展的信息。GaussDB默认扩展是plpgsql、DIST_FDW、FILE_FDW、LOG_FDW、DBLINK_FDW、PACKAGES、SECURITY_PLUGIN、GSSTAT_PLUGIN、NUM
------------------------- --Table structure for u_user ------------------------- SQL语句: -- ------------------------------ Table structure for u_user -- ---
min_delete_elapse bigint DELETE最小响应时间。 avg_delete_elapse bigint DELETE平均响应时间。 父主题: 系统视图
订阅服务 功能介绍 该接口用于订阅共享的服务。 URI POST /v1/{project_id}/infer-services/{service_id}/share 参数说明请参见表1。 表1 URI参数说明 名称 是否必选 参数类型 说明 project_id 是 String
使用二次开发程序产生Unable to read HiveServer2异常如何处理 问题 使用二次开发程序产生异常,提示“Unable to read HiveServer2 configs from ZooKeeper”信息。 回答 问题原因 使用的krb5.conf、user
参数类型 是否必选 说明 1 schema string True 未授权:1. 请确认是否购买了客户服务云相关服务。 2. 系统管理员登陆客户服务云系统,进入“系统参数->统一公共配置->云客户配置”,确认软件云对接官网地址配置是否正确。3.确认请求头参数设置是否正确 响应状态码: 502
C拨打X号码,则会收到提示音,如“正在通话中,暂时无法接通,请稍后再拨。” X场景:隐私保护通话平台会将接收到的多路通话都推送到客户系统,由客户系统决定通话规则。 AXE场景:若A1XE1和A2XE2都已绑定成功,用户B拨打X号码,根据语音提示输入E1,用户A1可以接听通话;此时
v1.25以下集群:默认为"docker"; v1.25及以上集群,随操作系统变化,默认的容器运行时不同; 操作系统为EulerOS 2.5、EulerOS 2.8的节点默认为"docker",其余操作系统的节点默认为"containerd"。 表9 NodeItem 参数 是否必选
NULL ) RETURN BLOB; PKG_UTIL.LOB_APPEND( dest_lob INOUT clob, src_lob IN clob, len IN int default NULL ) RETURN CLOB;
Ray场景 Ray是一款高性能分布式执行框架,它使用了和传统分布式计算系统不一样的架构,提供了分布式计算的抽象方式。 Ray集群采用全托管独享模式,用户无需关心后台的资源管理,提供基于Ray的分布式作业执行能力,完全兼容开源版本,用户无需对脚本进行复杂的适配就可以使用,并且开放原
["10.10.**.**","10.10.**.**:8080"], "live-restore": true } 使以上配置生效。 当前系统若使用“systemd”,使用如下命令加载该配置: systemctl reload docker 若因版本问题无法使用“systemd”
0支持 SFS Turbo备份 云备份提供对SFS Turbo文件系统的备份保护。通过文件系统备份,您可以使用备份创建新的SFS Turbo,从而避免SFS Turbo重要数据丢失。 备份/恢复对象:弹性文件服务中的SFS Turbo文件系统 推荐场景:需要对文件系统的数据进行保护