DeepSeek 系列新模型上线华为昇腾社区:一键获取,开箱即用
发布日期:2025-02-05 14:47    点击次数:154

IT之家 2 月 5 日消息,据华为官方公众号,2 月 4 日,DeepSeek-R1、DeepSeek-V3、DeepSeek-V2、Janus-Pro 正式上线昇腾社区,支持一键获取DeepSeek 系列模型,支持昇腾硬件平台上开箱即用,推理快速部署。

IT之家附模型调用方式如下:

权重转换

GPU:

GPU:

NPU:

NPU:

加载镜像

在昇腾社区 / 开发资源下载适配 DeepSeek-V3 的镜像包:

展开剩余57%

mindie:1.0.T71-800I-A2-py311-ubuntu22.04-arm64

完成之后,请使用 docker images 命令确认查找具体镜像名称与标签。

docker load -i mindie:1.0.T71-800I-A2-py311-ubuntu22.04-arm64(下载的镜像名称与标签)

容器启动

提供的 MindIE 镜像预置了 DeepSeek-V3 模型推理脚本,从您信任的来源自行获取权重后,放置在从上述下载的模型代码的主目录下,修改模型文件夹属组为 1001,执行权限为 750,启动容器。

chown -R 1001:1001 /path-to-weights/deepseekv3chowd -R 750 /path-to-weights/deepseekv3

服务化测试

配置服务化环境变量,expandable_segments-使能内存池扩展段功能,即虚拟内存特性。

配置服务化环境变量,expandable_segments-使能内存池扩展段功能,即虚拟内存特性。

修改服务化参数

修改服务化参数

发布于:山东省

Powered by 千禧彩票怎么样 @2013-2022 RSS地图 HTML地图

Copyright Powered by站群 © 2013-2024