Ollama 离线部署 DeepSeek

1、环境准备与硬件要求

1.1、显卡显存要求

• 最低配置：RTX 2060 6GB显存（需优化设置）
• 推荐配置：RTX 3060 12GB/RTX 3090 24GB及以上显存，确保流畅运行

1. 查看显存方法

   Win+R → 输入msinfo32 → 组件 → 显示
   

2. 任务管理器

   （Ctrl+Shift+Esc） → 性能 → GPU
   

1.2、系统与存储

• 预留至少10GB磁盘空间（模型文件约4GB，依赖库及缓存另计）
• 建议安装路径选择非系统盘（如D盘）以避免C盘空间不足

2、Ollama安装与配置

2.1、下载安装包

• 官网地址：https://ollama.com/download/windows

2.2、修改模型存储路径

• 新增环境变量
• 变量名：OLLAMA_MODELS
• 变量值：D:\DevEnv\Ollama\Models（自定义路径）

OLLAMA_MODELS

D:\DevEnv\Ollama\Models

2.3、设置网络权限

管理员CMD运行：

setx OLLAMA_HOST 0.0.0.0  
setx OLLAMA_ORIGINS *  

1. • 重启Ollama服务生效

3、下载离线模型库

2.1、7B

https://modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/files


2.2、其他

https://modelscope.cn

4、模型文件部署流程

4.1、定位Ollama模型目录

默认路径：C:\Users\[用户名]\.ollama\models
自定义路径：检查环境变量OLLAMA_MODELS设置的目录
D:\DevEnv\Ollama\Models

4.2、创建模型文件夹结构

# 在模型存储路径下执行：
mkdir blob
mkdir manifests

4.3、放置模型文件

• 将deepseek-7b.Q4_K_M.gguf文件复制到blob文件夹

4.4、创建Modelfile配置文件

新建Modelfile文件，内容如下：

FROM D:\DevEnv\Ollama\Models\DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
# 或
FROM D:\DevEnv\Ollama\Models\blobs\DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

或者

FROM ./DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
PARAMETER num_ctx 4096      # 上下文长度
PARAMETER num_gpu 40        # GPU层数（根据显存调整，24GB建议35-40）
PARAMETER temperature 0.7   # 生成温度

5、手动注册模型

5.1、生成模型清单

ollama create deepseek-7b -f "D:\DevEnv\Ollama\Models\Modelfile"
# 或（别名）
ollama create ds -f "D:\DevEnv\Ollama\Models\Modelfile"


5.2、验证注册结果

ollama list

5.3、启动离线模型

ollama run deepseek-7b
# 或
ollama run ds

6、高级配置

6.1、强制使用CPU模式

在Modelfile追加：

PARAMETER numa   # 启用NUMA优化
ENVIRONMENT OLLAMA_GPU=disable  # 禁用GPU

6.2、多量化版本管理

# 为不同量化版本创建别名
ollama cp deepseek-7b deepseek-7b-q5

6.3、显存优化参数

显存容量	推荐参数组合
6GB	num_gpu 20 + Q4_K_S
12GB	num_gpu 40 + Q4_K_M
24GB	num_gpu 80 + Q5_K_M

6.4、故障排除

问题现象	解决方案
Error: model not found	检查blob文件夹命名是否使用哈希值
显存溢出	降低num_gpu值并重启服务
响应速度慢	在Modelfile添加PARAMETER batch_size 512
中文乱码	添加ENVIRONMENT LC_ALL=zh_CN.UTF-8