Ollama实现:常用模型放SSD,冷门模型放机械盘

Ollama原生只支持一个 OLLAMA_MODELS 根目录,不能直接写两个路径。
但是用软链接(ln -s)可以做到:blobs里面个别大模型文件分散在SSD/HDD两块盘,完全满足你的需求。

原理简单说

Ollama模型目录结构:

models/
├── blobs/          # 真正的GGUF权重大文件(几十GB)
└── manifests/      # 很小的元数据,全部放SSD
  • manifests:很小几百KB,全部留在SSD
  • blobs:每个模型对应一个大blob文件;高频使用的blob放SSD,很久不用的blob软链指向机械盘

加载模型的时候,只第一次加载要读磁盘,载入显存之后推理速度完全由你的2080Ti决定,和硬盘无关。机械盘的代价:第一次启动模型加载慢。

方案一:推荐|软链接分离(Ubuntu22.04虚拟机)

1. 准备目录

SSD:/mnt/ssd/ollama/models(放manifests + 常用模型blob)
机械盘:/mnt/hdd/ollama/blobs(存放不常打开的大模型blob)

# 停止ollama
sudo systemctl stop ollama

# 创建目录
sudo mkdir -p /mnt/ssd/ollama/models
sudo mkdir -p /mnt/hdd/ollama/blobs

# 权限必须是ollama用户
sudo chown -R ollama:ollama /mnt/ssd/ollama
sudo chown -R ollama:ollama /mnt/hdd/ollama

2. 修改ollama.service 环境变量

sudo nano /etc/systemd/system/ollama.service
[Service]
Environment="OLLAMA_MODELS=/mnt/ssd/ollama/models"

重载并启动

sudo systemctl daemon-reload
sudo systemctl start ollama

3. 操作模型:区分SSD / HDD

  1. 常用模型(qwen3.8:27b、qwen2.5:14b):直接ollama pull,自动下载到SSD的blobs,常驻SSD。
  2. 冷门大模型:
    • 先pull,下载blob到SSD
    • 把blob本体移动到 /mnt/hdd/ollama/blobs/
    • 在SSD的blobs目录创建软链接指向机械盘的文件
      # 示例命令
      mv /mnt/ssd/ollama/models/blobs/sha256-xxxxxxx /mnt/hdd/ollama/blobs/
      ln -s /mnt/hdd/ollama/blobs/sha256-xxxxxxx /mnt/ssd/ollama/models/blobs/sha256-xxxxxxx

      ollama list 依旧正常识别,使用完全不变,不用改任何调用代码。

查找blob文件名:看 manifests/registry.ollama.ai/library/模型名/latest 文件里面的sha256哈希。

方案二:备选方案(两套独立ollama服务,隔离两套模型库)

  • 实例A:OLLAMA_MODELS=/mnt/ssd/ollama/models,11434端口,跑常用模型
  • 实例B:OLLAMA_MODELS=/mnt/hdd/ollama/models,11435端口,放冷门模型

    优点:完全隔离,不用手动维护软链接;缺点:要维护两个systemd服务,调用API需要切换端口。适合模型数量非常多。

⚠️ 重要坑(一定要注意)

  1. 机械盘加载大模型第一次很慢:27B模型18G,机械盘读取要几十秒甚至1分钟,加载完之后推理速度正常。
  2. 不要把正在频繁使用的模型放机械盘,反复卸载重加载会很难受。
  3. 软链接不要跨NFS(你前面NFS的坑,网络抖动会直接导致blob读取失败),机械盘必须是虚拟机本地直通硬盘。
  4. 不要修改manifests,manifests元数据必须放在SSD。
  5. 模型移动操作前停止ollama服务,防止文件占用损坏blob。

日常管理建议(你的2080Ti 22G)

✅ SSD常驻:qwen3.8:27b-q4_K_M、qwen2.5:14b-q4_K_M(日常主力,随时秒加载)
✅ 机械盘存放:32B模型、多模态大图模型、冷门测试模型,要用的时候等一次加载,不用长期占用SSD空间。

快速查询blob哈希命令

# 查看qwen3.8:27b对应的blob sha
cat /mnt/ssd/ollama/models/manifests/registry.ollama.ai/library/qwen3.8/27b-q4_K_M
作者:月影鹏鹏  创建时间:2026-10-04 01:12
最后编辑:月影鹏鹏  更新时间:2026-10-04 01:13