Saluki‑27B 完整介绍

Saluki‑27B 是 Conway Research（Underdog AI团队） 在 2026‑10‑09 发布、Apache 2.0开源协议 的面向本地AI智能体（Agent）专用GGUF模型。
它基座是通义千问 Qwen3.8‑27B，不是独立大模型，是经过特殊优化的混合2bit（IQ2-mix imatrix）量化版本，核心目标：在极致压缩体积的同时，优先保住甚至增强工具调用能力。

基础参数

• 基座：Qwen3.8‑27B（稠密27B，64层，Gated DeltaNet混合注意力）
• 原生上下文窗口：262k token
• 量化格式：2bit混合量化GGUF
• 文件大小：7.89GB；原版BF16全精度Qwen3.8‑27B 为54GB，压缩约6.8倍
• 推理运行：标准llama.cpp，无需定制编译；Ollama、LM Studio、text-generation-webui都能直接加载
• 硬件门槛：8GB显存显卡（RTX4060、Arc A770、Apple M系列）可完整加载；16GB内存服务器支持CPU推理（速度慢）

核心设计思路

普通低比特量化会让所有能力均匀衰减；Saluki的压缩方案做了定向能力取舍：

压缩时优先保护Function Call、多工具并行调用、指令遵循、JSON结构化输出；主动牺牲竞赛级多步数学推理，换取极小体积，打造低成本本地Agent模型。

基准评测（官方自测，Saluki vs Qwen3.8-27B BF16）

9项基准综合平均：保留原版96%综合能力；能力不是均匀下降，工具调用变强，数学推理是主要牺牲项

✅ 适合场景（非常匹配你的运维自动化Agent）

1. 本地离线Agent、Function Call：调用shell、docker、ssh远程执行脚本、解析系统日志、容器排错（你这套python多节点发布场景非常契合）
2. 结构化JSON输出、任务编排、批量运维、服务发布
3. 有限显存服务器本地部署，不想占用几十GB显存跑大模型
4. 日志分析、故障诊断、生成docker-compose、shell脚本

❌ 不推荐场景

1. 竞赛数学、高精度多步数值计算（复杂计算容易幻觉算错，必须外部校验结果）
2. 超大复杂项目底层代码重构、深度数学推导
3. 超长文档高密度精细推理：虽然原生支持262k上下文，2bit量化长文本更容易丢失细节

⚠️ 重要限制

1. 本质是量化压缩模型，底层知识上限来自Qwen3.8-27B，不是全新基座
2. 长上下文场景，KV缓存会占用显存，长对话容易OOM；建议开启KV量化或者分层CPU offload
3. 基准数据来自厂商自测，第三方独立复测较少；执行高危shell/发布操作，必须校验AI输出命令，不能直接信任

一句话选型对比

• 目标：本地Agent、工具调用、运维自动化，显存有限 → Saluki‑27B优先
• 目标：复杂数学、深度长推理、大型复杂代码工程，有充足显存 → 原版Qwen3.8‑27B BF16更好