Ollama vs MLX — 本地推理框架大比拼

在本地跑大模型，选框架是大事。我们实测了 Ollama 和 MLX——两个 Apple Silicon 主流框架。

测试条件

硬件：Mac Studio M3 Ultra 96GB | 模型：Qwen3.5 35B | 系统：macOS 15

速度对比

框架	量化	速度 (t/s)	内存
Ollama	Q8	~22	~38GB
MLX	4bit	~30	~20GB
Ollama	Q4_K_M	~35	~21GB

关键差异

Tool Calling：Ollama 用原生 API（/api/generate）更稳定，/v1 端点会出问题。MLX 需要自己实现 tool calling。

部署成本：Ollama 一行命令拉模型开跑。MLX 需要找社区量化文件、手动配置 server。

结论

• 日常推理 → Ollama（生态好、运维简单）
• 极致速度 → MLX（快但折腾）
• 我们选择：MS01/MS02 全用 Ollama，统一运维。