vllm-mlx:Apple Silicon 推理服务器

核心信息

以下信息由程序从官方接口读取，不经模型改写。

仓库地址: https://github.com/waybarrios/vllm-mlx
许可证: Apache-2.0
语言: Python
维护方: waybarrios
主页: https://vllm-mlx.is-a.dev/
核验日期: 2026-10-31

它是什么

vllm-mlx 是用于 Apple Silicon Mac 的 vLLM 风格推理服务器。它在 Metal 上运行 LLM、视觉模型、音频和嵌入模型,使用统一内存,无转换步骤。项目的许可为 Apache 2.0。vllm-mlx 受 vLLM 启发,并通过 MLX 为 Apple Silicon 采用了其连续批处理和分页 KV 缓存设计。

主要能力

SSD 分层 KV 缓存可为长上下文智能体把前缀缓存溢出到磁盘,预热提示在启动时预加载热门前缀,前缀缓存基于 trie 并在请求之间共享。
OpenAI 兼容接口提供 chat completions、completions、embeddings、rerank 和 responses 端点,Anthropic 兼容接口支持流式输出、工具调用和系统提示,MCP 工具调用有 19 个解析器(OpenAI、Anthropic、Gemini、Qwen、DeepSeek、Gemma 等),结构化输出通过 lm-format-enforcer 使用 JSON Schema。
推理提取使用 Qwen3 和 DeepSeek-R1 解析器,推测解码用于受支持的模型,稀疏预填充基于注意力并用于受支持的模型/草稿组合。
Prometheus 指标通过启用指标选项后的 metrics 端点提供。
在多模态功能列表中,README 将 Gemma 3、Gemma 4、Qwen3-VL、Pixtral 和 Llama vision 列为视觉模型。
在多模态功能列表中,README 给出的原生 TTS 为 11 种声音和 15 种以上语言,括号中列出 Kokoro、Chatterbox、VibeVoice 和 VoxCPM。

怎么上手

先在 Python 客户端环境中安装 openai。
首次响应之后,可使用连续批处理选项重新启动,以试用连续批处理。
最初的模型下载和加载时间取决于机器和网络连接。

摘自 README · bash

python -m pip install 'vllm-mlx==0.4.1'
vllm-mlx serve mlx-community/Llama-3.2-3B-Instruct-4bit --host 127.0.0.1 --port 8000

摘自 README · python

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="not-needed")
r = client.chat.completions.create(model="mlx-community/Llama-3.2-3B-Instruct-4bit", messages=[{"role": "user", "content": "Hi!"}])
print(r.choices[0].message.content)

摘自 README · bash

export ANTHROPIC_BASE_URL=http://localhost:8000
export ANTHROPIC_API_KEY=not-needed
claude

摘自 README · bash

uv tool install 'vllm-mlx==0.4.1'

适合谁

原生 GPU 加速仅支持 Apple Silicon(M1、M2、M3、M4、M5),通过 MLX 使用 Metal 内核。它使用统一内存,无需模型转换。内置基准工具运行提示扫描,输出 CSV/JSON。

README 称它已通过 OpenCode、pi、Codex、Claude Code、GitHub Copilot CLI、Cline CLI 和 OpenClaw 的嵌入式智能体验证。Rapid-MLX 是 vllm-mlx 的社区分支。README 还说明,编码客户端的验证结果适用于所测试的客户端版本和设置,因此只描述这些版本和设置。

本站已收录的相关工具。