vLLM-Omni · AI Nav City

核心信息

以下信息由程序从官方接口读取，不经模型改写。

仓库地址: https://github.com/vllm-project/vllm-omni
许可证: Apache-2.0
语言: Python
维护方: vllm-project
主页: https://docs.vllm.ai/projects/vllm-omni
核验日期: 2026-11-04

它是什么

vLLM-Omni 是一个框架,扩展了对全模态模型推理与服务的支持。vLLM 最初设计用于支持面向基于文本的自回归生成任务的大语言模型。2025/11,vLLM 社区正式发布了 vLLM-Omni,用于支持全模态模型的服务。vLLM-Omni 采用 Apache License 2.0 许可,许可证内容见其 LICENSE 文件。

主要能力

全模态:vLLM-Omni 处理文本、图像、音频、视频和动作数据。
非自回归架构:vLLM-Omni 将 vLLM 的 AR 支持扩展到扩散 Transformer(DiT)和其他并行生成模型。
异构输出:从传统的文本生成到多模态输出和动作输出。
vLLM-Omni 提供基于 OmniConnector 的完全解耦,以及跨阶段的动态资源分配。
项目称 vLLM-Omni 采用流水线式的阶段执行重叠,以实现高吞吐性能。
vLLM-Omni 提供异构流水线抽象,用于管理复杂的模型工作流。
vLLM-Omni 支持用于分布式推理的张量、流水线、数据和专家并行,支持流式输出,提供兼容 OpenAI 的 API 服务器,并提供带流式音频输入和输出的全双工实时服务。

怎么上手

可以访问 vLLM-Omni 的文档了解更多内容。
vLLM-Omni 文档包含安装页面。
vLLM-Omni 文档包含快速入门页面。
vLLM-Omni 文档包含受支持模型的列表页面。
vLLM-Omni 提供基于最新 main 构建的 Nightly CUDA Docker 镜像。
vLLM-Omni 还提供用于模型服务的部署配方。

适合谁

vLLM-Omni 支持的全模态模型,示例包括 Qwen3-Omni、MiniCPM-o 4.5、Cosmos3、HunyuanImage 和 BAGEL。vLLM-Omni 支持的 TTS 模型,示例包括 Qwen3-TTS、Tencent AuK、Breeze-TTS-2 和 CosyVoice3。vLLM-Omni 支持用于图像、视频和音频生成的扩散模型,示例包括 MiniMax H3、LingBot World、MAGI-2、LTX-2.5 和 Wan2.2。

vLLM-Omni 支持的机器人策略和动作模型,示例包括 π0.5、GR00T-N1.7、DreamZero-DROID 和 InternVLA-A1。项目称 vLLM-Omni 无缝支持 HuggingFace 上大多数流行的开源模型。项目称其与流行的 Hugging Face 模型的集成是无缝的。

项目发布了 vLLM-Omni 技术报告,描述了面向文本、音频、图像、视频和动作生成的统一服务运行时。项目发布了 0.32.0,与 vLLM 0.32.0 对齐,包含可选的基于 Ray 的多节点推理、会话感知的全双工服务、面向轮次式实时请求的服务端 VAD,以及借助 YuE2-3B、Qwen-Image-2.1、Kandinsky6、MOSS-Image 和 TaoMate-H3 扩展的图像、音乐和语音生成。

本站已收录的相关工具。