Mage:多模态模型系列

Microsoft 的多模态模型系列,按固定的 4B 参数预算构建。

核验日期

核心信息

以下信息由程序从官方接口读取,不经模型改写。

许可证
Apache-2.0 (Mage-VL, Mage-VL-Cowork) / MIT (Mage-ViT, Mage-Flow)
语言
Python
维护方
microsoft
核验日期

它是什么

Mage 是 Microsoft 的多模态模型系列,按固定的 4B 参数预算构建:Mage-VL 用于图像和视频理解,Mage-Flow 用于图像生成和编辑,Mage-VL-Cowork 用于结合 GUI、代码和终端操作的混合计算机使用。Mage 的设计目标是在现实的算力预算下,让视觉理解、生成和计算机使用可用于受控实验、后训练研究和垂直领域应用;项目方同时说明,这些模型仅为研究目的发布,不用于产品或服务部署。该系列围绕共同的 codec-aligned efficiency 理念组织,并同时应用于理解和生成两侧。Mage-VL 是面向图像和视频理解的 codec-native、主动流式多模态基础模型,其视觉编码器 Mage-ViT 完全从零训练,并与 Qwen3-4B 解码器搭配,规模为 4B。

主要能力

  1. Mage-VL 的单个已发布检查点同时提供图像和视频理解以及主动流式门控,是一个模型,没有单独的变体。

  2. Mage-VL-Cowork 是 4B 的混合计算机使用智能体,在一个策略中结合视觉 GUI 交互与代码和终端执行;它从 Mage-VL 的一个中间检查点出发,在中期训练、SFT 和 RL 中采用五阶段课程。

  3. 项目方报告,Mage-VL-Cowork 在 4B 规模、50 步预算下于 OSWorld-Verified 上达到 66.0%。

  4. Mage-Flow 是 4B 的生成式技术栈,用于文生图和基于指令的图像编辑,由 Mage-VAE 和采用 rectified flow matching 训练的原生分辨率多模态扩散 Transformer 构成;每个任务提供 Base、RL-aligned 和 4-step Turbo 变体。

  5. Mage-Flow-Edit 在统一的图文条件模型中支持语义内容编辑、外观转换、图像修复和结构感知输出。

  6. 项目方报告,在单张 A100 上以 1024² 运行时,Mage-Flow-Turbo 为 0.59 s/image,Mage-Flow-Edit-Turbo 为 1.02 s/edit。

怎么上手

  1. 每个模型都自成一体,位于各自的目录中,并带有专门的 README。

  2. Mage-VL 的 README 涵盖详情、安装、推理和主动流式。

  3. Mage-VL-Cowork 的 README 涵盖概述、训练配方和结果。

  4. Mage-Flow 的 README 涵盖详情、安装、Python API、CLI 和 Gradio 应用。

  5. Mage-Flow 的每个检查点都是自包含的 diffusers 风格仓库。

适合谁

项目方称,这些模型仅为研究目的发布,不用于产品或服务部署。模型应在受控的研究环境中配合适当的人工监督使用,下游用户需在更广泛使用之前自行采取内容审核、验证和合规检查等额外保障措施。在某些提示下,模型可能生成不准确、有偏见或不恰当的输出。

训练数据包含公开、授权和内部数据集,这些数据经过处理,以尽可能去除可明确识别的个人信息并减少有害内容。Mage-VL 采用 Apache-2.0 许可,Mage-VL-Cowork 也采用 Apache-2.0 许可。Mage-ViT 采用 MIT 许可,Mage-Flow 也采用 MIT 许可。

来源

本页内容整理自以下官方来源,点击可核对原文。

核验日期 ·

本页由 AI 依据上述官方来源整理,并经自动核对,未经本站实测。 发现错误?告诉我们。