MLX-Audio · AI Nav City

核心信息

以下信息由程序从官方接口读取，不经模型改写。

仓库地址: https://github.com/Neywa-Labs/mlx-audio
许可证: MIT
语言: Python
维护方: Neywa-Labs
主页: https://www.neywalabs.ai
核验日期: 2026-11-05

它是什么

MLX-Audio 在 Apple Silicon 上运行音频模型，涵盖文本转语音、语音转文本、语音转语音和音乐生成。MLX-Audio 基于 MLX 构建。MLX-Audio 采用 MIT 许可证。

主要能力

项目在功能列表中列出了针对 Apple Silicon（M 系列芯片）优化的快速推理。
MLX-Audio 提供多种模型架构，用于 TTS、STT、STS 和音乐生成。
MLX-Audio 提供语音定制和克隆能力。
MLX-Audio 提供交互式网页界面，带有 3D 音频可视化。
MLX-Audio 提供与 OpenAI 兼容的 REST API。
MLX-Audio 提供面向 iOS/macOS 集成的 Swift 包。

怎么上手

需求列表包含 Python 3.10 或更新版本。
需求列表包含 Apple Silicon Mac。
需求列表包含 MLX 框架。
保存 MP3、FLAC、OGG、Opus 或 Vorbis 格式的音频时需要 ffmpeg。
WAV 格式无需 ffmpeg 即可使用。
默认情况下，当生成产生多个片段时，mlx-audio 会保存带编号的文件。

摘自 README · bash

pip install -U mlx-audio

摘自 README · bash

uv tool install --force mlx-audio --prerelease=allow

摘自 README · bash

uv tool install --force git+https://github.com/Blaizzy/mlx-audio.git --prerelease=allow

摘自 README · bash

git clone https://github.com/Blaizzy/mlx-audio.git
cd mlx-audio
pip install -e ".[dev, server]"

摘自 README · bash

# Basic TTS generation
mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Hello, world!' --voice Vivian

# With a different voice and language hint
mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Welcome to MLX-Audio!' --voice Ryan --lang_code English

# Play audio immediately
mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Hello!' --voice Vivian --play

# Save to a specific directory
mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Hello!' --voice Vivian --output_path ./my_audio

# Stream audio during generation
mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Hello!' --voice Vivian --stream

# Stream audio during generation and save it to disk
mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Hello!' --voice Vivian --stream --save

# Join multiple generated segments into one file
mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text $'Hello!\nHow are you?' --voice Vivian --join_audio

摘自 README · python

from mlx_audio.tts.utils import load_model

# Load model
model = load_model("mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit")

# Generate speech
for result in model.generate(
    "Hello from MLX-Audio!",
    voice="Vivian",
    lang_code="English",
):
    print(f"Generated {result.audio.shape[0]} samples")
    # result.audio contains the waveform as mx.array

适合谁

MLX-Audio 提供跨模型的多语言支持。MLX-Audio 提供可调节的语速控制。项目在功能列表中列出了量化支持，包括 3-bit、4-bit、6-bit 和 8-bit，用于优化性能。

MLX-Audio 包含网页界面和与 OpenAI 兼容的 API。项目称，使用转换脚本进行量化可以减小模型体积并提升性能。mlx-audio-swift 提供在 macOS 和 iOS 上使用 MLX 的设备端 TTS。

项目将 Kokoro 描述为拥有 54 个语音预设的快速多语言 TTS 模型。OmniVoice 是一个零样本多语言 TTS 模型，支持至少 646 种语言，具备语音克隆、批量生成、发音控制和非语言标签。OmniVoice 使用双向 Qwen3 主干网络、迭代式掩码生成和 HiggsAudioV2 声学分词器。

VibeVoice-ASR 是 Microsoft 的 9B 参数语音转文本模型，具备说话人分离和时间戳。VibeVoice-ASR 支持最多 60 分钟的长音频，并输出结构化 JSON。Parakeet v3 支持 25 种欧洲语言。

KugelAudio 需要约 17GB 内存（bfloat16 下 7B 参数）。KugelAudio 的上游模型中尚未提供预编码语音预设（语音克隆），该模型使用默认语音生成语音。Voxtral TTS 是 Mistral 的 4B 多语言文本转语音模型，有 20 个语音预设，覆盖 9 种语言。

MedASR 是面向医学术语和听写的专用模型。SAM-Audio 使用文本提示从音频中分离特定声音。MossFormer2 用于去除语音录音中的噪声。

对于 Phonon-2 和 Phonon-2.5，已发布的检查点可直接加载，不需要 Fermion 运行时。

本站已收录的相关工具。