MLX-Audio：Apple Silicon 运行音频模型

MLX-Audio 基于 MLX，在 Apple Silicon 上运行文本转语音、语音转文本、语音转语音和音乐生成模型。

核验日期

核心信息

以下信息由程序从官方接口读取，不经模型改写。

许可证
MIT
语言
Python
维护方
Neywa-Labs
核验日期

它是什么

MLX-Audio 用于在 Apple Silicon 上运行音频模型。它涵盖文本转语音、语音转文本、语音转语音和音乐生成。它构建在 MLX 之上。MLX-Audio 采用 MIT 许可证。

主要能力

  1. 项目方在功能列表中列出了针对 Apple Silicon（M 系列芯片）优化的推理。

  2. 项目方在功能列表中列出了跨模型的多语言支持。

  3. 项目方在功能列表中列出了语音定制与克隆能力。

  4. 项目方在功能列表中列出了可调节的语速控制。

  5. 项目方在功能列表中列出了带有 3D 音频可视化的交互式网页界面。

  6. 项目方在功能列表中列出了与 OpenAI 兼容的 REST API。

  7. MLX-Audio 包含网页界面和与 OpenAI 兼容的 API。

怎么上手

  1. 默认情况下，当生成产生多个片段时，mlx-audio 会保存带编号的文件。

  2. 使用合并音频选项则改为保存一个合并后的文件，而不是这些带编号的文件。

  3. 使用流式选项时，加上保存选项可将流式音频写入磁盘。

  4. 项目方称，使用转换脚本进行量化可以减小模型体积并提升性能。

摘自 README · bash
pip install -U mlx-audio
摘自 README · bash
uv tool install --force mlx-audio --prerelease=allow
摘自 README · bash
uv tool install --force git+https://github.com/Blaizzy/mlx-audio.git --prerelease=allow
摘自 README · bash
git clone https://github.com/Blaizzy/mlx-audio.git
cd mlx-audio
pip install -e ".[dev, server]"
摘自 README · bash
# Basic TTS generation
mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Hello, world!' --voice Vivian

# With a different voice and language hint
mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Welcome to MLX-Audio!' --voice Ryan --lang_code English

# Play audio immediately
mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Hello!' --voice Vivian --play

# Save to a specific directory
mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Hello!' --voice Vivian --output_path ./my_audio

# Stream audio during generation
mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Hello!' --voice Vivian --stream

# Stream audio during generation and save it to disk
mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Hello!' --voice Vivian --stream --save

# Join multiple generated segments into one file
mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text $'Hello!\nHow are you?' --voice Vivian --join_audio
摘自 README · python
from mlx_audio.tts.utils import load_model

# Load model
model = load_model("mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit")

# Generate speech
for result in model.generate(
    "Hello from MLX-Audio!",
    voice="Vivian",
    lang_code="English",
):
    print(f"Generated {result.audio.shape[0]} samples")
    # result.audio contains the waveform as mx.array

适合谁

项目方列出了面向文本转语音、语音转文本、语音转语音和音乐生成的多种模型架构。项目方列出了量化支持，包括 3 位、4 位、6 位、8 位以及更多。项目方列出了用于 iOS/macOS 集成的 Swift 包。

MLX-Audio 需要 Python 3.10 或更新版本。MLX-Audio 需要 Apple Silicon Mac（M1/M2/M3/M4）。MLX-Audio 需要 MLX 框架。

MP3、FLAC、OGG、Opus 和 Vorbis 音频编码需要 ffmpeg。WAV 格式无需 ffmpeg 即可使用。Kokoro 是带有 54 个语音预设的多语言文本转语音模型。

Kokoro 的文本处理需要安装 misaki。OmniVoice 是零样本多语言文本转语音模型，覆盖至少 646 种语言，具备语音克隆、批量生成、发音控制和非语言标签。VibeVoice-ASR 是微软的 9B 参数语音转文本模型，带有说话人分离和时间戳。

VibeVoice-ASR 支持长音频，最多 60 分钟，并输出结构化 JSON。Parakeet v3 支持 25 种欧洲语言。Voxtral TTS 是 Mistral 的 4B 多语言文本转语音模型，提供 20 个语音预设，涵盖 9 种语言。

KugelAudio 需要约 17GB 内存（bfloat16 下 7B 参数）。KugelAudio 的上游模型中还没有提供预编码的语音预设（语音克隆）。MedASR 是面向医学术语和听写的专用模型。

SAM-Audio 使用文本提示从音频中分离特定声音。MossFormer2 用于去除语音录音中的噪声。

来源

本页内容整理自以下官方来源，点击可核对原文。

核验日期 ·

本页由 AI 依据上述官方来源整理，并经自动核对，未经本站实测。 发现错误？告诉我们。