EN

PaddleSpeech 语音与音频开源工具包

基于 PaddlePaddle 平台的语音与音频开源工具包,获 NAACL2022 最佳演示奖。

核验日期

核心信息

以下信息由程序从官方接口读取,不经模型改写。

许可证
Apache-2.0
语言
Python
维护方
PaddlePaddle
核验日期

它是什么

PaddleSpeech 是 PaddlePaddle 平台上的开源工具包,用于语音和音频领域的多种关键任务。PaddleSpeech 获得了 NAACL2022 最佳演示奖。文本转语音模块原名 Parakeet,现已合并到 PaddleSpeech 仓库。PaddleSpeech 采用 Apache-2.0 许可证提供。

主要能力

  1. 其中文前端包含文本规范化和字音转换(G2P,包括多音字和变调)。

  2. 中文前端还使用自定义语言规则来适配中文语境。

  3. 工具包包含语音识别、语音合成、说话人验证、关键词检出、音频分类和语音翻译等音频功能。

怎么上手

  1. PaddleSpeech 有两种快速安装方式:pip 安装和源码编译(推荐)。

  2. PaddleSpeech 依赖 paddlepaddle。

  3. 可以通过 PaddleSpeech 命令行或 Python 试用 PaddleSpeech 的模型。

  4. 可以更改输入选项来测试自己的音频或文本,并支持 16k wav 格式音频。

  5. 可以通过 PaddleSpeech 服务器命令行试用语音服务器。

  6. 也可以试用流式语音识别和流式语音合成服务器。

摘自 README · bash
pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple
摘自 README · shell
pip install pytest-runner
pip install paddlespeech
摘自 README · shell
git clone https://github.com/PaddlePaddle/PaddleSpeech.git
cd PaddleSpeech
pip install pytest-runner
pip install .
# If you need to install in editable mode, you need to use --use-pep517. The command is as follows:
# pip install -e . --use-pep517
摘自 README · shell
wget -c https://paddlespeech.cdn.bcebos.com/PaddleAudio/zh.wav
wget -c https://paddlespeech.cdn.bcebos.com/PaddleAudio/en.wav

适合谁

官方强烈建议在 Linux 上安装 PaddleSpeech,并使用 3.8 或更高版本的 Python。依赖项要求 gcc 版本至少为 4.8.5。支持的操作系统有 Linux(推荐)、Windows 和 Mac OSX。

语音翻译使用预编译的 Kaldi 相关工具,语音翻译演示只能在 Ubuntu 系统上体验。声音分类模型基于 AudioSet 数据集的 527 个类别。工具包的愿景是赋能工业应用和学术研究。

工具包实现了语音任务整个流程中的模块,并使用 LibriSpeech、LJSpeech、AIShell、CSMSC 等主流数据集。工具包还把上述任务的工作流与自然语言处理(NLP)和计算机视觉(CV)等其他领域结合。PaddleSpeech 中的文本转语音主要包含三个模块:文本前端、声学模型和声码器。

2025.09.01,PaddleSpeech 新增了 Whisper large v3 和 turbo 模型。2023.02.16,PaddleSpeech 新增了粤语 TTS。语音翻译是端到端的英译中语音翻译工具。

PaddleBoBo 使用 PaddleSpeech TTS 生成虚拟人声音。VTuberTalk 使用 PaddleSpeech TTS 和 ASR 从视频中克隆声音。

来源

本页内容整理自以下官方来源,点击可核对原文。

核验日期 ·

本页由 AI 依据上述官方来源整理,并经自动核对,未经本站实测。 发现错误?告诉我们。