SoniTranslate 视频翻译网页应用

核心信息

以下信息由程序从官方接口读取，不经模型改写。

仓库地址: https://github.com/R3gm/SoniTranslate
许可证: Apache-2.0
语言: Python
维护方: R3gm
核验日期: 2026-10-31

它是什么

SoniTranslate 是一个网页应用,可以把视频翻译成不同语言。SoniTranslate 仓库托管了网页界面的代码，这个界面基于 Gradio 库构建。本地安装方式在 Linux 中测试过。项目也可以使用 Colab Runtime 运行。

主要能力

2024/18/05 的更新增加了 Overlap Reduction 选项。
该更新集成了 OpenAI API Key,可用于转写、翻译和 TTS。
同一次更新支持 ASS 字幕以及带字幕的批处理。
同一次更新在转写前加入了人声增强。
TTS 现在最多支持 12 个说话人。
同一次更新集成了 OpenVoiceV2，用于声音模仿。

怎么上手

SoniTranslate README 的「开始之前」部分列出了安装 CUDA 11.8.0 的 NVIDIA 驱动，以及接受使用 Pyannote 的许可协议。
需要创建一个令牌,才能使用 SoniTranslate 中的部分自动模型下载功能,在 Linux 中可以把 Hugging Face 令牌设置为环境变量。
安装步骤包括创建并激活适用于 SoniTranslate 的 anaconda 环境、克隆 github 仓库并进入该目录,以及安装所需的包。
推荐用 Anaconda 安装 ffmpeg,处理音频和视频文件需要它,装好 FFmpeg 之后可以安装可选的包。
在本地运行时,要确认 sonitr conda 环境处于激活状态,终端显示本地网址后,在网页浏览器中打开该网址即可访问 SoniTranslate 界面。
在大多数环境中，可以在启动 SoniTranslate 的终端里按 Ctrl+C 停止运行，也可以用命令停用 Conda 环境。

摘自 README

conda create -n sonitr python=3.10 -y
conda activate sonitr
python -m pip install pip==23.1.2 Setuptools==80.6.0
conda install pytorch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 pytorch-cuda=11.8 -c pytorch -c nvidia

摘自 README

git clone https://github.com/r3gm/SoniTranslate.git
cd SoniTranslate

摘自 README

pip install -r requirements_base.txt -v
pip install -r requirements_extra.txt -v
pip install onnxruntime-gpu

摘自 README

conda activate sonitr

摘自 README

python app_rvc.py

摘自 README

conda deactivate

适合谁

如果要从头开始,可以删除 SoniTranslate 文件夹并移除 sonitr conda 环境。若要把 OpenAI 的 GPT API 用于翻译、tts 或转写,需要把 OpenAI API 密钥用引号设置为环境变量。代码采用 Apache 2 许可,但模型或权重可能有商业限制,pyannote 说话人分离就是例子。

命令行参数 cpu_mode 用于启用 CPU 模式,让程序不使用 GPU 加速运行。命令行参数 verbosity_level 用于设置日志级别:debug、info、warning、error 或 critical。2024/03/02 的更新增加了 MP3、MP4、MKV、WAV 和 OGG 输出格式。

同一次更新还加入了处理完整的 YouTube 播放列表。2024/02/22 的更新增加了把字幕烧录到视频中。该更新还支持从上一个检查点继续处理。

队列可以同时接受多个任务。2024/18/05 的更新加入了 PDF 转视频书,会显示 PDF 中的图片。

本站已收录的相关工具。