TheWhisper · AI Nav City

核心信息

以下信息由程序从官方接口读取，不经模型改写。

仓库地址: https://github.com/TheStageAI/TheWhisper
许可证: MIT
语言: Python
维护方: TheStageAI
主页: https://thestage.ai
核验日期: 2026-11-02

它是什么

TheWhisper 是一个微调版 Whisper 模型,可以处理大小不超过 30 秒的音频块。与原始 Whisper 模型不同,TheWhisper 不需要用静音填充音频来补足 30 秒。在首个版本中,该仓库提供开源的转录模型,并带有流式推理支持。

主要能力

TheWhisper 提供开放权重的、经过微调的 Whisper 模型版本。
TheWhisper 提供流式实现,适用于 NVIDIA 和 macOS。
项目方报告,TheStage AI 推理引擎(NVIDIA GPU)在 L40s 上运行 whisper-large-v3 模型可达 220 tok/s。
TheWhisper 提供延迟、内存、功耗和 ASR 准确率(OpenASR)方面的基准测试。

怎么上手

可以构建带有实时转录功能的 macOS 桌面应用。
TheWhisper 提供本地 RestAPI,并带有使用 JS 和 Electron 的前端示例。
TheStage AI 构建了一个 Electron 演示应用,该应用通过了 Apple 认证。

摘自 README · bash

git clone https://github.com/TheStageAI/TheWhisper.git
cd TheWhisper

摘自 README · bash

pip install .[apple]

摘自 README · bash

pip install .[nvidia]

摘自 README · bash

pip install 'thestage-elastic-models[nvidia]==0.2.4.post0' --index-url https://thestage.jfrog.io/artifactory/api/pypi/pypi-thestage-ai-production/simple --extra-index-url https://pypi.nvidia.com --extra-index-url https://pypi.org/simple
pip install .[nvidia]
pip install thestage

摘自 README · python

import torch
from thestage_speechkit.apple import ASRPipeline

model = ASRPipeline(
    model='TheStageAI/thewhisper-large-v3-turbo',
    # optimized model with ANNA
    model_size='S',
    chunk_length_s=10
)

# inference
result = model(
    "path_to_your_audio.wav", 
    return_timestamps="word"
)

print(result["text"])

摘自 README · python

import torch
from thestage_speechkit.nvidia import ASRPipeline

model = ASRPipeline(
    model='TheStageAI/thewhisper-large-v3-turbo',
    # allowed: 10s, 15s, 20s, 30s
    chunk_length_s=10,
    # optimized TheStage AI engines
    batch_size=32,
    device='cuda'
)

# inference
result = model(
    "path_to_your_audio.wav", 
    chunk_length_s=10,
    generate_kwargs={'do_sample': False, 'use_cache': True}
)

print(result["text"])

适合谁

项目方称,TheWhisper 适用于实时字幕、线上会议、语音界面和边缘部署。TheWhisper 支持 L40S、H100、RTX 4090 和 RTX 5090。TheWhisper 支持 Nvidia Jetson。

TheWhisper 在 Nvidia 上支持时间戳。Nvidia GPU 要求列出的支持 GPU 为 RTX 4090、RTX 5090、L40s、H100、A100 和 Jetson-Thor。Nvidia GPU 要求中的操作系统为 Ubuntu 20.04+。

Nvidia GPU 要求中的最低内存为 2.5 GB,large-v3 模型推荐 5 GB。Nvidia GPU 要求中的 CUDA 版本为 11.8 或更高。Nvidia GPU 要求中的驱动版本为 520.0 或更高。

Apple Silicon 要求列出的支持芯片为 M1、M1 Pro、M1 Max、M1 Ultra、M2、M2 Pro、M2 Max、M2 Ultra、M3、M3 Pro、M3 Max、M4、M4 Pro 和 M4 Max。Apple Silicon 要求中的操作系统为 macOS 15.0(Ventura)或更高版本,以及 iOS 18.0 或更高版本。Apple Silicon 要求中的最低内存为 2 GB,large-v3 模型推荐 4 GB。

在质量基准测试中,TheWhisper 使用了多语言基准测试。致谢部分列出 OpenAI Whisper,对应原始 Whisper 模型和预训练检查点。致谢部分列出 Hugging Face Transformers,对应模型、分词器和推理工具。

致谢部分列出 MLX 社区,对应面向 Apple Silicon 的 MLX Whisper 实现。

本站已收录的相关工具。