EN

whisper.cpp

whisper.cpp 提供 OpenAI Whisper 自动语音识别(ASR)模型的推理。

核验日期

核心信息

以下信息由程序从官方接口读取,不经模型改写。

许可证
MIT
语言
C++
维护方
ggml-org
核验日期

它是什么

whisper.cpp 提供 OpenAI Whisper 自动语音识别(ASR)模型的推理。它是不含依赖的纯 C/C++ 实现。模型的完整高层实现包含在 whisper.h 和 whisper.cpp 中。其余代码属于 ggml 机器学习库。

主要能力

  1. Apple Silicon 被列为一等公民,通过 ARM NEON、Accelerate framework、Metal 和 Core ML 优化。

  2. whisper.cpp 支持面向 x86 架构的 AVX 指令。

  3. whisper.cpp 使用 F16 / F32 混合精度。

  4. 功能列表中包含运行时零内存分配。

  5. whisper.cpp 支持仅用 CPU 的推理。

  6. 功能列表中包含 Vulkan 支持。

怎么上手

  1. 首先克隆仓库。

  2. 然后下载一个已转换为 ggml 格式的 Whisper 模型。

  3. 接着构建 whisper-cli 示例并转录音频文件。

  4. whisper-cli 示例目前仅能运行 16-bit WAV 文件。

  5. 也可以使用 Conan 安装 whisper.cpp 的预编译二进制文件,或从源码构建。

  6. 原始模型被转换为自定义二进制格式。

摘自 README · bash
git clone https://github.com/ggml-org/whisper.cpp.git
摘自 README
cd whisper.cpp
摘自 README · bash
sh ./models/download-ggml-model.sh base.en
摘自 README · bash
# build the project
cmake -B build
cmake --build build -j --config Release

# transcribe an audio file
./build/bin/whisper-cli -f samples/jfk.wav
摘自 README · bash
ffmpeg -i input.mp3 -ar 16000 -ac 1 -c:a pcm_s16le output.wav
摘自 README
conan install --requires="whisper-cpp/[*]" --build=missing

适合谁

功能列表中包含 C 风格 API。功能列表中包含语音活动检测(VAD)。whisper.cpp 支持对 Whisper ggml 模型进行整数量化。

在 Apple Silicon 设备上,编码器推理可以通过 Core ML 在 Apple 神经网络引擎(ANE)上执行。支持的平台包括 Mac OS(Intel 和 Arm)。支持的平台包括 iOS。

支持的平台包括 Android。支持的平台包括 WebAssembly。使用 NVIDIA 显卡时,模型处理通过 cuBLAS 和自定义 CUDA 内核在 GPU 上完成。

使用 AMD GPU 时,处理可以通过 HIP/ROCm 加速。编码器处理可以通过 OpenBLAS 在 CPU 上加速。Ascend NPU 通过 CANN 和 AI 核心提供推理加速。

使用摩尔线程显卡时,模型处理通过 muBLAS 和自定义 MUSA 内核在 GPU 上完成。默认情况下,仓库中的示例使用 miniaudio 库解码音频文件。项目列出的限制是仅支持推理。

来源

本页内容整理自以下官方来源,点击可核对原文。

核验日期 ·

本页由 AI 依据上述官方来源整理,并经自动核对,未经本站实测。 发现错误?告诉我们。