Claude Code Video Vision

Claude Code 插件，通过 ffmpeg 提取帧，并通过多个后端（Gemini API、本地 Whisper 或 OpenAI API）处理音频。

核验日期

核心信息

以下信息由程序从官方接口读取，不经模型改写。

许可证
MIT
语言
TypeScript
维护方
jordanrendric
核验日期

它是什么

Claude Code Video Vision 是一个 Claude Code 插件，通过 ffmpeg 提取帧，并通过多个后端（Gemini API、本地 Whisper 或 OpenAI API）处理音频。Claude 以图像形式接收帧，并接收带时间戳的音频转写。该插件不是解释层，而是感知层。

主要能力

  1. 传入 YouTube 链接后，MCP 服务器使用 yt-dlp 下载视频，并保留来源元数据和字幕作为上下文。

  2. 后端可以在云端 API 与完全本地处理之间选择。

  3. Claude 根据你的问题调整帧率、时间范围和分辨率。

  4. Whisper 模型在首次使用时自动下载。

  5. 斜杠命令 setup-video-vision 带你完成配置。

  6. 在对话中提到视频文件或 YouTube 链接，Claude 会检测到它。

怎么上手

  1. 安装插件的斜杠命令需在 Claude Code 中逐条运行；设置向导的流程涵盖后端选择、本地时的 whisper 配置、帧选项和依赖验证。

  2. Gemini API 后端需要一个免费的 API 密钥。

  3. OpenAI 后端需要来自 OpenAI 的 API 密钥。

  4. Local 后端需要 whisper-cpp（macOS）或等价的运行时，另有模型自动下载；模型下载不替代运行时的安装。

  5. ffmpeg 会被自动检测，安装说明由设置向导提供。

  6. 示例请求“the first second”对应以原始帧率提取 00:00:00 到 00:00:01 的内容。

  7. 示例请求“summarize this 1h lecture”对应低帧率和完整时长。

摘自 README
/plugin marketplace add https://github.com/jordanrendric/claude-video-vision
摘自 README
/plugin install claude-video-vision
摘自 README
/claude-video-vision:setup-video-vision
摘自 README
/watch-video path/to/video.mp4
/watch-video tutorial.mp4 "what language is used in this tutorial?"
/watch-video https://www.youtube.com/watch?v=... "summarize this video"

适合谁

MCP 服务器需要 Node.js 24 或更新版本。yt-dlp 是可选的，仅在处理 YouTube 链接时需要。该插件提供 6 个 MCP 工具。

video_watch 提取帧并处理音频，是主要工具。video_analyze 在提取之前用 ffmpeg 过滤器分析视频结构。video_detail 深入查看特定的已缓存或新提取的片段。

video_info 获取视频元数据而不做处理。video_configure 用于更改设置。video_setup 检查并引导依赖安装。

帧格式可以是 jpeg、png 或 webp。出于向后兼容，jpeg 仍是默认值。png 适用于屏幕录制，其中的文字和清晰的界面边缘应保持无损。

对于 YouTube 链接，当有英文轨道时，手动 YouTube 字幕是转写来源之一。当手动字幕不可用时，YouTube 自动字幕是转写来源之一。当字幕缺失、为空或只覆盖较长视频的一小部分时，已配置的音频后端是转写来源之一。

音频结果用转写来源字段标注出处，因此 Claude 可以把手动字幕视为比自动字幕更强的证据。示例请求“what text is on screen at 1:30?”对应高分辨率和较窄的时间窗口。CI 在 Ubuntu 和 macOS 上运行，使用 Node.js 24 和 26。

该项目采用 MIT 许可证。

来源

本页内容整理自以下官方来源，点击可核对原文。

核验日期 ·

本页由 AI 依据上述官方来源整理，并经自动核对，未经本站实测。 发现错误？告诉我们。