動画をClaudeに見せて解析｜字幕優先でコスト削減

AI TREND

claude-video開発者：動画解析OSS公開

動画のURLまたはローカルファイルと質問を渡すとClaudeが内容を解析するOSS「Claude Video」がGitHubで公開され、+953★/日のペースで急上昇している。字幕・フレーム画像・音声書き起こしをまとめてClaudeに読ませ、質問に答えさせる。

3 の要点を3分で

AIコーディング支援「Claude Code」向けに、動画を解析させるプラグイン「Claude Video」がGitHubで公開され、+953★/日のペースで急上昇している(総4,902★)。動画のURLまたはローカルファイル(.mp4/.movなど)と質問を渡すと、字幕・映像のフレーム画像・音声の書き起こしをまとめてClaudeに読ませ、内容に基づいて質問に答えさせる。

コスト設計が特徴だ。映像コスト(トークン)の主因であるフレーム画像を、動画の長さに応じて自動調整し、類似フレームを自動で間引く重複除去機能を標準搭載する。テキスト処理はまず字幕を優先取得し、字幕がない場合のみ音声書き起こしAI「Whisper」(Groq版またはOpenAI版)を補助的に使う。動画取得には「yt-dlp」、映像処理には「ffmpeg」を用いる。

対応範囲も広く、Claude Code以外にCursor・Copilot・Gemini CLIなど50以上のエージェントで利用でき、YouTubeに加えてLoomやTikTokなど数百サービス、ローカル動画にも対応する。他社コンテンツの構成分析、画面録画からの不具合診断、長尺動画の要約など、人が視聴していた時間を削れる用途が具体的に示されている。

動画をClaudeに見せて解析｜字幕優先でコスト削減の本文内説明図 — 図解: AIエージェント - 動画のURLまたはローカルファイルと質問を渡すとClaude

押さえるポイント

この変化で何が要点か。図解と出典つきで一目で。

動画URLかローカルファイルと質問を渡すだけで内容を解析できる
字幕を優先取得し、無い場合のみWhisperで音声を書き起こす
フレーム数を動画長で自動調整、類似フレームを間引きコスト抑制

5W1Hでサクッと理解

構造化された事実を最初に。誰が何をいつどこでなぜどのように。

誰が: claude-video開発者
何を: 動画解析OSS公開
いつ: 2026年7月頃
どこで: GitHub
なぜ: 動画を解析対象化
どのように: 字幕とフレーム解析

背景

ClaudeはWebページを読んだりスクリプトを実行したりできるが、標準では動画を「見る」ことができない。従来はYouTubeのリンクを渡してもタイトルからの推測や、映像の大半を取りこぼした書き起こしに頼るしかなかった。このツールは動画取得ツール「yt-dlp」と動画処理ツール「ffmpeg」を使い、字幕を優先的に取得しつつ、必要な部分だけ映像を落として場面ごとのフレームを画像として抽出する。字幕がない動画のみ音声書き起こしAI「Whisper」を補助的に使う仕組みになっている。

なぜ今注目なのか

動画という「読めなかった情報源」をAIエージェントの解析対象に変える点が実務的に効く。他社コンテンツの構成分析、画面録画からの不具合診断、長尺動画の要約など、人が見る時間を大幅に削れる用途が具体的に示されている。YouTube以外にLoomやTikTokなど数百サービスに対応し、ローカル動画も扱える汎用性が導入判断の材料になる。

動画という「読めなかった情報源」がエージェントの解析対象になった

GitHub Trendingで+953★/日のペースで急上昇しているOSS「Claude Video」(bradautomates/claude-video、総4,902★)は、動画のURLまたはローカルファイル(.mp4/.movなど)と質問を渡すだけでClaudeに内容を解析させる。字幕(キャプション)、映像のフレーム画像、音声の書き起こしをまとめてClaudeに読ませ、質問に答えさせる仕組みだ。

Give Claude the ability to watch any video. /watch downloads, extracts frames, transcribes, hands it all to Claude.
出典: claude-video (GitHub)

引用にある通り、コマンドで動画をダウンロードし、フレーム(場面ごとの静止画)を抽出し、音声を文字起こしして、そのすべてをClaudeに渡す。従来ClaudeはWebページを読んだりスクリプトを実行したりできたが、標準では動画を「見る」ことができなかった。YouTubeのリンクを渡してもタイトルからの推測や、映像の大半を取りこぼした書き起こしに頼るしかなかった。この空白を埋めるのがClaude Videoである。

字幕優先とフレーム間引きで映像コストをどう抑えるか

映像のコスト(トークン)はフレーム画像が主因だ。Claude Videoはこれを2つの仕組みで抑える。

フレーム数の自動調整: 動画の長さに応じて抽出するフレーム数を自動で調整し、長尺でも画像トークンが膨らみすぎないようにする。
類似フレームの重複除去: 場面がほとんど変わらない似たフレームを自動で間引き、無駄な画像コストを抑える機能を標準搭載する。

テキスト処理も安さを優先する設計で、まず字幕(キャプション)を優先的に取得し、字幕がない動画に限って音声書き起こしAI「Whisper」(GroqまたはOpenAIのAPIを利用)を補助的に使う。動画取得には「yt-dlp」、映像処理には「ffmpeg」という定番ツールを用い、必要な部分だけ映像を落として場面ごとのフレームを画像として抽出する。字幕がある動画なら音声書き起こしのコストが発生しないため、無駄なトークン消費を避けられる。

50以上のエージェント・数百サービスに広がる汎用性

Claude Videoの導入判断で効くのは、対応範囲の広さだ。Claude Code専用ではなく、CursorやCopilot、Gemini CLIなど50以上のエージェントで利用できる。対応する動画サービスもYouTubeに加えてLoomやTikTokなど数百に及び、URLだけでなくローカルの.mp4/.movファイルも扱える。

この汎用性は読者の立場で意味が変わる。動画から情報を抜き出したい実装担当は、他社コンテンツの構成分析、画面録画からの不具合診断、長尺動画の要約など、人が視聴する時間を丸ごと削れる用途をそのまま渡せる。一方、動画要約や書き起こしを単機能で提供してきた既存サービスは、エージェントに組み込める汎用OSSが字幕優先・フレーム重複除去でコストを抑えるため、単機能での差別化余地が狭まる。既にCursorやGemini CLIを日々使っている実装現場なら、作業環境を変えずに動画解析を足せる点が具体的な便益になる。