Clips AIとは何ですか?

Clips AIは、長尺の動画を自動的にクリップへ変換するオープンソースのPythonライブラリです。数行のコードで動画を複数のクリップに分割し、たとえば16:9から9:16へとアスペクト比を変更できます。

ポッドキャスト、インタビュー、スピーチ、説教など、音声が中心で語りの要素が強い動画向けに設計されています。クリップの区切りは動画の文字起こしを分析して決定され、文字起こしにはWhisperXを使用します。WhisperXはWhisperのオープンソースラッパーです。

リサイズでは現在の話者に合わせて映像をリフレームし、話者分離にPyannoteを使用します。これにはHugging Faceのアクセストークンが必要です。ライブラリはpipでインストールし、ffmpegとlibmagicが必要です。ドキュメントとデモはウェブサイトにあります。

よくある質問

Clips AIはオープンソースで、無料で使用できます。

最新の情報によると、残念ながらこのツールには現在生涯契約がないようです。