SadTalkerの使い方と魅力、画像と音声からアニメーションを作ろう!

人工知能
この記事は約23分で読めます。

ーーーーーーーーーーーーーーーーーーーーー2026年8月11日執筆ーーーーーーーーーーーーーーーーー

  1. SadTalkerのPodcast
  2. はじめに:SadTalkerとは何か?1枚の画像と音声から生まれるAI動画革命
  3. SadTalkerの先進的な技術メカニズムと主要な魅力
    1. 3D運動係数(3D Motion Coefficients)によるリアルな動作合成
    2. Apache 2.0ライセンスへの変更と自由度の高さ
    3. 画質向上技術(GFPGAN)とのシームレスな統合
  4. 初心者向け:SadTalkerを実行する4つの環境と選び方
    1. Hugging Face Spaces(即座に試せるWeb版)
    2. Google Colab(クラウドGPU利用版)
    3. Stable Diffusion WebUI 拡張機能(sd-webui-sadtalker)
    4. ローカル環境構築(GitHubからの直接インストール)
  5. 完全ステップ・バイ・ステップ:音声と画像から動画を作る手順
    1. ステップ1:元となる「静止画像」を用意する
    2. ステップ2:喋らせたい「音声ファイル」を用意する
    3. ステップ3:SadTalkerに素材をアップロードして設定する
    4. ステップ4:動画の生成と保存
  6. 理想通りの動きを作る!主要設定パラメーター徹底解説
    1. 前処理モード(Preprocess Method)
    2. スティルモード(Still Mode)
    3. 顔画質補正(GFPGAN Face Enhancer)
    4. ポーズスタイル(Pose Style)とモデル解像度(256 / 512)
  7. 商用AIアバターサービス(D-ID・HeyGenなど)との徹底比較
  8. ローカルPCおよびGoogle Colab環境の詳細な構築手順
    1. Google Colabでの実行手順(約5分で完了)
    2. ローカルPC(Windows / Linux)での環境構築手順
  9. おわりに:SadTalkerがもたらすAI動画制作の未来
  10. 参考資料
  11. はじめに
  12. SadTalker とは?
  13. SadTalker の使い方
    1. 静止画の用意
    2. 音声データの用意
    3. 口パク動画の作成
  14. SadTalker の評判
  15. SadTalker を使った感想
  16. おわりに

SadTalkerのPodcast

下記のPodcastは、Geminiで作成しました。

はじめに:SadTalkerとは何か?1枚の画像と音声から生まれるAI動画革命

SadTalker(サッドトーカー)は、たった1枚の静止画(人物やキャラクターの顔写真・イラスト)と、1つの音声ファイル(喋り声のオーディオ)を入力するだけで、音声の動きに完璧に同期したリップシンク(口パク)と、自然な首の揺れや目瞬きを伴う高品質なトーキングヘッド(喋る顔動画)を自動生成するオープンソースのAIアニメーション技術です

本技術は、西安交通大学、Tencent AI Lab、およびAnt Groupの共同研究チーム(Wenxuan Zhang氏、Xiaodong Cun氏、Xuan Wang氏、Yong Zhang氏、Xi Shen氏、Yu Guo氏、Ying Shan氏、Fei Wang氏)によって開発され、AI・コンピュータビジョン分野における世界最高峰の国際会議である「CVPR 2023」にて発表されました。従来のアニメーション生成手法では、顔のパーツを2次元的に変形・歪小化させる方式が主流であり、頭部が傾いた際の立体的な不整合や、表情の不自然さが大きな課題となっていました。SadTalkerは音声信号から3次元の運動係数(3D Motion Coefficients)を学習・抽出することで、頭部の立体的な回転や感情豊かな表情の変化を物理的に矛盾なく合成することに成功しています

なお、SadTalkerのコア開発プロジェクトは、2023年6月に公開されたバージョンv0.0.2-rc(512x512解像度モデルの追加やsafetensors形式への対応など)をもって、主要な機能拡張およびリポジトリの新規コミットがすでに完了しています。現在は開発完了・保守アーカイブ状態に移行していますが、その完成度の高さと扱いやすさから、現在でもオープンソースの動画生成エコシステムにおける金字塔として、世界中のクリエイターや研究者に広く活用され続けています

【SadTalkerの基本生成フロー】

  • 概要説明: 静止画像1枚と音声ファイルがSadTalker内部の3D顔モデル変換プロセスを経て、自然に喋るアニメーション動画へと変換される全体フローを表現したイメージ図です。

SadTalkerの先進的な技術メカニズムと主要な魅力

SadTalkerが従来のリップシンクツールと一線を画す最大の特徴は、単に音に合わせて口を開閉させるだけでなく、「頭部全体の立体的な動作」と「感情豊かな表情」を同時に生成できる点にあります

3D運動係数(3D Motion Coefficients)によるリアルな動作合成

SadTalkerの内部アルゴリズムは、主に「ExpNet(表情学習ネットワーク)」と「PoseVAE(頭部姿勢合成ネットワーク)」の2つの強力なAIモデルによって構成されています

  • ExpNet(表情ネットワーク): 音声に含まれる音素(発音の最小単位)や声のトーンを解析し、口の形や感情表現(微笑みや驚きなど)を3D空間上の表情係数として予測します。
  • PoseVAE(姿勢バリエーションネットワーク): 音声のディープな特徴から、喋っている人の自然な頭の揺れ、首の傾き、視線の移動などの変位を確率的に生成します。これにより、あらかじめ用意されたモーションデータに頼ることなく、まるで実際にカメラの前で人物が喋っているかのような生命感があふれる動画が完成します。

また、顔ランドマーク検出には98点の高精度なランドマーク(AWing Architecture)が採用されており、顔の輪郭や目元の動きを精密に追跡します

Apache 2.0ライセンスへの変更と自由度の高さ

SadTalkerは公開初期、非商用利用に限られたライセンスで提供されていましたが、その後のアップデートにより商用利用も可能な「Apache 2.0」ライセンスへと変更されました。適切な著作権表示や免責事項の遵守を行えば、個人利用にとどまらず、YouTube動画の案内役アバター、WebサイトのPR動画、教育コンテンツなど商業的な用途にも自由に応用できる点が大きな魅力です

画質向上技術(GFPGAN)とのシームレスな統合

初期の顔生成AIでは、出力動画の顔パーツがぼやけてしまう傾向がありました。SadTalkerでは、顔画像修復AIである「GFPGAN」や「Facexlib」を統合オプションとして備えています。この画質向上(Enhancer)機能を有効にすることで、解像度の低い画像やイラストであっても、瞳の輝きや皮膚の質感、髪の毛の細部まで鮮明に補正された高品質な動画が出力されます

項目詳細スペック・仕様
入力素材静止画像1枚(PNG/JPG)+ 音声ファイル1つ(WAV/MP3)
出力フォーマットMP4, AVI, GIF(フレームレート 25-30 FPS)
出力解像度256×256 px / 512×512 px(モデル選択可能)
コアアーキテクチャExpNet(表情)+ PoseVAE(頭部姿勢)+ 3DMM抽出
画質補正オプションGFPGAN, Facexlib, Real-ESRGAN対応
オープンソースライセンスApache 2.0(商用利用可能)
開発ステータスコア機能開発完了(v0.0.2-rc アーカイブ状態)

初心者向け:SadTalkerを実行する4つの環境と選び方

SadTalkerを利用する方法には、難易度や用途に応じた複数の選択肢が存在します。プログラミング知識がない初心者から、自分のPCでローカル構築したい上級者まで、自分に合った最適な環境を選ぶことができます

Hugging Face Spaces(即座に試せるWeb版)

Hugging Face上で公開されているプラットフォームを利用する方法です。環境構築が一切不要で、Webブラウザ上から画像と音声をアップロードするだけで即座に動画が生成できます。まずはSadTalkerの挙動を試してみたい初心者に最適です

Google Colab(クラウドGPU利用版)

Googleが提供するクラウド型のPython実行環境「Google Colab」を利用する方法です。高性能なGPUを無料または低額で利用できるため、手元のPCに高価なグラフィックボードが搭載されていなくても、数分程度でセットアップを完了して動画生成が行えます

Stable Diffusion WebUI 拡張機能(sd-webui-sadtalker)

画像生成AIプラットフォームである「AUTOMATIC1111(Stable Diffusion WebUI)」の拡張機能として導入する方法です。生成した美少女イラストやキャラクター画像をそのまま別のタブに引き継ぎ、シームレスに喋らせることができます

ローカル環境構築(GitHubからの直接インストール)

自分のPC(Windows/Linux/macOS)にPython環境を構築し、SadTalkerを直接インストールする方法です。生成時間の制限やクラウドの待ち時間がなく、プライバシーを完全に保ったままオフラインで無限に動画を生成できます。ただし、NVIDIA製の高性能グラフィックボード(RTXシリーズ等)が必要となります

利用環境難易度必要スペック・費用メリットデメリット
Hugging Face★☆☆☆☆不要(完全無料)インストール不要、即座に体験可能混雑時に生成待ちが発生する
Google Colab★★☆☆☆不要(クラウドGPU利用)PCスペック不問、設定が容易セッション切断時に再設定が必要
WebUI拡張機能★★★☆☆NVIDIA GPU(VRAM 8GB〜)画像生成から動画化まで一貫操作WebUI自体の構築が必要
ローカルPC★★★★☆NVIDIA GPU(VRAM 12GB推奨)生成スピード最速、制限なし環境構築のハードルが高い

【SadTalkerの主要な利用環境】

  • 概要説明: 初心者向けのWebプラットフォームから上級者向けのローカルPC構築まで、SadTalkerを実行できる4つの利用環境の比較イメージです。

完全ステップ・バイ・ステップ:音声と画像から動画を作る手順

それでは、実際の画像と音声を用意して、SadTalkerでトーキングヘッド動画を作成する具体的な手順を分かりやすく解説していきます

ステップ1:元となる「静止画像」を用意する

動画の主人公となる人物やキャラクターの画像を用意します

  • 最適な画像の条件: 正面を向いており、目や口が髪の毛や手で隠れていない鮮明な画像がベストです。顔の角度が正面に近いほど、3Dメッシュの適用精度が高まります。
  • 画像の作成方法: 自分の写真のほか、MidjourneyやStable Diffusion、Leonardo.AI、DreamStudioなどの画像生成AIを活用して作成したオリジナルキャラクター画像も非常に相性が良くおすすめです。解像度は512×512ピクセルの正方形に整えておくと処理が安定します。

ステップ2:喋らせたい「音声ファイル」を用意する

キャラクターに喋らせる音声を用意します。対応フォーマットはWAVやMP3など一般的な音声ファイルです

  • 音声の作成方法: 自分の声をマイクで録音したファイルのほか、日本語音声合成ツールを活用すると非常にクオリティの高い動画が作れます。例えば、WEB上で利用できる「音読さん(Ondoku-san)」や「VOICEVOX」「Edge-TTS」などを利用すれば、テキストを入力するだけで自然なアクセントの日本語音声ファイルを数秒でダウンロードできます。

ステップ3:SadTalkerに素材をアップロードして設定する

利用するWeb画面またはローカルWebUIを開き、素材を設定します

  1. Source Image の欄に用意した画像をドラッグ&ドロップしてアップロードします。
  2. Driven Audio の欄に用意した音声ファイルをアップロードします。
  3. 目的の動画表現に合わせて、後述する前処理(Preprocess)や画質補正(Enhancer)の設定を選択します。

ステップ4:動画の生成と保存

設定が完了したら「Generate」ボタンをクリックします。AIによる音声解析と3Dフレーム合成が開始され、数十秒から数分程度でプレビュー画面に完成動画が表示されます。表示された動画は右クリックメニューからMP4ファイルとしてダウンロード保存できます

【入力素材と設定画面のイメージ】

  • 概要説明: 画像と音声のアップロードから、主要設定項目の切り替え、動画プレビュー出力までの流れを示した直感的な操作画面のイメージ図です。

理想通りの動きを作る!主要設定パラメーター徹底解説

SadTalkerには、生成される動画の見た目や首の動きの大きさをコントロールするための重要な設定パラメーターが用意されています。これらのパラメータの役割を理解しておくことで、失敗を防ぎ思い通りのアニメーションを作ることができます

前処理モード(Preprocess Method)

入力画像をAIがどのように切り取って処理するかを決める最も重要な設定です

  • crop(クロップ・デフォルト): 画像から顔領域のみを自動検出して拡大・切り抜きを行い、顔の動きを中心に動画化します。リップシンクと表情の変化が最も精密に表現されます。
  • resize(リサイズ): 画像全体を指定のサイズに縮小・変形させて画面全体を動かします。
  • full(フルサイズ): 背景や服装を含む元画像全体の構図を維持したまま、顔部分のみをレンダリングして元画像に自然に合成し直します。
  • extcrop / extfull(拡張モード): バージョンv0.0.2にて追加された設定で、従来のcropやfullよりも顔周りの切り抜き範囲を広く取ることで、首や肩の連動した動きをより自然に再現します。

スティルモード(Still Mode)

--still オプションを有効にすると、頭部や体の余計な揺れ・首の大きな回転を抑え、顔のリップシンクと目瞬きを中心とした静かな動作に固定できます。全身画像やバストアップ画像で full モードを使用する際、体が不自然に引き伸ばされたり歪んだりするのを防ぐために非常に有効な設定です

顔画質補正(GFPGAN Face Enhancer)

--enhancer gfpgan オプションを有効にすると、出力される各フレームの顔部分に対して画質修復AIが適用されます。元画像がやや低解像度であっても、目元の輪郭や皮膚の質感が劇的にくっきりと美しく整えられます。処理時間がわずかに増加しますが、高品質な動画を作りたい場合には常時有効にすることが推奨されます

ポーズスタイル(Pose Style)とモデル解像度(256 / 512)

ポーズスタイルの数値を変更することで、頭部の振りの大きさや表現の激しさを調整できます。また、モデルサイズで 512 を選択することで、従来の256モデルよりも高精細な顔の表情レンダリングが可能になります

商用AIアバターサービス(D-ID・HeyGenなど)との徹底比較

現在、AIを活用したトーキングヘッド生成ツールとしては、D-ID(Creative Reality™ Studio)やHeyGen、Synthesiaなどのクラウド型商用サービスも高い人気を集めています。SadTalkerとこれらの商用ツールとの違いを比較分析しました

商用SaaSサービスは、ブラウザを開くだけで極めて高品質な動画が得られる反面、月額数百円〜数万円のサブスクリプション契約が必要であり、生成できる動画の長さ(分量)に厳密な上限クレジットが設けられています

一方、SadTalkerはオープンソース(Apache 2.0)であるため、自前の環境を構築すれば完全無料かつ無制限に動画を生成し続けることができる点が最大のアドバンテージです。また、クラウドサービスへ個人の顔写真や秘密の音声データをアップロードする必要がないため、企業秘密やプライバシーの保護という観点からもローカル動作可能なSadTalkerは極めて優れた選択肢となります

比較項目SadTalker(オープンソース)商用SaaS(D-ID / HeyGen等)
利用費用完全無料(オープンソース・Apache 2.0)有料サブスクリプション(月額制・クレジット制)
生成量の制限無制限(自身のPCやクラウド環境に依存)月間数分〜数十分程度の厳しい制限あり
プライバシー・セキュリティ完全ローカル/オフライン実行可能[cite: 3, 5, 7]クラウドサーバーへデータ送信が必須
クオリティ・安定性高品質(GFPGAN補正対応)。設定により調整可非常にリアルで破綻が極めて少ない
拡張性ワークフロー(ComfyUI / WebUI)へ組み込み可API提供のみ(カスタマイズ性は限定的)

ローカルPCおよびGoogle Colab環境の詳細な構築手順

自分で自由にSadTalkerを動かしたい方のために、Google ColabおよびローカルPC環境でのセットアップ手順を解説します

Google Colabでの実行手順(約5分で完了)

  1. 公式またはコミュニティが提供しているSadTalker用のColabノートブックを開きます。
  2. メニューの「ランタイム」→「ランタイムのタイプを変更」から「GPU(T4等)」を選択して保存します。
  3. 最初のコードセル(Git cloneおよび依存ライブラリのインストール)を実行します。
  4. モデルの自動ダウンロードセルを実行し、学習済みチェックポイント(safetensorsmapping モデル)を取得します。
  5. 画像と音声のパスを指定するか、Gradio WebUI起動セルを実行して生成を行います。

ローカルPC(Windows / Linux)での環境構築手順

ローカルPC環境では、依存関係の衝突を防ぐためにPython 3.10環境を作成することが強く推奨されます

  1. リポジトリのクローン: Terminalまたはコマンドプロンプトを開き、GitHubからリポジトリをダウンロードします。 git clone https://github.com/OpenTalker/SadTalker.git cd SadTalker
  2. Python仮想環境の作成とアクティベート: Condaを使用する場合の手順です。 conda create -n sadtalker python=3.10 conda activate sadtalker
  3. 依存ライブラリとPyTorchのインストール: CUDA(NVIDIA GPU)に対応したPyTorchと関連パッケージをインストールします。FFmpegがシステムにインストールされていることも確認してください。 pip install torch2.0.1 torchvision0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118 pip install -r requirements.txt
  4. 学習済みモデル(Checkpoints)のダウンロード: 付属のスクリプト bash scripts/download_models.sh を実行するか、リリースピージから必要モデル(SadTalker_V0.0.2_512.safetensors や mapping モデル)をダウンロードして checkpoints フォルダへ配置します。
  5. WebUIの起動: python app.py起動後、ブラウザで http://127.0.0.1:7860 にアクセスすると、ローカルWebUI画面が開きます。

トラブルシューティングとして、'ffmpeg' はコマンドとして認識されていません と表示される場合は、システム環境変数(PATH)にFFmpegの実行ファイルパスが正しく通っているか確認してください。また、GPUのVRAM不足(Out of Memory)が発生した場合は、生成サイズを256に下げるか、バッチサイズを1に変更することで解消できます

【ローカルおよびクラウド環境のビルド構造】

  • 概要説明: SadTalkerをローカルPCやGoogle Colab上で正常に稼働させるために必要なシステム構成要件と内部ライブラリの全体像です。

おわりに:SadTalkerがもたらすAI動画制作の未来

SadTalkerは、たった1枚の静止画と1つの音声ファイルから、命が吹き込まれたかのようなリアリティあふれる喋る顔動画を作り出せる画期的なAIツールです

CVPR 2023で発表された本技術は、3D運動係数を音声から直接予測するという革新的なアプローチによって、従来の2D変形ツールでは成し得なかった立体感と表情豊かさを実現しました。プロジェクト自体のコア開発はすでに終了していますが、Apache 2.0ライセンスのもと完全無料で公開されており、現在でも誰でも手軽に利用することができます

YouTube動画の案内役アバターの制作、SNSでのバーチャルインフルエンサー運用、教育用プレゼンテーションの作成など、その活用可能性は無限に広がっています。まずは完全無料で試せるHugging Face SpacesやGoogle Colabを利用して、自分だけのAIアバターが生き生きと喋り出す驚きをぜひ体験してみてください

参考資料

  1. SadTalker AIアバター作成解説 (IT Net Web Lab)、https://www.itq.co.jp/lab/ai/sadtalker-windows-make-avatar/
  2. 【SadTalker】1枚の顔写真と音声データだけでしゃべっている動画を作成 (Touch-SP)、https://touch-sp.hatenablog.com/entry/2023/04/14/134644
  3. OpenTalker/SadTalker 公式GitHubリポジトリ、https://github.com/OpenTalker/SadTalker
  4. SadTalker WebUIインストール解説 (note)、https://note.com/eruthiana/n/n99babce156ba
  5. SadTalker Google Colab/HuggingFace解説 (note)、https://note.com/manabibashi/n/n2ffd663fb510
  6. SadTalker Hugging Face Space Collection、https://huggingface.co/collections/prossvet/sadtalker-a-hugging-face-space-by-vinthony
  7. SadTalker 概要と動作環境 (Web Big Data)、https://webbigdata.jp/post-18309/
  8. SadTalker Google Colab Notebook (InsightSolver)、https://colab.research.google.com/github/R3gm/InsightSolver-Colab/blob/main/SadTalker.ipynb
  9. Reproducible SadTalker Pipeline in Google Colab (DZone)、https://dzone.com/articles/reproducible-sadtalker-pipeline-google-colab
  10. SadTalker AI Official Feature Guide、https://sadtalker.ai/
  11. How to Install SadTalker (SadTalker AI)、https://sadtalker.ai/install
  12. SadTalker vs D-ID Cost Comparison Video、https://www.youtube.com/watch?v=K1kFnk055J8
  13. SadTalker Features and WebUI Extension Documentation、https://codesandbox.io/p/github/l269438/SadTalker
  14. SadTalkerの使い方と魅力(オリジナル記事)、https://yanai-ke.com/sadtalker/
  15. SadTalker Open Source Alternative Guide (Olud AI)、https://olud.ai/alt/sadtalker.html
  16. OpenTalker/SadTalker GitHub Activity Log、https://github.com/OpenTalker/SadTalker/activity
  17. SadTalker Release Notes v0.0.2 rc、https://github.com/OpenTalker/SadTalker/releases
  18. Lip Syncing Deepfake Tools Workflow (TechShinobi)、https://techshinobi.org/posts/lipsync/

ーーーーーーーーーーーーーーーーーーーーー2023年5月13日執筆ーーーーーーーーーーーーーーーーー

はじめに

 皆さんは、SadTalkerを知っていますか?

 SadTalker は、前に紹介した「Creative Reality™ Studio」と同様なことができるツールで、好きな画像やイラストと喋らせたい音声をアップロードするだけで、AIがその画像にアニメーションを付けて動かしながら喋る動画を作成してくれるサービスです。

 ということで、今回は、このSadTalkerについてもう少し深堀して紹介しようと思います。

 この記事を読むと次の疑問について知ることができます。

  • SadTalker とは?
  • SadTalker の使い方
    1. 静止画の用意
    2. 音声データの用意
    3. 口パク動画の作成
  • SadTalker の評判
  • SadTalker を使った感想

SadTalker とは?

 SadTalkerは、音声に合わせて口を動かすアニメーションを作成する機能拡張で、CVPR 2023で発表予定の最新のAI技術で、Docker、Colab、Hagging FaceのSpacesなど様々な形で動かすことができます。

 開発者はWenxuan Zhang、Xiaodong Cun、Xuan Wang、Yong Zhang、Xi Shen、Yu Guo、Ying Shan、Fei Wangの8人で、いずれも中国の Xi'an Jiaotong University 、Tencent AI Lab、Ant Groupの方々です。

 次のサイトに詳細が載っています。

 SadTalkerの特徴を箇条書きで以下に載せます。

  • 一枚絵や画像から任意の音声に合わせて口パクする動画を生成することができるAI技術。
  • SadTalkerは、3Dモーション係数を学習することで、自然な頭の動きや表情を再現可能。
  • GitHubで公開されており、Docker、Colab、Hagging FaceのSpacesなど様々な形で動かすことが可能。
  • オープンソース(MITライセンス)であり、商用利用OKですが、著作権者のクレジットを明記する必要があります。

SadTalker の使い方

 SadTalkerは、先に述べたように色々な方法で利用が可能ですが、パソコンにインストールする場合は、パソコンのスペックが高性能の物(Nvidiaのグラフィックボード)が必要になったり、Google Colabで利用するとなると、無料では利用できなかったりと、少し敷居が高いです。

 そこで、SadTalkerを試せるサイトHagging FaceのSpacesがあり、次のサイトを利用することにより初心者でも容易に画像と音声ファイルを用意すれば、口パク動画を作成が可能です。

 上記のサイトのいずれかを利用して、作成する方法を紹介します。

静止画の用意

 静止画は、「DreamStudio」の「Stable Diffusin SDXL Bata」の「3D model」で制作した女性の画像とLeonardo.AIで作成した老人男性の画像(アニメ風)を利用するようにしました。

音声データの用意

 音声データは、音読さんで作成した女性の声(日本語:ななみ)、と男性の声(日本語:たくみ)を利用しました。

 女性の声(ななみ)

 男性の声(たくみ)

口パク動画の作成

 口パク動画の作成の手順は次の通り。

  1. 用意した画像をアップロードする。
  2. 用意した音声データをアップロードする。
  3. 口パク動画作成条件を設定する
    • Crop : 画像の顔部分を切り取り(拡大して)動画を作成
    • resize : 画像をリサイズして動画を作成
    • Full : 画像のフルサイズで動画を作成
    • w/ Still Mode (fewer hand motion, works with preprocess `full`)の右の□にチェック:
      Full の時に動作し、手の動きなどが小さくなる
    • w/ GFPGAN as Face enhancerの左の□にチェック:
      画像の顔のぼやけを修正するでき、動画のクオリティが上がるけど時間はかかるモード。
  4. 「Generasete」ボタンをクリック
  5. 口パク動画が生成される。
    ダウンロードしたければ、動画の上で右クリックして表示されるメニューで「名前を付けで動画を保存…」をクリック。

 下記が女性の口パク動画です。

 そして、こちらが男性の口パク動画です。

SadTalker の評判

 SadTalker につてい、Twitterでのツイートを調べてみました。

 検索ワードは「SadTalker」で検索して、「話題のツイート」から2つほど載せます。

 利用している方も多くいるようですが、日本人の書き込みは見られませんでした。

 しかし、多くの方が動画をアップしており、日本人の方もこれから増えていくことが予想されます。

SadTalker を使った感想

 SadTalkerは、AIを使って静止画と音声データをアップし、音声を合わせて口パク動画を作成できるツールです。

 このツール(サイト)を試して感じたことは、かなり自然にこちらで入力した言葉を話してくれ、本当に違和感なく聞くことができました。

 前に紹介した「Creative Reality™ Studio」と遜色ない出来上がりであり、オープンソースであるために無料で利用できるとあれば、多くの人が利用することは間違いないと思いました。

 今回はHagging FaceのSpacesで利用しましたが、パソコンで利用できるように環境を整え、自分のYouTubeの導入部や終了の部分に喋る動画を入れこんだものを作成したいと思います。

 皆さんも、無料で利用が可能ですので、試しに口パク動画を作成してみてはいかがだろうか?

おわりに

 皆さんいかがだったでしょうか。

 SadTalker とは?、SadTalker の使い方、静止画の用意、音声データの用意、口パク動画の作成、SadTalker の評判、SadTalker を使った感想などについて解説してきました。

 この記事が少しでも皆様のお役に立てればこれほど嬉しいことはありません。

以上です。

 

コメント

  1. 池田忠 より:

    画像ファイルを日本語に翻訳しても翻訳できないので英語のわからない人にはこのアプリは使えません説明だけでなく、、使用するファイルも日本語でできたらいいのに、、と思います

タイトルとURLをコピーしました