ショート動画を作ってみたくなった
動画を1本作るのって、未経験者からするとかなり大変です。
企画を考えて、台本を書いて、絵を用意して、ナレーションを録って、動画にして、テロップを乗せて、書き出して、投稿文を書く。ひとつひとつは大したことなくても、全部通しでやることを考えると、困難な道のりであることに間違いはありません。しかも1本作って終わりというわけにはいかず、作り続けなければいけません。
だったら、人間がやらなくていい工程は全部AIに投げてしまえばいいのでは。そう思って、企画から公開直前まで一気通貫で自動化する仕組みを組んでみました。
実際にこの仕組みで「まよなか映写室」というショートチャンネルを回しています。寝る前にぼーっと眺める、実在しない光景や遠い昔の話を、映像と静かな語りで見せる教養ショートです。もう何本か公開できたので、その裏側を正直に書いていきます。
チャンネルは下記です。興味があれば覗いてみてください。
まず、これで作った実物を見てほしい
先に現物を出します。全部この仕組みで作ったものです。
ガラスの雨が降る星 — 横殴りのガラスの雨が降る系外惑星HD 189733bの話
砂に消えた王国 楼蘭 — シルクロードに消えた幻の都市の話
月に、二度と帰れぬ故郷を見た人がいた — 唐で客死した阿倍仲麻呂と、百人一首の一首
どれも、私が絵を描いたわけでもナレーションを吹き込んだわけでもありません。テーマを決めて台本にGOを出したら、あとは仕組みが勝手に作ってくれます。
自動生成パイプラインの全体像
「自動化」と言っても、ボタンひとつでポンと動画が出てくる魔法ではありません。将来的にはそこを目指したいのですが、今は試行錯誤しつつ半自動化まで達成できました。工程をきっちり分けて、それぞれをAIに担当させています。ざっくりこんな流れです。
- 企画 — テーマと「この動画で何を見せるか」を1枚のメモに落とす
- 台本 — ナレーション原稿と、各カットで映すべき絵の指示を構造化して書く
- 画像生成 — 台本の指示どおりに、各カットの静止画をAIで生成する
- QC（品質チェック） — 動画化する前に、生成した絵が台本の意図と合ってるか関門を設ける
- 動画化 — 静止画を動かして、ナレーションと環境音を合わせて1本のMP4にする
- 投稿メタ生成 — タイトル案・概要欄・タグまで自動で用意する
ポイントは4番のQC関門です。あとで書きますが、動画にする工程が一番お金を食うので、その手前で「この絵で本当に進めていいか」を必ずチェックするようにしています。ダメな絵のまま先に進むと、そのままお金を捨てることになるからです。
各工程の成果物はファイルとして残るので、途中でコケても、コケた工程だけやり直せます。「やっぱりこの部分気に入らないからやり直して」っていう指示が最小限のコストで実現できます。
大変だったところ
ここまで来るのに、実際は罠だらけでした。特にキツかったやつを3つ紹介します。
AIはお手本のない画を作るのが苦手
画像生成で一番苦戦した作品は「ガラスの雨が降る星」です。結晶とか氷柱みたいな「物体」はきれいに出るのに、「横殴りのガラスの雨」みたいな現象が、どうやっても描けない。何度生成し直しても、ただの雨が縦に降ったり、窓ガラスのかたまりになったりします。
情景を詳細に文章で表現してみるのですが、どうしても思った通りに画像が作れない。存在しない映像を作って皆さんにお見せするというコンセプトなのですが、この課題は致命的だと思っています。
まずはコストの安い画像生成を回して納得のいく画像を作り、そのあとその画像をもとに映像化、という流れにすることで、数打ちゃ当たる戦法をとっています。
正直、「ガラスの雨が降る星」の映像はまだクオリティを上げられると感じているので、いつかリベンジしたいと思っています。
ナレーションの制御が難しい
ナレーションもAI音声を使っています。最初はElevenlabsというサービスを利用していました。今はGeminiのTTSに切り替えを検討中です。
初めて聞いたときは感動しました。ここまで自然に読み上げられることに感動し、これならナレーションは心配ないなと思っていました。…初めのうちは。
動画を作り始めてみると、いくつか綻びが見えてきました。大きく以下の3つです。
- 漢字の読み間違えがある
- イントネーションが変
- 間が不自然
漢字の読み間違えは台本をひらがなにすればいいので、そこまで問題ではありません。問題は2つ目と3つ目です。イントネーションや間をこちらで修正することができないため、句読点やスペースを入れて試行錯誤するのですが、なかなか思った通りになってくれません。
結局は何度も試行錯誤するという力業でしか解決できていません。
GeminiのTTSは比較的上記の課題が気にならなかったので切り替えを検討している次第です。
一番の敵は「二重課金」
動画化はAPIの従量課金なので、同じ工程をうっかり2回走らせると、単純にお金が倍かかります。だから、一度作ったものには署名（ハッシュ）を付けて、内容が変わってなければ作り直さないようにしました。
設定をいじったときも、影響が及ぶ工程だけがやり直される。お金がかかる動画生成のところだけは、とにかく不用意に触らないよう気をつけています。
その他に、知らないうちにコストが発生していたという事態を避けるために、コストが発生する処理を行う場合は必ず事前承認を得ることと、かかったコストを報告するというルールを組んでいます。AIによる自動化において自由化はある程度必要だと思いますが、最低限締めるべきところは締めてあげることも必要だと感じています。
結局いくらかかったのか
気になる人もいると思うので、公開した3本の実費も出しておきます。
| 動画タイトル | ざっくりコスト |
|---|---|
| ガラスの雨が降る星 | 約5$ |
| 砂に消えた王国 楼蘭 | 約2$ |
| 月に、二度と帰れぬ故郷を見た人がいた | 約1$ |
| 3本合計 | 約9$ |
1本あたり、だいたいコーヒー1杯～ランチ1回分くらい。かかっているお金のほとんどは動画生成のAPI利用料で、あとは静止画とナレーションが少し乗るくらいです。AIで動画を作ると聞くとお金がドバドバ溶けそうなイメージがありますが、実際はこの程度でした。
映像を作り直すことになるとコストがかさんでしまうので、そこは慎重にしています。
まとめ
やってみて思ったのは、「全自動」といっても賢いAIを1個ドンと置けば済む話じゃないな、ということでした。工程を細かく分けて、それぞれ得意なところに振って、ダメなものは早めに捨てる。やってることは、人間がふつうに仕事を回すのとそんなに変わりません。
あと単純に、自分は絵も描けないしナレーションも録れないのに、寝る前に眺めたくなる動画が形になって出てくるのがおもしろくて。自分が見たい映像を作るというモチベーションで、しばらくは続けようと思います。
このパイプラインで作った動画は「まよなか映写室」で上映中
改めてですが、チャンネルの宣伝です。
「まよなか映写室」は実在しない光景や、遠い昔の話を、静かな語りで見せるショートチャンネルです。おやすみ前のひとときにどうぞ。
それとは別に、メインチャンネルもこれから動かしていく予定です。個人開発やAI活用の作業ログを、まよなか映写室よりもう少し素のまま置いていくつもりの場所です。正直まだ空っぽなんですが、気の長い方はこちらから先に登録しておいてもらえると、1本目からお届けできます。個人開発の作業ログはこちらの記事でも文章で書いています。
文字だけだと伝わりづらいものなどは、こちらのチャンネルに投稿していきたいと思っています。
動画化したいアイデアはいくつかあるのですが、まだ作業が追い付いていない状況です。とりあえず1本公開することを目標にします。
また自動動画パイプラインを更新した際などは記事を投稿しようと思いますので、興味がある人は良ければチェックしてください。
ではまた。
