前回の更新では、GoogleのAI Geiminiを使い、動画生成AI Flowで生成した次の動画を紹介しました。
Flowがハルシネーションを起こしてくれたことで出会えた女の子、「トコちゃん」の日常を切り取ったショート動画です。この動画は、8秒間程度のクリップが2つでできています。
私がプロンプトに書いたわけでもないのに、トコちゃんの友達が画面に登場し、仲良くする雰囲気が自然で、良い動画になったと思いました。
そこで、昨日、この続きの動画を生成しました。すると、思わぬ展開が待っていました。
動画生成においても、AIはハルシネーションを起こします。そのことでトコちゃんに出会えたわけですが、ほかの生成AIに比べ、動画生成AIのハルシネーションが、一番扱いにくいのではないかと思います。
上の動画では、元は3人いた女の子の、2人だけを画面に収める構図に変わりました。そのあと、カメラを、もう1人いる女の子に向けると、初めに写っていた女の子から別の女の子に変わるようなことはよく起こります。
昨日、追加したクリップも、そのハルシネーションが起きました。そして、それまでの和やかな雰囲気がなくなり、とげとげしい感じになりました。
理由は、私がプロンプトで、入力ミスをしたことです。
私は、2クリップ目までの和やかな雰囲気を保ったまま追加のクリップを生成してもらおうと思い、「このままのシチュエーションで」と書くつもりが、「シチュエーション」を「死守エーション」と誤って入力し、その間違いに気づかずに、生成のためのボタンをクリックしてしました。
間違いに気づいたのは、生成が始まってからです。
「死守エーション」などという言葉はありません。しかし、それを英語に訳してみると、”Defend at all costs”となり、意味は「何としても防衛せよ」であることがわかりました。
この誤ったプロンプトでできたその後の展開を下に埋め込みます。
ちょっとした行き違いで、手前の女の子と左の女の子の間に、嫌な雰囲気が漂っています。奥のトコちゃんも、ちょっと驚いた感じで写っていますね。
そこで、気分を入れ直し、2クリップ目に追加するクリップをもう一度生成し直しました。その結果できたのが次の動画です。
ここでも、動画生成AIのハルシネーションが起きています。楽しそうな雰囲気がそのままなのはいいのですが、今度は、同世代の女の子が二人に入れ替わっています。
新たに加わった二人は、正面から陽を浴びて、顔が明るくなっています。
このような経過を経たあと、今朝、今度は、気まずい雰囲気になった3クリップの続きを生成してみました。気まずい雰囲気を解消するよう、プロンプトに書きました。
また、彼女たちに日本語で会話してくれるよう、プロンプトでそのあたりも注意しました。
それによってできたのが次の動画です。
手前の女の子と左の女の子に生じた気持ちの行き違いはすぐに解消され、仲良さそうに笑ってくれたので、生成するこちらとしてもホッとした気分です。
しかし、肝心のトコちゃんの姿が、そのクリップには写っていません。トコちゃんの反応も見たかったので、そのあたりは残念です。
日本語で会話してくれるようになるなど、動画生成AIとの付き合い方が、だいぶ飲み込めてきたように感じます。
クリップを大量に使って、長い動画を作るのなら、使いこなすのに、知恵と気力、知識が必要です。しかし、私のように、日常の一コマを切り取ったような短い動画であれば、何とか使いこなせそうに感じてきました。
トコちゃんたちの様子を、音楽生成AIのSunoに音楽にしてもらいました。よかったら聴いてください。