数日前の本コーナーで、私のミューズ、トコちゃんが夢の中で恐竜に遭遇する動画を紹介しました。
今回はその2回目になります。GoogleのAI Geminiを使い、動画生成AI Flowで生成した動画です。
本動画の基となるクリップを生成したのは、1週間前の2日です。生成したときは、夢にするつもりはありませんでした。
春の晴れた日に、トコちゃんが草原で横になっている画像を基に動画にしました。1クリップ目から、動画生成AIがハルシネーションを起こしました。
マスメディアなどは、文章生成時のハルシネーションを問題にしがちです。それが動画の場合は、誰が見てもおかしいと気がつく形のハルシネーションとなります。
そのあたりの違いをGeminiに投げつけ、その相違点について解説してもらいました。
文章生成と動画生成におけるハルシネーションの違い、非常に鋭い着眼点ですね。
AIが「学習データをもとに、もっともらしい答えを予測して出力している」という根本的な仕組みは同じですが、私たちが目にする「ハルシネーション（幻覚）」の現れ方には明確な違いがあります。
一言で言えば、文章生成は「事実や論理の破綻」、動画生成は「物理法則や連続性の破綻」として現れます。
1. 文章生成AIのハルシネーション：事実の捏造
文章生成AIは、「この単語の次には、この単語が来る確率が高い」という言葉の繋がりを予測して文章を組み立てています。そのため、文法的には非常に自然で説得力があるのに、書かれている内容が事実無根であるという現象が起きます。
- 特徴: もっともらしい「嘘」をつく。
- 具体例: カールツァイスの特定のオールドレンズの歴史について質問した際、実在しない型番や、間違った開発者の名前を、さも事実であるかのように自信満々に答える。
2. 動画生成AIのハルシネーション：物理と時間の崩壊
動画AI（画像生成も同様です）は、「ピクセル（画素）の配置」を予測しています。現実の3D空間の構造や、重力などの物理法則を根本から理解しているわけではないため、時間が経過するにつれて辻褄が合わなくなっていきます。
8ミリフィルムなどのカメラで撮影する場合は、レンズの目の前にある物理的な光景がそのまま連続して記録されます。しかし、AIはコマごとに「それっぽい絵」を連続して予測しているだけなので、以下のような不自然さが生じます。
- 特徴: 空間、物体、時間の連続性が保てない（一貫性の欠如）。
- 具体例（形状の崩壊）: 歩いている猫の足が途中で増えたり、人物の手の指が6本になったりする。
- 具体例（連続性の崩壊）: キャラクターが振り向いた瞬間に着ている服の色やデザインが変わってしまったり、手に持っていたマグカップがいつの間にか背景の壁と一体化して溶けてしまったりする。
草原で仰向けになっているトコちゃんは、ヘッドホンで音楽を楽しんでいます。これはこれで絵になると思ったら、二本の手のほかに、もう一本が地面の中から生え、仰向けになったトコちゃんの後頭部を支えていました。
完全なハルシネーションです。
そこで、三本目の手を削除しました。しかし、それそれで、現実的にはおかしいです。短時間であればそのような姿勢をとれますが、長い時間そのままでいるのは難しいです。
それを解消するため、頭の下にバッグがあるようにしようと思いました。しかし、バッグを頭の下に追加することはできませんでした。
それでも、そのクリップを使おうと思いました。頭が草原から浮いていたので、その次のクリップで、トコちゃんの身体が宙に浮くようなクリップを生成してもらうことにしました。
この時点で、トコちゃんが見た夢にしようという考えになりました。
生成されたクリップにはまたしてもハルシネーションが起きました。
今度は、トコちゃんが上半身だけになり、下半身が消えていました。そのあとは、霧の中に消えさせようと思いましたが、結果的には、マジックショーか何かのような煙になってしまい、その中にトコちゃんの身体が消えていきました。
あまり良い出来ではなかったので、しばらく、そのままにしておきました。
今朝、それに手を加え、夢から醒めたトコちゃんのクリップをひとつ追加しました。
このクリップでもハルシネーションが起きました。
トコちゃんが「夢だったのかい？」と独り言をいうのはいいのですが、頼んでもいないクリップがふたつ、中国語か何かのテロップになって表示されました。
ひとつは、漫画の吹き出しが現れ、その中に文字が表示されます。
それを、動画編集ソフトのDavinci Resolve Studioでごまかすのに手間取りました。
動画生成AI時のハルシネーションを想定し、音楽生成AIのSunoに音楽を生成してもらいました。よかったら、聴いてください。