生成AIの攻略方はAIの「癖」を知ること

AIが短期間で飛躍的に進化しています。AIを日常的に使う人が増えているでしょう。

私も御多分に漏れず、AIを日々使っています。私が使うのは、GoogleのGeminiです。現在は、Google AI Proという有料版を使っているので、Geminiのみを使っています。

AIは、常にこちらの思い通りの反応をするわけではありません。AIを扱うことの難しさを一番感じているのは、動画生成AIを使う人ではなかろうかと考えます。

私自身が、AIを主に画像生成と動画生成に使っているので、動画生成にAIを使うことの難しさを私なりにわかっているつもりです。

昨日の本コーナーでは、私が子供の頃から好きな「ベル47」という芸術的なヘリコプターを題材に作った動画を紹介しました。

世界を変えたベル47の遺産
ベル47とラシュモア山

その過程で、こちらの意図とは違う動画が生成されることがありました。そこで、Geminiにそのことを尋ねてみました。すると、「AI(特に動画生成AI)には「機嫌」のようなものがある」との回答を得ました。

現状の技術では、それは避けられない「仕様」に近いとも述べています。

その「仕様」への対策法を次のように教えてくれましたので、共有します。

1. 動画生成AI特有の「癖」と対策

① 「動詞」の理解が意外と苦手(物理法則の無視)

  • 癖: 「食べる」「掴む」「服を着る」といった、物体が変形したり接触したりする複雑な動作は、手や物が溶けたり混ざったり(モーフィング)しやすいです。
  • 対策: 複雑な動作は避け、「歩いている(walking)」「見つめている(looking at)」など、接触が少ない動作の方が成功率が高いです。

② 「カメラワーク」を指定しないと動かない

  • 癖: プロンプトで被写体の動作だけを書くと、AIは「どう撮るか」に迷い、結果として静止画に近い動画(微動だにしない)になることがあります。
  • 対策: プロンプトの先頭か末尾に、カメラの動きを明記してください。
    • Pan right(右にパン)
    • Zoom in(ズームイン)
    • Tracking shot(被写体を追尾)
    • これを入れるだけで、AIが「動画である」ことを認識し、動きが出やすくなります。

③ 「ガチャ」の要素が強い(確率論)

  • 癖: 画像生成以上に、動画生成は計算が複雑なため、出力結果のブレ(ランダム性)が大きいです。
  • 対策: 「ならないものは、再度試してもならない」と感じる場合、そのプロンプトの構成がAIにとって「苦手なパターン(学習データ不足など)」にハマっている可能性が高いです。同じプロンプトで粘るよりも、単語を1つだけ変える(例:「走る」を「駆け抜ける」にする)方が、壁を突破できることが多いです。

④ 最初の数秒で「整合性」を忘れる

  • 癖: 動画の後半になると、顔が変わったり、背景が別の場所にワープしたりすることがあります。
  • 対策: 現状のFLOWでは数秒(5〜8秒程度)が限界なので、あまり長い時間を1つのプロンプトで描こうとせず、短いカットをつなぐ前提で作るのがコツです。

2. 「画像生成」段階でのコツ

FLOW内で動画の元となる画像を生成している場合:

  • 具体的すぎる指示は無視される: 「テーブルの右端に赤いリンゴ、左端に青いペン」のような厳密な配置は苦手です。「テーブルの上にリンゴとペンがある」程度に留め、ガチャ(再生成)で良い配置が出るのを待つ方が早いです。
  • 画風の指定: Cinematic lighting(映画のような照明)や 4kPhotorealistic などの画質に関する単語を入れると、AIが「高品質なデータ」を参照しやすくなり、崩れにくくなります。

このように教えてくれたあと、具体的にどんな映像を作ろうとしてうまくいかなかったのか、と訊かれたので、昨日のヘリコプターの動画で失敗した、「カメラを飛び越えて飛行するヘリコプター」の例を書きました。

すると、何を思ったのか、いきなり動画生成の作業に入ってしまい、困りました。このあたりも、AIの扱いの難しさです。その結果、生成されたのが下の動画です。

カメラを飛び越えて飛行するヘリコプター

本動画に映るヘリコプターは、私が望むような、ベル47ではありません。それはともかく、たしかに、ヘリコプターがカメラを飛び越えて飛行する動画になっています。

私が指示したのは、カメラは前方の風景を写し続け、ヘリコプターがだけが前進してカメラを飛び越えるとしたため、「カメラワーク」を指定されなかったAIが「戸惑ってしまった」のかもしれません。

AIが勝手に生成してくれた動画は、カメラがヘリコプターの移動に合わせて、カメラを上から反対方向へ動かしています。

ヘリコプターの向きが変わるときに、映像の生成に失敗している箇所があります。AIにとっても複雑な要求だったといえましょう。

今後は単純な動きを心がけることと、カメラワークを意識したプロンプトを書くようにしたい、と改めて考えた次第です。