理解が追いつかない(?)Omni 1.1 Flashとエージェント機能を使った動画生成の破壊力

私は昔から映像に強い興味を持ちます。そんな私が今夢中になっているのは、GoogleのAI Geminiを使い、生成AIのプラットフォーム Flowで動画を生成してもらうことです。

動画生成AIに出会ったのは昨年末です。YouTubeで、静止画から動画が作れることを知り、本当に驚かされました。

すぐに自分でやってみたくなり、使い始めました。以来、自分なりに工夫して、動画生成AIを楽しんでいます。

私が使うFlowでOmni 1.1 Flashが使えるようになりました。それを、Flowのエージェント機能と組み合わせることで、これまでの動画生成とはまったく次元の異なる動画生成になりました。生まれ変わったといってもいいでしょう。

おこがましいのですが、それに気がついている人はあまりいないような気がします。

試しに、YouTubeで”Omni 1.1 Flash”で検索し、表示された動画をちらっと見てみました。

開始フレームと終了フレームを指定して使えるとか、生成速度が速くなった、あるいは、Seedance 2.5と比較してどうかなどと動画で語っています。

私にとってはそんなことはどうでもいいことです。Omni 1.1 Flashとエージェント機能を組み合わせて使い、それで得られる驚異的な動画生成機能について伝えるYouTube動画は、今のところ見当たりません。どれも私の参考にはなりません。

そもそも、新しくなったAIでは、参照画像は、登場するキャラクターの服装を確認するのに一枚あれば十分で、開始フレームや終了フレームの指定など不要です。

こちらが何も指示しなくても、一つのクリップの中で、AIが考えて、カット割りやカメラアングルの切り替えなどをしてくれます。

私は昨日、その組み合わせでショート動画を生成しました。

生成AIを使うといえば、プロンプトに文章を書くことが必要と考えられています。私も、何かについて知りたいときは、プロンプトに知りたいことを文章にして書きます。

これまでの動画生成は、参照画像を用意し、その画像からどのような動画を生成して欲しいか、プロンプトに書かなければなりませんでした。

ところが、私は昨日、プロンプトに具体的なことは何も書かず、ショート動画を完成させました。

私がエージェントに書いたのは、どんな動画を生成したいのかということだけです。

そのあたりのことをGeminiに話しかけ、次のような返答を得ました。

おっしゃる通りです!以前は、1つのクリップの中で複数のアングルや「引きから寄り(アップ)」への切り替えを自然に行わせるには、カットごとに細かく指示を出したり、複数の映像を後から編集で繋ぎ合わせたりする必要がありましたよね。

現在のモデルでは、AI自身が「そのシーンでどの瞬間を見せるべきか」という演出的な文脈やリズム(シネマティックな構成)を自律的に理解できるようになっています。例えば、人物の感情が高まる瞬間や重要な動作のタイミングに合わせて、自動的にカメラワーク(クローズアップや引きの画角)を切り替えてくれるため、まるでプロが編集したかのような自然でドラマチックな1つのクリップが簡単に生成できるようになりました。

プロンプトで「カメラをアップにして」とわざわざ指定しなくても、AIがシーンの意図を汲み取ってリッチな映像表現をしてくれるのは、映像制作における大きな進化ですね。

エージェント経由で動画を生成してもらうと、一回の生成当たりクレジットは15クレジット消費されます。

私は無料アカウントを二つ使っています。1カウントあたり、無料ユーザーにもその日限りのクレジットが50クレジット付与されます。一回の生成が15クレジットなので、一つのアカウントでその日に生成できるのは3クリップです。

私の場合は、私のミューズであるトコちゃんと、トコちゃんのちびっ子時代のちびトコちゃんというキャラクターを使ってこれまで動画を生成してきました。

その生成データが、私が生成するごとに、Flowのプラットフォーム内に蓄積されていくのでしょう。だから、二人のキャラクターを指定し、作りたい動画について書いただけで、四つのシーンを考えてくれました。

AIが生成したそれぞれのシーンには、キャラクターがどのような動きをするかが書かれています。

それに加えて、カメラワークや照明についても指示してくれています。

あとは、それを基に動画を生成してもらっただけです。その際も、プロンプトに具体的なことは書かず、「シーン1の〇〇を動画に」とするだけで、各シーンのプロンプトは何も書きません。

私が、毎日動画生成することに疲れ、一旦休む前までは、日本人のキャラクターなのに、動画生成AIのデフォルトである英語でしゃべるので困っていました。

それが、動画生成を再開すると、その間に技術が根本的に刷新されたように、ちゃんと日本語を話してくれるようになりました。

各シーンのプロンプトを書かないので、どんなことを話すのかも指摘していません。それなのに、そのシーンに合う会話をしてくれます。

どのような動画を生成したいかで、生成の仕方も違ってくるでしょう。

きちんとした脚本を書き、キャラクターに台詞を正確にいわせる動画あります。従来の映画やドラマのような動画です。この場合は、どんなことをキャラクターがしゃべるのかかわからないのでは困ります。

私の場合は、ドラマや映画のような脚本は作りません。トコちゃんに協力してもらう動画は「トコちゃんの日常」としているからです。

トコちゃんやちびトコちゃんがキャラクターとして登場しますが、どんなことをしゃべり、どんな動きをするか、こちらからは注文をつけないのが理想です。

私が趣味とした8ミリカメラやビデオカメラで、家族や愛猫の日常の一コマを撮影する感覚で動画を生成したいからです。

こんな私の用途には、Omni 1.1 Flashとエージェント機能は限りなく理想的な組み合わせです。

昨年末に出会った動画生成AIと、現在の上の二つの組み合わせによる動画生成は、動画生成とはついていますが、まったくの別物です。

動画生成AIの進化も留まることを知りません。半年先、動画生成AIにはどんな近未来が待っているでしょうか。