2024.02.02 Google、テキストや画像から超リアルな動画を生成する高品質な動画生成AI「Lumiere」を発表

Lumiereではフレーム同士のつながりの違和感を解消し、なめらかな動画を生成することが可能となった。

既存のモデルのアプローチとは異なり、動画全体のフレームを一度に生成するという手法を採用することで、自然なつながりとリアリティ溢れる動画生成を実現した。

画像やテキストプロンプトを使用して動画を生成することできるLumiereだが、既存の画像生成AIと同様に動画を生成することはもちろん、画像とそれに付随するプロンプトにより、その画像を動かすこともできる。

参照画像を元に「ステッカー」「３Dレンダリング」「線画」などの指定したスタイルで別の動画を生成する「Stylized Generation」という機能がある。

その上、「Video Stylization」という参照動画をベースに「花」「木のブロック」などの指定のテキストに基づき動画を加工する機能も。

その他にも、写真や画像の特定の範囲をアニメーション化する「Cinemagraphs」、動画の欠陥部分を補完する「Video Inpainting」など楽しい機能を備えている。

現時点ではまだLumiereは一般公開されていない。しかし、LumiereのWebサイトでは同モデルのデモが数多く公開されている。もっと詳しく見てみたい人は一度アクセスしてみてはどうだろう。

【関連リンク】

・グーグル、超リアルな動画生成AI「Lumiere」を発表　画像の一部を動画化する機能など(CNET Japan)
https://nordot.app/1123440512861602336?c=768367547562557440

TEXT：PreBell編集部
PHOTO：iStock