WorldDraftの研究チームは2026年11月12日、動画生成AIが指定された空間や動きを守り、映像を仕上げられるかを評価する論文を発表しました。11月13日にはプロジェクト側が論文公開を告知し、評価用データとコードも公開しています。

研究チームは、48種類の仮想世界から432件のテストを作り、12種類の動画モデルを比較しました。WorldDraftは、新しい動画生成サービスではなく、モデルの性能を共通の条件で測る研究用ベンチマークです。論文は査読前のプレプリントで、評価手順も含め、ほかの研究者による追試の余地があります。

WorldDraftは動画の「動き・カメラ軌道の保持」と「指定した外観の再現」を別々に採点する

AI動画では、各コマが美しいだけでなく、物体の位置や数、カメラの動き、衝突の前後関係も、一定のルールに従う必要があります。たとえば、工場内のフォークリフトの経路を指定した動画を考えてみてください。装置が見栄えよく描かれても、経路や作業順が変われば、目的に合った映像にはなりません。

WorldDraftでは、コードで時間とともに動く仮想世界を作り、下絵に相当する動画を用意します。動画生成モデルが、その下絵を写実的な映像へ仕上げる過程を評価します。

採点するのは、「世界の保持」と「見た目の実現」の2つです。「世界の保持」では、指定した空間・運動・出来事・カメラ軌道が残るかを測ります。「見た目の実現」では、文章で求めた色や外観が、動画の途中でも変わらず再現されるかを測ります。

評価を分けると、動きは忠実でも色や素材が指示と違う問題と、見た目はよくても動きが崩れる問題を区別できます。制作現場で画質だけを評価していると、見落としやすい違いです。

WorldDraftは48の仮想世界に下絵3段階×外観3条件を適用し、432の比較試験を構成する

WorldDraftには、コードを実行して再現できる48の仮想世界があります。課題は、複数物体の連携、段階的な動き、物体の隠れと再出現、カメラ移動、変形、複合的な相互作用の6種類です。

研究チームは、それぞれに下絵の詳しさ3段階と、外観の指定3条件を組み合わせました。48×3×3=432件の比較条件になります。

下絵は、抽象的な図形、シミュレーション風の映像、完成映像に近いプレビズの3段階です。プレビズは、完成時の見え方を事前に確認するための映像です。研究チームは、同じ動きを保ったまま、下絵と外観の条件だけを変えて比較します。

外観の指定は、下絵と目標の見た目が中立的な場合、一致する場合、食い違う場合に分かれます。土台の動きは変えずに下絵の描写を変えることで、「動きの指示が弱くて失敗したのか」「下絵の色に引っ張られたのか」を比べられます。

12モデルの実験では、詳しい下絵ほど動きを守る一方、指定した色や外観を再現しにくい傾向

研究チームは12種類の動画モデルで、物体数、位置の重なり、動作のタイミング、カメラ移動、見た目の継続性などを測定しました。論文によると、詳しい下絵を使うほど、形や位置関係などの構造は維持しやすくなります。一方、下絵の色や外観が強く残り、別の見た目を求める文章指示には従いにくくなる傾向がありました。

下絵と文章の外観指定が食い違う条件では、元の見た目が生成映像へ残る「source leakage」が、一部の設定で最大64%に達しました。64%は特定の条件で観測した最大値で、12モデル全体の平均失敗率ではありません。

研究チームは、下絵と目標の外観が競合すると、入力映像の見た目が残る現象を数値で示しています。結果を読む際は、評価条件と、何を測る指標なのかを確認する必要があります。

WorldDraft-Primerはモデル再学習なしで視覚的な入力を調整し、動きと外観の再現を改善する

研究チームは、モデルの重みを変更せず、入力する映像の見せ方を工夫する「WorldDraft-Primer」も提案しました。重みは、学習済みモデルの内部の調整値です。下絵の構造を残しながら、最終的な色や外観の指定も伝わりやすくする方法です。実験したモデルでは、「世界の保持」と「見た目の実現」の両方を改善できたと報告しています。

ただし、改善幅はモデルや条件によって異なります。すべての動画生成サービスで同じ効果を得られるわけではありません。文章の指示を1文足すだけで必ず改善する機能ではなく、モデルへ渡す視覚的な手掛かりを調整する研究手法です。利用するモデルごとに効果を確かめ、研究対象外のサービスでも同じ結果になると考えないことが大切です。

WorldDraftは評価データとコードを公開、ただし追試には生成環境と評価モデルの準備が必要

公式GitHubリポジトリには、下絵動画と正解データを取得する手順が掲載されています。生成した動画を指定フォルダへ置く方法や、評価結果をまとめるスクリプトもあります。評価データはHugging Faceでも公開されています。

開発者は、下絵と指示文に沿って自社モデルで動画を生成し、公開されたスクリプトで比較できます。ただし、評価には別の認識モデルやGPU資源を使う処理も含まれます。データを取得するだけで、論文と同じ評価表を再現できるとは限りません。

追試する開発者は、生成条件、使用モデル、前処理、画像サイズなどをそろえる必要があります。モデルへの入力仕様や生成尺を合わせ、各評価項目の意味も確認してください。

公開物の中心は、動画生成AIの能力を測るデータと評価コードです。WorldDraft自体が商用の動画制作アプリを提供するものではありません。AI動画の採用時に、「画質」と「動きの正確さ」を別々に確認する重要性を示した研究です。