Open Vision Bananaの研究チームは2026年11月11日、画像生成モデルを画像理解にも使う手法「Open Vision Banana(OVB)」を論文で発表しました。画像を生成する仕組みで、物体ごとの領域分け、奥行きの推定、表面の向きの推定などを行います。
研究チームは学習・評価コードとモデル重みを公開しています。ただし、コードとモデル重みでは、公開範囲や商用利用の条件が異なります。導入前に、それぞれの条件を確認する必要があります。
Open Vision Bananaは物体ごとの色分け画像を生成し、領域認識や深度推定を行う
一般的な画像認識では、AIが画像から物体の種類や領域のラベルを直接予測します。Open Vision Bananaでは、生成モデルへ画像を入力し、「道路を赤、車を青、人を緑で塗った画像を作る」といった指示を与えます。生成されたRGB画像の色を読み取り、物体の領域を示すマスクに変換する方法です。
研究チームは、種類ごとに領域を識別するセマンティックセグメンテーションや、個々の物体を分けるインスタンスセグメンテーションを扱っています。文章で指定した対象の切り出しも対象です。さらに、距離の近さを表す深度マップや、表面の向きを表す法線マップも画像として出力します。
写真をきれいに加工するだけでなく、生成画像を、物体の領域や奥行きなどの予測結果として読み取る研究です。そのため、画像生成後には、色の対応表に沿って認識結果へ変換する後処理が必要です。画像を生成しただけでは、認識結果として利用できません。
FLUX.2系の4B・9Bモデルを210万~380万組の公開データで調整し、複数の視覚課題に対応
研究チームは、FLUX.2 [klein]を基盤とする、約40億・90億パラメータのモデルを使いました。パラメータは、モデル内部で学習によって調整される数値です。公開データセットから構成した、約210万〜380万組の学習ペアでモデルを調整しています。
画像生成器の一部へ専用の分類器を付け足すのではなく、画像生成の仕組み自体で、領域や距離を描き分ける方針です。出力が画像なので、領域と色の対応表、指示文の書き方、学習時にどのパラメータを更新するかが精度に影響します。
従来の分類器と異なり、生成画像を評価指標へ変換する設定も重要です。物体の位置を正しく捉えていても、指定と違う色を塗れば、評価の数値が下がります。研究チームは、色の設定、学習対象のパラメータ、複数の課題を学習する比率などを比べ、設計の違いが結果に与える影響を分析しました。
Cityscapesのゼロショット領域認識でmIoU 73.9を報告、ただし物体分割では課題も残る
研究チームは、Cityscapesで、領域認識のmIoU 73.9を報告しました。mIoUは、予測した領域が正解の領域とどれだけ重なるかを測る指標です。評価は、そのデータを学習に使わないゼロショット条件で行っています。
数値は、先行研究Vision Bananaが報告した69.9を上回っています。ただし、別の研究がそれぞれ公表した値の比較です。入力解像度やデータ処理などの評価条件が、完全に同じか確認して読む必要があります。
研究チームは、文章で指定した対象の分割や、推論を要する領域認識では、先行モデルに近い結果を得たと説明しています。一方、個々の物体を分けるインスタンスセグメンテーションでは、差が残りました。「画像認識のすべてで高性能」「専用モデルより常に優れる」とは結論付けられません。使いたい課題ごとに検証が必要です。
legend ensemblingは色の対応表を変えた複数の推論を多数決で統合し、mIoUを改善する
研究チームは、色の選び方で予測が変わる問題への対策として、「legend ensembling」を紹介しました。同じ画像で、色と物体の対応表を変えて複数回予測し、結果を多数決でまとめる方法です。モデルを再学習せず、色の取り違えによる予測のばらつきを抑えることを目指しています。
論文では、条件によって、Cityscapesで最大8.7ポイント、COCO-Objectで最大15.0ポイントのmIoU改善を報告しています。ただし、特定のモデル・評価条件で測った最大の改善幅です。あらゆる画像で、同じだけ精度が上がるわけではありません。
また、複数の色の対応表で画像生成を繰り返すため、1回だけ予測する場合より、処理時間とGPU費用が増えます。導入する開発者は、精度の改善幅に加え、何回予測したときに費用対効果が合うかも確認してください。
コードはApache 2.0でもモデル重みにはFLUX Non-Commercial Licenseが適用され、商用利用は要確認
公式GitHubには、データの準備、学習・評価用スクリプト、途中段階を含むモデルチェックポイントが案内されています。チェックポイントは、学習したモデルの状態を保存したものです。追試する開発者は、対象課題のデータ、モデル重み、GPU環境を用意し、評価コードで結果を確認できます。ただし、研究用のPython実装を取得すれば、すぐに一般向けの画像編集サービスを作れるという意味ではありません。
コードはApache License 2.0で公開されています。一方、公開モデル重みは、基盤となるFLUX.2 [klein] Baseに由来し、FLUX Non-Commercial Licenseの対象です。学習に使う各データセットにも、元の利用条件があります。
研究に必要な情報が公開されていても、公開重みをそのまま有償サービスへ組み込めるとは限りません。利用を検討する際は、対象の重み、元モデルの許諾、各学習データの権利、利用予定の業務を個別に照合してください。
OVBは、画像生成を使って、複数の画像認識課題を共通の方法で扱う研究として注目できます。ただし、査読前の研究結果と、一般的な製品性能を同一視しないことが大切です。課題別の精度・計算費用・ライセンスの3点を検証して判断してください。




