ざっくり言うと
マルチモーダル（multimodal）とは、AIが文字・画像・音声・動画など、複数の種類の情報をまとめて扱える性質のことです。
文章しか読めない、画像しか見られない、というように1種類だけを扱うAIは「シングルモーダル」と呼ばれ、マルチモーダルと対になります。
最近は、マルチモーダル対応をうたうAIサービスが増えました。写真を見せながら文章で質問する、という使い方も珍しくありません。
ただし「マルチモーダル対応」と書いてあっても、何でもできるとは限りません。画像は読めるけれど音声は扱えない、写真も声も渡せるけれど返ってくるのは文章だけ、という組み合わせもあります。「マルチモーダル対応」は、扱える形式の話であって、できることの範囲を保証する言葉ではありません。何ができるかは、モデルやプランごとに確かめてください。
イメージ
名前の由来は単純です。情報の種類をひとつのモードと数え、それを複数（multi）扱えるから、マルチモーダルと呼びます。
モード（modality）は、日本語で「形式」や「様式」と訳されます。かたい言い方ですが、要は情報の種類のことです。
正確には
IBMの解説によれば、マルチモーダルAI（multimodal AI）とは、複数の種類のデータ（modality）を処理・統合できるAIシステムのことです。データの種類には、テキスト、画像、音声、動画などが含まれます。
1種類だけを扱うAIはシングルモーダルAI（unimodal AI）と呼ばれ、マルチモーダルAIと対比される概念として整理されています。
各社の代表的なマルチモーダル対応例を、公式情報に沿って並べました。
| 提供元 | モデル名 | 公式が示す対応モダリティ |
|---|---|---|
| OpenAI | 現行のマルチモーダル対応モデル | 画像やテキストを入力として扱えるモデルが案内されている。対応モードはモデルごとに公式ドキュメントで確認 |
| Gemini | テキスト・画像・音声・動画・コードを扱うマルチモーダルモデルとして公式に位置づけ | |
| Anthropic | Claude（Vision機能） | テキストに加え、画像入力に対応（公式ドキュメント） |
押さえどころは、文字だけでなく画像や音声も同じ会話のなかで扱える、という点です。ただし、どのモードを入力・出力できるかはモデルごとに変わります。使う前に、最新の公式モデル一覧やガイドで確かめてください。
渡せるものと、返ってくるものは別物です
対応表を読むときのコツは、入口と出口を分けて見ることです。
画像を渡せるAIでも、画像を作れるとは限りません。声で話しかけられるAIでも、声で返してくれるとは限らないのです。
自分に必要なものは、次の2つを順に決めると見えてきます。
- 何を渡したいか。写真を見てほしいのか、PDFやスクリーンショットを読んでほしいのか、音声で会話したいのか、動画を扱いたいのか
- 何を返してほしいか。説明が文章で返ってくればよいのか、画像や音声まで作ってほしいのか
入力だけが複数
写真を見せて文章で答えてもらう使い方です。渡す情報は画像と文章の2種類ですが、返ってくるのは文章だけです。
入力も出力も複数
返ってくるものにも画像や音声が混じる使い方です。渡す側も受け取る側も、複数の形式が混ざります。
世の中で「マルチモーダル」と呼ばれているものには、この両方が混ざっています。マルチモーダルで実際にできることは、渡せる形式と返ってくる形式のかけ合わせで決まります。
文章で説明してもらえれば十分なら、返ってくるのが文章だけのモデルでも困りません。画像や音声まで作ってほしいなら、その出力に対応したモデルやプランを選んでください。
身近な例だと、ホワイトボードの写真を見せて打ち合わせメモを作ってもらう、という使い方があります。言葉だけでは説明しにくいものを、そのまま一緒に渡せるのが強みですよね。
注意点
関連用語
マルチモーダルは、全体の性質を指す言葉です。その下に、個別のモード変換を指す用語が並びます。
- Vision（画像認識） — 画像を見て中身を読み取る機能で、入力側の代表例です
- Text-to-Image — 文章から画像を作る、テキストから画像への変換です
- Speech-to-Text — 音声を文字に書き起こす、音声からテキストへの変換です
- Text-to-Speech — 文章を声で読み上げる、テキストから音声への変換です
これらをまとめて扱える状態がマルチモーダルで、ひとつひとつはその中の個別の機能にあたります。
やってみよう