本文へスキップ
なのはAI教室

マルチモーダル

この記事は約6分で読めます

ざっくり言うと

マルチモーダル（multimodal）とは、AIが文字・画像・音声・動画など、複数の種類の情報をまとめて扱える性質のことです。

文章しか読めない、画像しか見られない、というように1種類だけを扱うAIは「シングルモーダル」と呼ばれ、マルチモーダルと対になります。

最近は、マルチモーダル対応をうたうAIサービスが増えました。写真を見せながら文章で質問する、という使い方も珍しくありません。

ただし「マルチモーダル対応」と書いてあっても、何でもできるとは限りません。画像は読めるけれど音声は扱えない、写真も声も渡せるけれど返ってくるのは文章だけ、という組み合わせもあります。「マルチモーダル対応」は、扱える形式の話であって、できることの範囲を保証する言葉ではありません。何ができるかは、モデルやプランごとに確かめてください。

イメージ

名前の由来は単純です。情報の種類をひとつのモードと数え、それを複数（multi）扱えるから、マルチモーダルと呼びます。

モード（modality）は、日本語で「形式」や「様式」と訳されます。かたい言い方ですが、要は情報の種類のことです。

正確には

IBMの解説によれば、マルチモーダルAI（multimodal AI）とは、複数の種類のデータ（modality）を処理・統合できるAIシステムのことです。データの種類には、テキスト、画像、音声、動画などが含まれます。

1種類だけを扱うAIはシングルモーダルAI（unimodal AI）と呼ばれ、マルチモーダルAIと対比される概念として整理されています。

各社の代表的なマルチモーダル対応例を、公式情報に沿って並べました。

提供元モデル名公式が示す対応モダリティ
OpenAI現行のマルチモーダル対応モデル画像やテキストを入力として扱えるモデルが案内されている。対応モードはモデルごとに公式ドキュメントで確認
GoogleGeminiテキスト・画像・音声・動画・コードを扱うマルチモーダルモデルとして公式に位置づけ
AnthropicClaude（Vision機能）テキストに加え、画像入力に対応（公式ドキュメント）

押さえどころは、文字だけでなく画像や音声も同じ会話のなかで扱える、という点です。ただし、どのモードを入力・出力できるかはモデルごとに変わります。使う前に、最新の公式モデル一覧やガイドで確かめてください。

渡せるものと、返ってくるものは別物です

対応表を読むときのコツは、入口と出口を分けて見ることです。

画像を渡せるAIでも、画像を作れるとは限りません。声で話しかけられるAIでも、声で返してくれるとは限らないのです。

自分に必要なものは、次の2つを順に決めると見えてきます。

  1. 何を渡したいか。写真を見てほしいのか、PDFやスクリーンショットを読んでほしいのか、音声で会話したいのか、動画を扱いたいのか
  2. 何を返してほしいか。説明が文章で返ってくればよいのか、画像や音声まで作ってほしいのか

入力だけが複数

写真を見せて文章で答えてもらう使い方です。渡す情報は画像と文章の2種類ですが、返ってくるのは文章だけです。

入力も出力も複数

返ってくるものにも画像や音声が混じる使い方です。渡す側も受け取る側も、複数の形式が混ざります。

世の中で「マルチモーダル」と呼ばれているものには、この両方が混ざっています。マルチモーダルで実際にできることは、渡せる形式と返ってくる形式のかけ合わせで決まります。

文章で説明してもらえれば十分なら、返ってくるのが文章だけのモデルでも困りません。画像や音声まで作ってほしいなら、その出力に対応したモデルやプランを選んでください。

身近な例だと、ホワイトボードの写真を見せて打ち合わせメモを作ってもらう、という使い方があります。言葉だけでは説明しにくいものを、そのまま一緒に渡せるのが強みですよね。

注意点

関連用語

マルチモーダルは、全体の性質を指す言葉です。その下に、個別のモード変換を指す用語が並びます。

  • Vision（画像認識） — 画像を見て中身を読み取る機能で、入力側の代表例です
  • Text-to-Image — 文章から画像を作る、テキストから画像への変換です
  • Speech-to-Text — 音声を文字に書き起こす、音声からテキストへの変換です
  • Text-to-Speech — 文章を声で読み上げる、テキストから音声への変換です

これらをまとめて扱える状態がマルチモーダルで、ひとつひとつはその中の個別の機能にあたります。

やってみよう

よくある質問

Q. マルチモーダルとは何ですか?
A. AIが文字・画像・音声・動画など、複数の種類の情報をまとめて扱える性質のことです。1種類だけを扱うAIはシングルモーダルと呼ばれ、マルチモーダルと対になります。
Q. マルチモーダル対応と書いてあれば、何でもできますか?
A. 扱える形式の話であって、できることの範囲を保証する言葉ではありません。画像は読めても音声は扱えない、写真を渡せても返ってくるのは文章だけ、という組み合わせもあります。
Q. どんな使い方ができますか?
A. 言葉だけでは説明しにくいものを、そのまま一緒に渡せます。ホワイトボードの写真を見せて打ち合わせメモを作ってもらう、料理の写真を撮って声で質問する、といった使い方です。
Q. 使う前に確かめることは何ですか?
A. 自分が契約するプランとモデルで、どの形式を渡せてどの形式が返ってくるかです。同じシリーズの中でも対応は違うため、公式ドキュメントで確かめてから段取りを組んでください。

公開: 更新: ✓ 公式情報と照合:

参考ソース

判断クイズ

「マルチモーダル対応」と書かれたAIで、やりたいことができるか見分けられますか？

3問です。答えるとその場で解説が出ます。全問終えたら、「回答を記録する」で学習の記録に残せます。

問1. 「マルチモーダル対応」のAIに写真を渡して、仕上がりの画像まで作ってほしいと思っています
問2. 去年の紹介ブログを見て、「このシリーズは音声入力もできる」と段取りを組もうとしています
問3. 打ち合わせで書いたホワイトボードを、そのままメモに起こしてもらいたいです

全問に答えると、回答を記録できます。

残るのは「答えたかどうか」だけで、正解数は保存されません。この端末の中だけに残り、別の端末には引き継がれません。

この教科書は無料で全文公開しています。仕事で使えるところまで進みたい方は、実習と資料がそろった生徒プランをどうぞ。

生徒プランを見る(14日間無料)

あわせて読みたい