マルチモーダルAI とは(テキスト+画像+音声)

ざっくり言うと

少し前までは「文章専用AI」「画像専用AI」「音声専用AI」と、できることが1種類に限られたAIが普通でした。最近の ChatGPT・Gemini・Claude などは、写真を見せて質問したり、音声で話しかけて答えてもらったりが1つのアプリの中で完結します。これが「マルチモーダル」と呼ばれる理由です。

イメージ

正確には

IBM の解説では、マルチモーダルAI は「テキスト・画像・音声・動画など複数の種類(モダリティ)のデータを処理し、組み合わせて扱える機械学習モデル」と定義されています。従来主流だった、1種類のデータしか扱えない「ユニモーダル(単一モーダル)AI」と区別されます。

シングルモーダル vs マルチモーダル

比較項目	シングルモーダル(従来)	マルチモーダル(最近)
扱える情報	1種類のみ(例: 文章だけ)	複数(文章・画像・音声等)
使い方	用途ごとに別アプリ・別モデル	1つのモデルでまとめて処理
例	翻訳専用ソフト / 顔認識アプリ	ChatGPT・Gemini・Claude(画像も読める)

入力と出力の組み合わせ

マルチモーダルAIは、入る情報の形式と出る情報の形式の組み合わせで、できることが変わります。

入力 → 出力	できること	身近な例
画像 → 文章	画像の内容を説明する	写真を見せて「これ何?」と聞く
文章 → 画像	テキストから絵を生成	「猫が宇宙服を着てる絵」を作る
音声 → 文章	音声を文字に書き起こす	会議の議事録、字幕生成
文章 → 音声	テキストを読み上げる	AIナレーション、音声アシスタント
画像+文章 → 文章	画像を見ながら質問に答える	レシートを見せて経費分類を相談

「何でもできるAI」とは少し違う

実務では、入力と出力を分けて確認します。

特に「PDF対応」と書かれていても、PDF内の文字を読むだけなのか、図表や写真まで読めるのかは別です。

入力: 写真、PDF、音声、動画のどれを渡せるか
出力: 文章、表、画像、音声のどれで返せるか
制限: ファイルサイズ、ページ数、対応形式、保存期間はどうか

対応範囲はプランや時期で変わるため、契約前には公式ヘルプで確認しましょう。

同じ「画像対応」でも、領収書の文字を読むのが得意なものと、写真の雰囲気を説明するのが得意なものは違います。細かい金額や日付を扱うときは、AIの読み取り結果を人間が見直す前提で使うと安全です。

「写真を渡せるか」だけでなく、「写真から何を取り出して、どの形で返してくれるか」まで見ると、実務で使える範囲がかなり判断しやすくなります。

主要モデルの状況

OpenAI は GPT-4o を「テキスト・音声・画像をひとつのモデルでまとめて扱えるモデル」として公開しています(公式発表ページ「Hello GPT-4o」)。Google の Gemini は「最初からマルチモーダルとして設計された」と公式に説明されています。Anthropic の Claude も、公式ドキュメント上で画像を読み取って質問に答える機能(Vision) が用意されています。

つまり今は、主要な汎用AIの大半がマルチモーダル対応に向かっている、というのが業界の流れです。

注意点

やってみよう

似た言葉に「生成AI」「LLM(大規模言語モデル)」もあります。LLM はもともと文字専門だったのが、近年マルチモーダル化が進んでいる、という関係です。詳しくは同じ「AIの種類」章の関連記事(LLM とは / 生成AI の仕組み)も合わせてどうぞ。