マルチモーダル

ざっくり言うと

最近の主要モデルやAIサービスでは、OpenAI の現行マルチモーダル対応モデル、Google の Gemini、Anthropic の Claude のように、マルチモーダル対応を前面に出す例が増えています。

イメージ

正確には

IBM の解説によれば、マルチモーダルAI(multimodal AI)とは 「テキスト、画像、音声、動画など複数の種類のデータ(modality)を処理・統合できるAIシステム」 のことです。1種類だけを扱うシングルモーダルAI(unimodal AI)と対比される概念として整理されています。

各社の代表的なマルチモーダル対応例を公式情報に沿って挙げると以下の通りです。

提供元	モデル名	公式が示す対応モダリティ
OpenAI	現行のマルチモーダル対応モデル	画像やテキストを入力として扱えるモデルが案内されている。対応モードはモデルごとに公式ドキュメントで確認
Google	Gemini	テキスト・画像・音声・動画・コードを扱うマルチモーダルモデルとして公式に位置づけ
Anthropic	Claude(Vision 機能)	テキストに加え、画像入力に対応(公式ドキュメント)

関連用語との関係

マルチモーダルは「全体の性質」を指す言葉で、その下に個別のモード変換の用語が並んでいます。

用語	何をするか
Vision(画像認識)	画像を「見て」内容を理解する。マルチモーダルの「入力側」の代表例
Text-to-Image	文章から画像を生成する。テキスト→画像のモード変換
Speech-to-Text	音声を文字に書き起こす。音声→テキストのモード変換
Text-to-Speech	文章を音声で読み上げる。テキスト→音声のモード変換

使うときの考え方

マルチモーダルAIを選ぶときは、まず「何を渡したいか」を決めます。

• 写真を見てほしいのか
• PDFやスクリーンショットを読んでほしいのか
• 音声で会話したいのか
• 動画の内容を扱いたいのか

次に、「何を返してほしいか」を決めます。 文章で説明してほしいだけなら、出力はテキストで十分です。 画像や音声まで生成したいなら、その出力に対応しているモデルやプランを選ぶ必要があります。

注意点

やってみよう

関連する個別のモード変換については、用語集の Vision / Text-to-Image / Speech-to-Text / Text-to-Speech もあわせてどうぞ。