マルチモーダルAI とは(テキスト+画像+音声)

ざっくり言うと

イメージ

情報の種類のことを、専門用語では「モダリティ（modality）」と呼びます。マルチ（multi）は複数という意味なので、マルチモーダルは「複数のモダリティを扱う」となります。

文字・画像・音声・動画は、それぞれ別のモダリティです。聞き慣れない言葉ですが、「情報の種類」と読み替えてしまって構いません。

正確には

IBMは、マルチモーダルAIを「テキスト・画像・音声・動画など複数の種類（モダリティ）の情報を処理し、統合できる機械学習モデル」と説明しています。

1種類しか扱えないAIと、どこが違うのか

何を渡すと、何が返ってくるか

できることは、渡せる情報の形式と、返ってくる形式の組み合わせで決まります。よくある組み合わせを並べました。

写真を見せて文章で答えてもらう使い方なら、複数になっているのは入力だけです。返ってくるものにも写真や声が混じるなら、出力側も複数です。世の中で「マルチモーダル」と呼ばれているものには、この両方が混ざっています。

「何でも得意」という意味ではありません

ですから、サービスを選ぶときは入力と出力を分けて確かめてください。「PDF対応」と書かれていても、文字だけを読むのか、図表や写真まで読めるのかは製品によって違います。

• 入力
  写真、PDF、音声、動画のうち、どれを渡せるか
• 出力
  文章、表、画像、音声のうち、どれで返ってくるか
• 制限
  ファイルサイズ、ページ数、対応形式、保存期間はどうか

確かめる場所は、各サービスの公式ヘルプです。対応範囲はプランや時期で変わるので、契約する前に、使う予定のプランのページを開いて上の3点を探してみてください。

同じ「画像対応」でも、領収書の文字を読むのが得意なものと、写真の雰囲気を説明するのが得意なものがあります。金額や日付を扱うときは、AIが読み取った内容を自分の目で確かめる前提で使うと安心です。

いま主なAIはどこまで対応しているか

代表的な3社を比べると、対応している入力形式にも違いがあります。

ただし、各社のすべてのモデル・すべてのプランが同じ入出力に対応するわけではありません。画像を入力できても、返ってくるのは文章だけ、というモデルもあります。

注意点

やってみよう

似た言葉に「生成AI」「LLM（大規模言語モデル）」もあります。LLMは言葉を中心に扱うモデルを指し、マルチモーダルは複数の形式を扱えるという性質を指す言葉です。LLMを土台にして、画像や音声の処理を組み合わせたモデルやシステムもあります。