写真や音声も、そのままAIに渡せるのですか?

複数の形式をまとめて扱えるマルチモーダルのAIなら渡せます。花の写真と質問文を一緒に受け取り、両方を見たうえで文章で答えます。ただし何を渡せるかは、モデルや製品によって違います。

「画像対応」と書かれていれば、どんな画像でも正しく読み取れますか?

複数の形式を扱えるという意味で、どの形式も同じ精度という意味ではありません。文字は得意でも図表は苦手、写真は読めても細かい数字は間違えることがあります。金額や日付は自分の目で確かめてください。

入力と出力を分けて見ます。写真・PDF・音声・動画のどれを渡せるか、文章・表・画像・音声のどれで返ってくるか、そして対応形式などの制限を、使う予定のプランの公式ヘルプで確かめてください。

画像に写り込んだ情報も、渡した時点で一緒に送られます。社員証や名刺、契約書の固有名詞などが入っていないかを見て、社内の取り扱いルールと利用規約を確認してから渡してください。

ざっくり言うと

マルチモーダルAIとは、文字・画像・音声・動画といった複数の形式の情報を、まとめて扱えるAIのことです。ひとことで言えば「文字以外も一緒に渡せるAI」。

AIのなかには、文章だけ、あるいは画像だけしか扱えないものがあります。一方で、写真と質問文を一度に受け取れるチャットAIも増えてきました。

ただし、何を渡せて何が返ってくるかは、モデルや製品によって変わります。ここを分けて見られるようになると、サービス選びで迷いにくいですよね。

イメージ

情報の種類のことを、専門用語では「モダリティ（modality）」と呼びます。マルチ（multi）は複数という意味なので、マルチモーダルは「複数のモダリティを扱う」となります。

文字・画像・音声・動画は、それぞれ別のモダリティです。聞き慣れない言葉ですが、「情報の種類」と読み替えてしまって構いません。

正確には

IBMは、マルチモーダルAIを「テキスト・画像・音声・動画など複数の種類（モダリティ）の情報を処理し、統合できる機械学習モデル」と説明しています。

対になる言葉が「ユニモーダル（単一モーダル）」で、こちらは1種類の情報だけを扱います。

できることは、渡せる情報の形式と、返ってくる形式の組み合わせで決まります。よくある組み合わせを並べました。

写真を見せて文章で答えてもらう使い方なら、複数になっているのは入力だけです。返ってくるものにも写真や声が混じるなら、出力側も複数です。世の中で「マルチモーダル」と呼ばれているものには、この両方が混ざっています。

ですから、サービスを選ぶときは入力と出力を分けて確かめてください。「PDF対応」と書かれていても、文字だけを読むのか、図表や写真まで読めるのかは製品によって違います。

確かめる場所は、各サービスの公式ヘルプです。対応範囲はプランや時期で変わるので、契約する前に、使う予定のプランのページを開いて上の3点を探してみてください。

同じ「画像対応」でも、領収書の文字を読むのが得意なものと、写真の雰囲気を説明するのが得意なものがあります。金額や日付を扱うときは、AIが読み取った内容を自分の目で確かめる前提で使うと安心です。

代表的な3社を比べると、対応している入力形式にも違いがあります。

ただし、各社のすべてのモデル・すべてのプランが同じ入出力に対応するわけではありません。画像を入力できても、返ってくるのは文章だけ、というモデルもあります。

注意点

やってみよう

似た言葉に「生成AI」「LLM（大規模言語モデル）」もあります。LLMは言葉を中心に扱うモデルを指し、マルチモーダルは複数の形式を扱えるという性質を指す言葉です。LLMを土台にして、画像や音声の処理を組み合わせたモデルやシステムもあります。