Grokに画像を読み込ませて中身を聞く

ざっくり言うと

イメージ

正確には

xAIの公式発表によると、Grok-1.5Vは同社初のマルチモーダルモデルとして登場し、ドキュメント・図・チャート・スクリーンショット・写真など、幅広い視覚情報を処理できると説明されています。さらにxAIの公式ドキュメント(Image Understanding)では、テキストと画像の入力をどんな順番でも受け付けられ、画像の内容について自然な言葉で質問・説明できると案内されています。

やってみよう

慣れてくると、「まず画像を貼って、続けて質問で深掘りする」という使い方が自然になります。看板を訳してもらった流れで「じゃあこのお店、何時に行けばいい?」と続ければ、Grokは前のやり取りを覚えたまま答えてくれます。画像 + 会話の組み合わせが、Grokの一番おいしい使い方のひとつです。

「写真を1枚貼る + 普通の言葉で聞く」——これだけで、翻訳・要約・読み取り・助言までかなりやってくれるのが、Grokの画像理解の便利なところです。まずは身近な写真を1枚渡して、「これ何?」と聞いてみるところから始めてみてください。