第34章マルチモーダルAI

本サイトはLLMを中心に扱ってきましたが、AIが扱えるのは言葉だけではありません。画像や音声を扱うAIも 急速に発展しています。第8部の締めくくりとして、テキスト以外を扱うマルチモーダルAIを、全体像の中で 位置づけておきます。ここまで学んだ考え方が、言葉以外にも応用できることが見えてきます。

34.1テキスト以外を扱うAI

これまで見てきたLLMは、言葉（テキスト）を扱うAIでした。しかし、AIが扱えるのは言葉だけではありません。 画像、音声、動画など、複数の種類の情報を扱えるAIを、マルチモーダルAIと呼びます。「モーダル」とは 情報の種類のことで、複数の種類を扱うので「マルチ（多い）モーダル」です。

扱う情報が変わっても、第12章で見た「情報を数値に変換して扱う」という考え方や、ディープラーニングという 土台は共通しています。言葉をトークンとベクトルにしたように、画像や音声も数値に変換して扱います。 対象は違っても、根っこのしくみは同じ。だからこそ、LLMで学んだ考え方が、画像や音声を扱うAIの理解にも 役立つのです。

34.2画像生成のしくみの概要

画像生成AIは、「こんな画像がほしい」という文章の指示から、画像を作り出します。代表的な方式では、 最初に砂嵐のような乱れた状態から始め、指示に沿うように少しずつ整えていくことで、最終的な画像を 生み出します。ぼんやりした状態から、だんだんくっきりした絵が浮かび上がってくる、というイメージです。

第2章で見たとおり、これも新しいデータを作り出す生成AIの一種で、扱う対象が言葉ではなく画像である点が 異なります。LLMが次の言葉を予測して文章を作るのに対し、画像生成AIは別のしくみで画像を作りますが、 大量のデータから学ぶという点は同じです。文章と画像を対応づけた大量のデータから、「この言葉には、 こういう見た目が対応する」という関係を学んでいるのです。

34.3音声の生成と認識

音声を扱うAIには、大きく二つの方向があります。一つは音声の生成で、文章から自然な話し声を作り出します。 読み上げのサービスや、機械が案内を話すしくみに使われています。もう一つは音声の認識で、話し声を文章へ 変換します。話した言葉が文字になる文字起こしや、音声での操作に使われています。

これらは単独でも役立ちますが、組み合わせると、さらに使い道が広がります。音声認識で話し声をテキストに し、それをLLMで処理して、結果を音声生成で読み上げる。この三つをつなげば、話しかけると声で答えてくれる しくみができます。それぞれは別のAIですが、テキストを介してつなげられるのです。ここでも、言葉（テキスト）が さまざまなAIをつなぐ共通の土台として働いています。

34.4マルチモーダルLLMへの広がり

近年は、LLMそのものが言葉以外も扱えるように広がってきています。文章に加えて画像も入力として受け取り、 両方を踏まえて応答できるLLMが登場しています。たとえば、写真を見せて「これは何か」「どこがおかしいか」を 尋ねる、といった使い方です。言葉を中心にしつつ、扱える情報の種類が広がることで、LLMの応用範囲はさらに 広がっています。

第8部では、RAG、ツール利用、エージェント、そしてマルチモーダルと、LLMの力を広げる方法を見てきました。 最後の第9部では、これらを実務で使ううえで避けて通れない、活用の実際と、セキュリティや倫理の観点を 整理します。