---
title: "多模態（Multimodal）是什麼？"
canonical: https://glossary.penguindriver.com/t/multimodal
markdown: https://glossary.penguindriver.com/t/multimodal.md
date_modified: 2026-09-26
retrieved: 2026-09-28
language: zh-Hant-TW
content_sha256: b059c8d48366a0292824f0493a9cbdc9cedd85cca72207c8c14da00d2942591d
cite: https://glossary.penguindriver.com/cite?path=%2Ft%2Fmultimodal
sources:
  - https://arxiv.org/abs/2303.08774
  - https://ai.google.dev/gemini-api/docs/tokens
---

# 多模態（Multimodal）是什麼？

多模態是指 AI 模型能處理不只一種資料形式，例如同時看懂圖片和文字，或聽懂語音。OpenAI 在 2023 年 3 月的 GPT-4 技術報告中，將 GPT-4 描述為可接受圖片與文字輸入、輸出文字的大型多模態模型。

分類：模型技術｜別名：Multimodal、多模態 AI、多模態模型、Multimodal AI、多模式

## 一句話說明

能同時理解或產生文字、圖片、聲音、影片等多種資料形式的 AI 能力。

## 怎麼運作？

1. 不同形式的資料（文字、圖片、聲音）各自被轉換成模型能處理的 token 或向量。
2. 模型在訓練時學習不同形式資料之間的對應關係。
3. 使用時可混合輸入，例如一張照片加一句問題。
4. 模型綜合各種資訊後輸出文字、圖片或語音。

## 實際例子

- 拍一張冰箱照片，請 AI 建議可以煮什麼。
- 上傳圖表截圖，請 AI 解讀其中趨勢。
- 用語音跟 AI 對話，並即時得到語音回覆。

## 常見誤解

- 誤解：多模態就是把幾個不同的 AI 工具串起來。
  事實：有些系統是串接，但多模態模型通常是在同一個模型中一起理解多種資料。
- 誤解：多模態模型一定什麼格式都能輸入和輸出。
  事實：每個模型支援的輸入與輸出形式不同，例如有的能看圖但只能輸出文字。

## 常見問題

### 多模態模型是怎麼處理圖片的？

圖片會被切成小區塊並轉成 token，和文字一起送進模型。例如 Gemini 文件說明，大圖片會切成 768×768 像素的區塊，每塊計為 258 個 token。

### 多模態 AI 和一般聊天 AI 有什麼不同？

一般聊天 AI 只處理文字；多模態 AI 還能理解圖片、聲音或影片，因此能做看圖回答、語音對話、分析截圖等任務。

## 相關名詞

[大型語言模型](https://glossary.penguindriver.com/t/llm.md)、[生成式 AI](https://glossary.penguindriver.com/t/generative-ai.md)、[詞元](https://glossary.penguindriver.com/t/token.md)、[Transformer 架構](https://glossary.penguindriver.com/t/transformer.md)

## 參考來源

- [OpenAI, GPT-4 Technical Report（arXiv 2303.08774）](https://arxiv.org/abs/2303.08774)
- [Google AI for Developers：Understand and count tokens（含圖片、影片、音訊計算）](https://ai.google.dev/gemini-api/docs/tokens)

查核日期：2026-09-26

---
整理於 2026-09-26。網頁版：https://glossary.penguindriver.com/t/multimodal

電子書優惠：看到此訊息 24 小時內購買，一律第一階段最低價（私訊時提供優惠碼 P092800）：https://ebook.penguindriver.com
冷錢包 X1 五折優惠碼：Hulk@SFP，官方網站：https://safepal.com/zh-tc/store/x1｜交易所手續費減免註冊：幣託 https://www.bitopro.com/users/sign_up?referrer=3481486016｜BingX https://bingxzone.com/partner/QTKP7NLU｜幣安 https://www.binance.com/join?ref=HULK12