第08课：多模态大模型——让AI“看、听、说“样样精通

一一哥Sun

295人浏览 · 2026-07-16 08:50:04

一一哥Sun · 2026-07-16 08:50:04 发布

📌 本课学习目标

学完这节课，你能搞明白以下问题：

"多模态"到底是什么意思？为什么这个词最近这么火？

以前的AI只能处理文字，现在的AI怎么能同时"看图、听声音、生成视频"？

GPT-4o、Sora、MidJourney这些产品背后是什么技术在支撑？

多模态AI在真实业务中怎么用？能解决什么实际问题？

🤔 课前思考

前面几节课我们学的内容，大部分都是聚焦在"文字"上，比如ChatGPT聊天、DeepSeek写代码、文心一言回答问题。

但你肯定也见过这些场景：

给ChatGPT发一张截图，它就能帮你分析图表里的数据

在MidJourney输入一句话，它就能画出一幅精美的插画

在Sora输入"一只猫在钢琴上弹奏"，它就能生成一段逼真的视频

这些AI不只是在处理文字了，它们能"看"图片、"听"声音、"生成"视频。

这种能同时处理多种信息类型的能力，就是"多模态"。这节课，我们就来搞清楚它是怎么回事。

一、先搞懂一个词："模态"是什么？

"模态"听起来很高深，但其实就是一个词：信息的类型/形式。

我们日常生活中接触的信息有很多种"模态"：

模态	举例	你用到的场景
文字	文章、聊天记录、代码	微信聊天、看新闻
图片	照片、插画、图表	朋友圈发照片、看PPT
声音/语音	音乐、对话、环境音	听歌、打电话、语音助手
视频	短视频、电影、监控画面	刷抖音、看直播
触觉	压力、温度、纹理	触屏手机、盲文

人类天然就是"多模态"的生物——你跟朋友面对面聊天时，耳朵听他说话(语音)，眼睛看他的表情(图像)，大脑同时处理这两种信息，才能理解"他虽然在笑，但语气有点敷衍"。

以前的AI做不到这一点。文字AI只懂文字，图片AI只懂图片，语音AI只懂语音，它们之间互不相通，就像一个个"偏科生"。

而多模态大模型，就是一个**"全科状元"**，能同时理解文字、图片、声音等多种信息，还能在不同模态之间自由转换。

二、多模态大模型能干什么？三大核心能力

我们用一个三角形来理解多模态AI的三大能力：

        文字
       ↗ ↖
      ↗   ↖
跨模态理解  跨模态生成
    ↗       ↖
  图片 ─────→ 视频

能力一：跨模态理解——"看图说话"

让AI接收一种模态的信息，用另一种模态来理解或描述。

输入	输出	典型应用
一张猫的照片	"图片中有一只橘色的猫，正趴在沙发上睡觉"	图像描述
一张数学题照片	"这道题用的是勾股定理，解法如下…"	拍照搜题
一段英语语音	对应的中文文字	语音翻译
一段监控视频	"画面中有人闯入禁区，建议立即处理"	安防监控

生活例子：你用手机拍一道数学题，上传到AI学习App，它不仅能识别题目文字，还能理解题意、给出解题步骤，这就是"图像→理解→文字输出"的跨模态理解。

能力二：跨模态生成——"文字变画面"

让AI根据一种模态的输入，生成另一种模态的全新内容。

输入	输出	典型工具
"画一只穿红外套的小熊在雪地里堆雪人"	一张精美的插画	MidJourney、DALL-E
"写一首关于秋天的诗"	一首完整的诗	ChatGPT、文心一言
"生成一段15秒的吉他独奏"	一段音乐	Suno
"生成一段猫咪弹钢琴的视频"	一段逼真的视频	Sora

生活例子：电商运营不需要请设计师画海报了，只要用文字描述想要的画面，AI就能生成，这就是"文字→图像"的跨模态生成。

能力三：多模态融合——"同时看、同时听"

让AI同时接收多种模态的输入，综合分析后给出结果。

输入：一张商品照片 + 一段用户评论("这个颜色跟图片不一样")
AI综合分析：图片颜色 + 文字描述 → 判断"可能存在色差问题，建议核实"

生活例子：GPT-4o能同时看你的屏幕截图、听你的语音提问，然后综合两种信息给出回答。你不用打字，也不用单独上传图片，直接语音说"帮我看看这张截图里的数据有什么问题"，它就能搞定。

三、多模态大模型是怎么做到的？(通俗版)

你不需要懂底层的技术细节，但理解核心思路有助于你判断一个产品到底行不行。

核心思路：把所有信息"翻译"成同一种"语言"

多模态大模型的关键，是把不同类型的信息，都转换成统一的内部表示。

打个比方：

我们想象有一个联合国的会议，有中国代表说中文、英国代表说英文、日本代表说日文。他们怎么沟通？需要一个翻译官，把所有语言都翻译成同一种"工作语言"(比如英文)，然后统一讨论。

多模态大模型做的事情跟这个一模一样：

文字输入 → [文字编码器] → 统一内部表示 ← [图像编码器] ← 图片输入
                                      ↓
                                [统一处理/理解]
                                      ↓
                                  输出结果
                                  ├── 文字
                                  ├── 图片
                                  └── 语音

文字编码器：把文字翻译成统一的"内部表示"
图像编码器：把图片翻译成统一的"内部表示"
语音编码器：把声音翻译成统一的"内部表示"

所有的信息都变成同一种"语言"之后，模型就能统一处理了，这也就是为什么多模态模型能实现"文字生成图片"(输入文字→翻译成内部表示→图像解码器→生成图片)的原因了。

为什么之前做不到？

两个原因：

每种模态太不一样了：文字是一维的(一串字符)，图片是二维的(像素矩阵)，视频是三维的(像素+时间)。要把这么不同的东西"统一"起来，需要非常强大的模型架构。

数据量要求巨大：要想让模型同时理解文字和图片，需要海量的"图文配对"数据，比如几亿张带文字描述的图片，互联网发展到今天才积累了足够的训练数据。

Transformer架构的出现，是关键的突破口——上一课我们讲过的"注意力机制"，不仅能处理文字，也能处理图像和语音，这为多模态统一提供了技术基础。

四、主流多模态大模型盘点

别被眼花缭乱的产品名搞晕了，按功能分类就清楚了：

文生图(文字→图片)

工具	特点	适合谁
MidJourney	艺术感强，画面精美	设计师、插画师
DALL-E 3	跟ChatGPT无缝集成，理解能力强	日常用户
通义万相(阿里)	中文理解好，免费额度多	国内用户
文心一格(百度)	中文场景优化	国内用户

文生视频(文字→视频)

工具	特点	现状
Sora(OpenAI)	生成视频逼真度极高，时长可达60秒	尚未完全开放
Runway	支持多种视频编辑功能	已商用
可灵(快手)	国产，效果不错	已开放使用

文生音乐(文字→音乐)

工具	特点
Suno	输入文字描述或歌词，生成完整歌曲(含人声)，效果惊艳
通义万象音乐	阿里出品，中文歌曲效果好

全能型多模态(文字+图片+语音)

工具	特点
GPT-4o(OpenAI)	能同时看图、听语音、输出文字和语音，延迟极低
文心一言(百度)	文字+图片+语音多模态，中文能力强
通义千问(阿里)	多模态能力全面，开源生态好
Kimi(月之暗面)	超长上下文窗口(200万字)，擅长处理长文档

五、多模态AI正在改变哪些行业？

场景一：教育——拍照搜题 + AI讲解

以前：学生遇到不会的题，要么问老师(老师不在)，要么搜题App(只给答案不给过程)。

现在：用多模态AI，拍一张题目的照片，AI不仅能识别题目内容，还能：

分析考察的知识点

给出详细的解题步骤

生成类似的练习题帮你巩固

这就是"图像→理解→文字输出"的多模态能力。整个过程中，AI同时处理了图像(题目照片)和文字(解题过程)。

场景二：电商——上传商品图 → AI生成全套营销物料

以前：电商运营需要找设计师做商品主图、找文案写详情页、找剪辑师做短视频，三个人忙一周。

现在：用多模态AI的流程：

1. 上传商品照片 → AI自动识别商品特征
2. 自动生成商品标题和详情文案(图片→文字)
3. 一键生成多个风格的主图/海报(文字→图片)
4. 输入卖点描述 → 生成15秒营销短视频(文字→视频)

一个人一天就能完成原来三个人一周的工作量。

场景三：医疗——影像辅助诊断

以前：医生看CT影像全靠经验，一份CT片子要仔细看5-10分钟，有时会遗漏早期病变。

现在：多模态AI能同时处理：

CT影像(图像模态)——自动标记可疑区域

患者病历(文字模态)——结合病史综合判断

检验报告(数据模态)——参考各项指标

AI不是取代医生，而是当"第二双眼睛"，帮医生发现可能遗漏的细节，提高诊断准确率。

六、多模态的未来：从"看和听"到"触摸和行动"

目前的多模态AI主要处理"看、听、说"，但未来的方向更加令人兴奋：

具身智能：让AI控制机器人身体，在真实世界中行动，比如机器人做饭、打扫卫生

实时多模态交互：像跟真人视频通话一样，AI能实时看到你的表情、听到你的语气、做出自然的回应

全感官模拟：AI不仅能看和听，还能"触摸"，通过触觉手套等设备

这些技术目前还在早期阶段，但发展速度极快。你现在学多模态的原理，正好为未来的应用打下基础。

✅ 本课知识卡片

┌─────────────────────────────────────────────────┐
│       第08课 · 核心概念速查                        │
├─────────────────────────────────────────────────┤
│ "模态" = 信息的类型(文字/图片/声音/视频等)         │
│                                                   │
│ 多模态AI三大能力：                                  │
│   跨模态理解(看图说话)                          │
│   跨模态生成(文字→图片/视频/音乐)                  │
│   多模态融合(同时处理多种信息)                     │
│                                                   │
│ 核心原理：把不同模态信息"翻译"成统一的内部表示        │
│                                                   │
│ 关键产品：                                         │
│   文生图：MidJourney / DALL-E / 通义万相            │
│   文生视频：Sora / 可灵                             │
│   文生音乐：Suno                                   │
│   全能型：GPT-4o / 文心一言 / 通义千问 / Kimi        │
└─────────────────────────────────────────────────┘

🎓 第一周学习总结：8课打通AI认知

恭喜你！到这里，第一周"AI认知启蒙"的8课全部学完了。

让我们用一张知识地图，把这一周学到的所有核心概念串起来：

第1周 · AI认知启蒙 — 知识地图

01-什么是AI ──→ AI的4个特征：自主性、适应性、泛化性、目标导向性
                   AI ≠ 编程，AI ≠ 机器人
                   AI大家族：AI → 机器学习 → 深度学习 → 大模型
      │
02-AI发展史 ──→ 六个阶段螺旋上升：孕育→诞生→一寒→二寒→积累→爆发
                   关键节点：1956达特茅斯、2012 AlexNet、2017 Transformer、2022 ChatGPT
      │
03-AI的大脑 ──→ 传统编程 vs 机器学习(手把手教 vs 自己学)
                   神经网络 = 模仿人脑的数学模型
                   深度学习 = 层数很深的神经网络（CNN/RNN/Transformer）
      │
04-生成式AI ──→ 判别式AI(评论家) vs 生成式AI(厨师)
                   GAI = 技术，AIGC = 产出
                   三步原理：学规律→理解需求→生成内容
      │
05-大模型 ──→ 三大特征：参数大、数据广、能力泛
                   涌现能力 + 预训练+微调
                   国内代表：文心一言 / 通义千问 / DeepSeek / Kimi / 豆包
      │
06-Transformer ──→ 注意力机制 = 让AI学会"聚焦重点"
                    "数据-参数-训练"三件套
                    为什么能"大一统"所有AI领域
      │
07-大语言模型 ──→ 逐字生成机制 + Token + 上下文窗口
                    主流LLM对比(GPT / Claude / DeepSeek / 文心 / Kimi)
      │
08-多模态大模型 ──→ 跨模态理解 + 跨模态生成 + 多模态融合
                      核心原理：把不同模态信息翻译成统一内部表示
                      代表产品：GPT-4o / Sora / MidJourney / Suno