多模态基础

一句话定义：让模型同时理解/生成多种模态（文本、图像、音频、视频），核心是跨模态对齐。

1. 为什么多模态

  • 现实世界信息是多模态的（图文声）。
  • 单文本模型无法处理图像/语音。
  • 多模态让 AI 更接近人类感知。

2. 核心挑战：对齐

  • 不同模态在各自空间，需对齐到统一表示。
  • 例：CLIP 把图像与文本嵌入同一空间，使"猫的图片"与"猫"文本向量相近。

3. 主流方法

方法 思路 代表
CLIP 对比学习对齐图文 OpenAI CLIP
视觉编码器 + LLM 图像编码后作 token 喂 LLM GPT-4V、Qwen-VL
原生多模态 从预训练就统一多模态 Gemini

4. 架构模式

  • 视觉编码器（如 ViT）把图像编码为向量/token。
  • 投影层把视觉特征对齐到语言空间。
  • LLM 接收图文 token 联合推理生成。

5. 应用

  • 图像理解问答（VQA）。
  • 图文生成（看图说话）。
  • OCR + 文档理解。
  • 视频理解。
  • 多模态 Agent（看截图操作 UI）。

6. 学习要点

  • 多模态核心是跨模态对齐。
  • CLIP 是对齐的经典方法。
  • 现代多模态 LLM = 视觉编码器 + 投影 + LLM。

7. 参考资料

  • "Learning Transferable Visual Models from Natural Language Supervision"（CLIP）
  • "BLIP-2: Bootstrapping LLMs with Vision"