什么是RNN？——让网络拥有“记忆”的魔法

想象一下，你在读一本悬疑小说。你之所以能理解当下的情节，是因为你记得前几章发生了什么。传统的神经网络（比如全连接网络或CNN）就像金鱼一样，每次只看当下的一帧画面，对“过去”毫无概念。而循环神经网络（RNN），就是为了打破这个魔咒而生的。

RNN的核心，是一个循环结构。它允许信息在网络的“隐藏状态”中持续传递。简单来说，在当前时刻，RNN的神经元不仅接收当前的输入，还接收上一个时刻自己处理过的信息。这使得RNN拥有了一种对过去信息的“记忆”，能够捕捉数据在时间或顺序上的依赖关系。

如果我们沿着时间轴把它“展开”，会发现它像一个链条，同一个网络在每个时间步被重复使用。这也引出了它的一个重要特性：参数共享——在所有时间步上，模型的权重是相同的。这保证了网络在处理不同长度的序列时，都能用统一的方式提取特征。

为什么需要RNN？——没有它，序列数据将是一盘散沙

在现实生活中，充满了具有先后顺序的数据。RNN之所以被需要，正是因为传统的机器学习方法在处理这类数据时捉襟见肘。

1. 它解决了什么问题？

RNN专门为处理序列数据而生。它可以应用在多种场景中：

• 多对一：输入一个序列，输出一个结果。比如，用一句话的情感分析判断它是好评还是差评。
• 一对多：输入一个东西，生成一个序列。比如，用一张图片生成一句描述它的文字。
• 多对多：输入一个序列，输出一个序列。这是最经典的应用，比如机器翻译（输入英文，输出中文）、语音识别（输入声音信号序列，输出文字序列）。

2. 没有RNN会怎样？

如果没有RNN，处理序列数据将变得非常低效和生硬。

深度学习的“视觉基因”：一文搞懂CNN的前世、今生与局限

在深度学习的浪潮中，卷积神经网络（CNN，Convolutional Neural Network）几乎是计算机视觉的代名词。从手机相册的人脸识别，到自动驾驶的障碍物检测，CNN无处不在。

但如果你只把它当成一个“黑盒分类器”，那就太小看它了。今天我们不堆砌复杂的数学公式，而是从信号处理和设计哲学的角度，聊聊这三个核心问题：

1. CNN到底是什么？
2. 为什么非它不可？没有它会怎样？
3. 它带来了哪些“副作用”和难题？

一、什么是CNN？它不是简单的“多层感知机”

如果全连接网络是一个“事无巨细”的管家，那CNN就是一个“抓大放小”的专家。CNN的设计灵感来源于生物视觉皮层，核心在于三个关键词：局部连接、权重共享和层次化表示。

• 局部感受野：全连接网络会把图片的每个像素都连起来，参数巨大。而CNN的每个神经元只关注输入图片的一小块区域（比如 ( 3 * 3 ) 像素）。这就像用放大镜扫过图片，每次只看局部细节。
• 权重共享：同一个卷积核（滤波器）会滑遍整张图片的每个角落。这意味着，无论一只猫出现在图片的左上角还是右下角，识别它的“眼睛”和“耳朵”的那组参数是同一个。
• 层次化特征提取：CNN的底层负责识别边缘和颜色，中层组合成纹理和形状，高层则抽象出“脸”、“轮子”等语义信息。

这种结构让CNN极其擅长处理具有网格结构的数据，特别是二维图像。

二、为什么需要CNN？没有它会怎样？

你可能听说过，Transformer也能做图像分类。那为什么在很长一段时间里，CNN是视觉任务的首选？那是因为没有CNN，深度学习在图像领域根本无法落地。

1. 解决“参数灾难”

假设我们有一张 ( 224 224 ) 的彩色图片，如果用全连接网络，输入层就有 ( 224 224 3 ≈ 15 万个神经元），隐藏层哪怕只有1000个神经元，参数量也是千万级的。这极易导致*过拟合，且显存根本装不下。

CNN的解法：通过权重共享，同样的任务参数量可以降至数百万，甚至几十万。它把“无限可能”压缩成了“有限模式”，让模型在数据量有限的情况下变得可训练。

2. 解决“语义鸿沟”

在CNN出现之前，人们靠手工特征（如SIFT、HOG）来识别物体。这些特征依赖于工程师的经验，泛化能力很差。

CNN的解法：它是端到端的，直接从像素中学习最优特征。它能捕捉到人类语言难以描述的复杂纹理和模式，准确率远超传统视觉算法。

大模型中的精度划分

1. 传统双精度与单精度（FP64 & FP32）

• 结构：
  • FP32（单精度）：1位符号位 + 8位指数位 + 23位尾数位（共32位）
  • FP64（双精度）：1位符号位 + 11位指数位 + 52位尾数位（共64位）
• 特点：数值范围广，精度极高。
• 用途：大模型预训练中的反向传播梯度累积、优化器状态（如Adam）通常必须使用FP32/FP32主权重，以保证数值稳定性，防止梯度下溢。

2. 半精度与脑浮点（FP16 & BF16）

• 结构：
  • FP16：1+5+10（共16位）。指数位少，尾数位中等。
  • BF16（Brain Float 16）：1+8+7（共16位）。指数位与FP32相同，尾数位缩减。
• 特点对比：
  • FP16：精度高但范围窄，容易溢出（上溢/下溢），训练时需要配合动态损失缩放（Loss Scaling）。
  • BF16：范围广但精度稍低，能直接覆盖FP32的数值范围，不易溢出，且硬件（如英伟达Ampere架构及后续、Intel CPU）支持良好。
• 用途：大模型的训练前向传播和激活值、微调（LoRA等）和推理加速。BF16现已成为大模型训练的主流选择。

3. 新兴的8位浮点数（FP8）

你图片中列出了三种变体，这是目前最前沿的推理和轻量级训练技术：

• E4M3（4位指数，3位尾数）：
  • 精度更高（尾数多1位），动态范围较小。
  • 常用于：权重和激活值的前向传播（需要精细数值）。
• E5M2（5位指数，2位尾数）：
  • 动态范围更大（能表示更大的数），但精度较低（尾数少1位），存在特殊值（Inf/NaN）。
  • 常用于：梯度的反向传播（需要防止梯度爆炸）。
• UE8M0（无符号8位，无指数/尾数）：
  • 实际上就是整数格式（范围0-255）。
  • 常用于：大模型中的KV Cache（键值缓存）量化，用于在长上下文场景下极大幅度节省显存。

---

终极总结（核心结论）

知识蒸馏：让小模型拥有大模型的“智慧”

在人工智能飞速发展的今天，我们见证了参数量动辄百亿、千亿的“巨无霸”模型诞生。它们极其聪明，但代价是高昂的计算成本和漫长的推理延迟。如果想在手机或智能手表上运行这些大模型，显然不切实际。

有没有一种方法，既能保留大模型的强大能力，又能享受小模型的轻量与高效？

答案就是：知识蒸馏（Knowledge Distillation）。

---

一、什么是知识蒸馏？

简单来说，知识蒸馏是一种模型压缩和加速技术。它的核心思想非常符合人类的教育模式——师生学习（Teacher-Student Learning）。

在这个框架中：

一个生动的比喻：

传统训练像让学生直接翻阅整座图书馆的藏书来寻找规律；而知识蒸馏则是让一位学识渊博的老教授，把自己消化理解后的精华笔记传授给学生。学生通过模仿教授的解题思路，以极低的成本掌握同样的知识。

---

二、为什么要做知识蒸馏？

知识蒸馏的核心价值：在保持较高精度的前提下，大幅压缩模型体积和推理成本。

---

三、知识蒸馏的完整流程

graph LR
    subgraph "阶段一：训练教师模型"
        A[海量数据] --> B[大模型训练]
        B --> C["教师模型<br>（精度高，体积大）"]
    end
    
    subgraph "阶段二：知识蒸馏训练"
        D["同一份数据<br>（可无标签）"] --> C
        D --> E["学生模型<br>（体积小）"]
        C -->|软标签<br>概率分布| F[蒸馏损失<br>KL散度]
        E -->|软预测| F
        D -->|硬标签| G[学生损失<br>交叉熵]
        E -->|硬预测| G
        F --> H[总损失]
        G --> H
        H -->|反向传播| E
    end
    
    subgraph "阶段三：部署"
        E --> I[推理部署<br>手机/边缘设备]
    end

---

四、核心概念详解：温度与软标签

这是知识蒸馏最精妙的部分，也是理解它的关键。

Transformer 架构三剑客：Encoder、Decoder 与 Encoder-Decoder 的区别与应用

在深度学习自然语言处理（NLP）领域，Transformer 无疑是皇冠上的明珠。但Transformer 并不是只有一种形态。

根据任务需求的不同，它演化出了三个各具特色的分支。今天我们来拆解 Transformer 家族的三大主力：仅编码器（Encoder-only）、仅解码器（Decoder-only） 和 编解码器（Encoder-Decoder）。

一句话总结：

• Encoder-only 是“阅读理解大师”；
• Decoder-only 是“即兴演讲天才”；
• Encoder-Decoder 则是“同声传译专家”。

---

一、架构总览：一张图看懂三剑客

为了直观展示它们的区别，我们先看一张架构图：

graph TB
    subgraph "仅编码器 (Encoder-only)"
        E_IN[输入序列] --> E_ENC["编码器堆叠<br>(双向关注)"]
        E_ENC --> E_OUT[特征向量/分类结果]
    end

    subgraph "仅解码器 (Decoder-only)"
        D_IN[输入序列] --> D_DEC["解码器堆叠<br>(因果掩码/单向)"]
        D_DEC --> D_OUT[输出序列]
    end

    subgraph "编解码器 (Encoder-Decoder)"
        ED_IN[源序列] --> ED_ENC[编码器]
        ED_ENC --> ED_CROSS[交叉注意力]
        ED_DEC_IN[目标序列] --> ED_DEC[解码器]
        ED_CROSS --> ED_DEC
        ED_DEC --> ED_OUT[目标序列]
    end

核心特点

• 双向注意力机制（Bidirectional Attention）：这是它的杀手锏。在处理句子中的某个词时，它能同时看到左边和右边的所有词。就像你阅读时，会结合上下文来理解一个多义词的含义。
• 擅长“读”而非“写”：它的强项在于把一段文字压缩成高质量的向量表示（Embedding），从中提取特征。它是天生的“分析型”选手。

典型应用