整理中

pdb调试器

python dis操作(反汇编) python -m dis “print(‘hello’)”

矩阵求导？

线性回归->逻辑回归、Scikit-Learn 二分类、多分类(OVO/OVR/MVM、softmax)。如果不是分类问题的话，是什么问题呢

损失函数：极大似然估计、相对熵、交叉熵

正则化

涌现能力？

神经网络是在做特征提取

图像进行稀疏编码

softmax计算概率

位置编码 Learned/RoPE/ALiBi/Relative

激活函数有哪些？大模型们选择了哪个 GELU/ReLU/SwiGLU

归一化？归一化的位置？

混合专家架构MOE？中间有个路由，去判断该由哪个专家去处理

关于如何保证Router均衡地路由到不同专家，这个问题问得非常棒！业界通用的做法是引入负载均衡损失（Load Balancing Loss）。以DeepSeek模型为例，会在训练的Loss函数中加入一个辅助项，监控每个专家的使用频率。当一个专家被分配了过多的token时，它产生的惩罚Loss就会变大。这样在反向传播更新权重时，Router就会调整自身的网络参数，避免过度依赖该专家，强制将token均衡分配给其他专家。

长上下文的难点在哪？

训练的参数：批次大小、学习率、预热、衰减、优化器adam(adam_beta1: Adam系列优化器中一阶矩估计（动量）的指数衰减率。默认为0.9。 adam_beta2: Adam系列优化器中二阶矩估计（方差）的指数衰减率。默认为0.95。 adam_epsilon: Adam系列优化器中用于数值稳定性的epsilon值。默认为1e-8。 )、权重衰减、梯度裁剪

大模型怎么解析图片(VIT) 用的是编码器？

DBSCAN 本身并没有被直接嵌入到大模型的训练或推理架构中（你不会在 Transformer 的代码里找到 DBSCAN），但在大模型的研究、评估和数据工程环节，它正变得越来越重要。

简单来说：DBSCAN 不是大模型的”零件”，而是大模型生态中的”诊断工具”和”数据过滤器”。

以下是 DBSCAN 在大模型领域最核心的几个应用场景：

1. 模型内部表征分析（Mechanistic Interpretability）

这是目前最前沿的用法。研究者将大模型中间层的隐藏状态提取出来，用 DBSCAN 进行聚类，以理解模型”学到了什么”。

• 发现语义簇：对同一层不同 token 的 embedding 做 DBSCAN，可以发现模型是否自发地将语法类别（名词/动词）、情感倾向、甚至事实知识编码成了独立的稠密簇。
• 识别异常激活：DBSCAN 天然能识别噪声点（标记为 -1）。如果某些 token 的表征无法归入任何簇，往往意味着模型在该处出现了”困惑”或错误处理，这对定位幻觉（Hallucination）有重要价值。
• 对比不同模型：比较两个模型在同一任务上的表征聚类结构，可以量化它们的”认知差异”。

💡 为什么选 DBSCAN 而不是 K-Means？
大模型的表征空间是高维且高度非凸的，簇的形状不规则、数量未知。K-Means 假设球形簇且需预设 K 值，在这种场景下几乎失效；而 DBSCAN 基于密度、无需预设 K、能发现任意形状的簇，完美适配神经网络表征的几何特性。

2. 训练数据去重与质量过滤

大模型训练数据动辄数万亿 token，其中包含大量重复和低质内容。DBSCAN 在这里扮演关键角色：

• 语义级去重：先对文本做 embedding，再用 DBSCAN 聚类。同一个高密度簇内的样本高度相似，只保留代表性样本即可大幅减少冗余，同时避免过度删除（相比精确哈希匹配更鲁棒）。
• 低质/有害数据识别：低质量文本（如乱码、机器生成垃圾）在嵌入空间中往往形成稀疏区域或被标记为噪声点，可以直接过滤。
• 课程学习排序：根据簇的密度安排训练顺序——先学高密度簇（简单、典型样本），再学低密度区域（困难、边缘样本），已被证明能提升收敛效率。

3. 评估与基准测试构建

• 自动构建评测集：对海量未标注数据做 DBSCAN 聚类，从每个簇中采样代表性样本，可以自动生成覆盖多样化的评测基准，避免人工标注偏差。
• 输出多样性评估：对模型生成的多个回答做 embedding + DBSCAN，簇的数量直接反映生成多样性；如果所有回答都落入同一个簇，说明模型陷入了模式崩塌。

4. RAG 系统中的知识组织

在检索增强生成中，DBSCAN 用于对知识库文档块进行语义聚类：

• 自动发现知识主题，辅助构建层次化索引
• 检索时先在簇级别粗筛，再在簇内精排，提升召回效率和准确性

⚠️ 重要澄清：容易混淆的概念

概念	是否等于 DBSCAN	说明
Tokenizer 中的 BPE	❌	基于字节对合并，是确定性算法，与密度聚类无关
MoE 的路由机制	❌	通常用 Top-K gating 或负载均衡损失，不是 DBSCAN
向量数据库的 ANN 搜索	❌	HNSW/IVF 等近似最近邻算法，用于检索而非聚类
RLHF 中的奖励模型聚类	⚠️ 偶尔	少数研究用 DBSCAN 分析偏好数据的分布结构

💡 总结

DBSCAN 在大模型中不参与前向传播和反向传播，但它是理解和治理大模型不可或缺的外部分析工具。随着可解释性研究和数据工程的重要性日益凸显，DBSCAN（及其高维变体如 HDBSCAN）在大模型生态中的地位正在快速上升。如果你从事大模型研究或数据工程，掌握 DBSCAN 在高维嵌入空间中的应用是一项非常有价值的技能。