0%

大模型基础

大模型基础

以ChatGPT为例,ChatGPT所依赖的基础知识包括深度学习、⾃然语⾔处理(Natural LanguageProcessing,NLP)[通过时序神经网络实现的]、循环神经⽹络((Recurrent Neural Network,RNN))和注意⼒机制

张量(Tensor)

LLM中,基本的操作数据类型就是张量(可以理解为是多维数组或矩阵)。

标量是0维张量,向量是1维张量,矩阵是2维张量。在深度学习中,经常处理高维张量

欢迎关注我的其它发布渠道