📚 MiniMind 笔记:大模型从零实现的完整路径
MiniMind 系列笔记目录——从 Tokenizer、Embedding 等基石,到 Transformer 架构、MoE、KV Cache,再到 SFT、DPO、PPO 算法的完整学习路径
·3 min read·499 字
# LLM# MiniMind# Transformer
MiniMind 系列笔记目录——从 Tokenizer、Embedding 等基石,到 Transformer 架构、MoE、KV Cache,再到 SFT、DPO、PPO 算法的完整学习路径
NLP 基础入门:从自然语言处理的定义与发展历程,到中文分词、实体识别、机器翻译等核心任务,再到词向量(VSM、N-gram、Word2Vec、ELMo)的发展历程。
深度学习领域的 18 个核心术语速览:从感知机、神经网络、激活函数到 Transformer、残差连接、Embedding,建立完整的概念地图。
深入讲解三大核心架构:CNN(卷积神经网络)、RNN/LSTM/GRU(循环神经网络)与 Transformer(注意力机制),包含直觉类比、数学推导和架构对比。