📚 MiniMind 笔记:大模型从零实现的完整路径
MiniMind 系列笔记目录——从 Tokenizer、Embedding 等基石,到 Transformer 架构、MoE、KV Cache,再到 SFT、DPO、PPO 算法的完整学习路径
·3 min read·499 字
# LLM# MiniMind# Transformer
MiniMind 系列笔记目录——从 Tokenizer、Embedding 等基石,到 Transformer 架构、MoE、KV Cache,再到 SFT、DPO、PPO 算法的完整学习路径
从 BPE、WordPiece、Unigram 的算法对比,到 GPT-2 / GPT-4 分词器的工程演进,再到 Tokenizer 对大模型能力边界的深远影响