# 优化器(1 篇)

🛠️ 4.5 训练技巧:优化器、初始化、正则化与超参数

让深层网络真正训练得动、训练得好的关键技巧:从 SGD 到 AdamW 的优化器演进、He/Xavier 初始化、BN/LN、Dropout、超参数搜索。

·9 min read·1616
# 深度学习# 优化器# Adam# BatchNorm# Dropout# 权重初始化