【NLP 25、模型训练方式】

目录

一、按学习范式分类

1. 监督学习（Supervised Learning）

2. 无监督学习（Unsupervised Learning）

3. 半监督学习（Semi-supervised Learning）

4. 强化学习（Reinforcement Learning, RL）

5. 迁移学习（Transfer Learning）

6. 自监督学习（Self-supervised Learning）

二、按训练技术分类

1. 数据增强（Data Augmentation）

2. 正则化（Regularization）

3. 优化算法（Optimization Algorithms）

4. 模型集成（Ensemble Learning）

5. 分布式训练（Distributed Training）

三、按任务特性分类

1. 在线学习（Online Learning）

2. 元学习（Meta-Learning）

3. 课程学习（Curriculum Learning）

四、典型应用场景

五、选择训练方法的关键因素

你的痛苦，我都心疼，想为你解决

—— 25.2.15

一、按学习范式分类

1. 监督学习（Supervised Learning）

核心思想：使用带有标签（已知输入-输出对）的数据训练模型。
常见任务：分类（如垃圾邮件识别）、回归（如房价预测）。
典型方法：
- 梯度下降法：通过反向传播调整模型参数，最小化损失函数。
- 批量训练（Batch Training）：每次迭代使用全部数据计算梯度。
- 小批量梯度下降（Mini-batch Gradient Descent）：每次使用一小部分数据（平衡速度和稳定性）。
- 随机梯度下降（SGD）：每次使用单个样本（收敛快但噪声大）。

2. 无监督学习（Unsupervised Learning）

核心思想：从无标签数据中学习数据的内在结构。
常见任务：聚类（如客户分群）、降维（如PCA）、生成（如GAN生成图像）。
典型方法：
- K-Means聚类：通过迭代优化簇中心和样本分配。
- 自编码器（Autoencoder）：学习数据的低维表示。
- 生成对抗网络（GAN）：生成器和判别器对抗训练。

3. 半监督学习（Semi-supervised Learning）

核心思想：结合少量标注数据和大量未标注数据训练。
适用场景：标注成本高（如医学图像分析）。
典型方法：
- 自训练（Self-training）：用已训练模型预测未标注数据，扩展训练集。
- 一致性正则化（Consistency Regularization）：鼓励模型对扰动后的未标注数据预测一致（如FixMatch）。

4. 强化学习（Reinforcement Learning, RL）

核心思想：通过试错与奖励机制训练智能体（Agent）。
常见任务：游戏AI（如AlphaGo）、机器人控制。
典型方法：
- Q-Learning：学习状态-动作价值函数。
- 策略梯度（Policy Gradient）：直接优化策略函数。
- 深度确定性策略梯度（DDPG）：结合深度学习和Actor-Critic框架。

5. 迁移学习（Transfer Learning）

核心思想：将预训练模型的知识迁移到新任务。
典型应用：
- 微调（Fine-tuning）：在预训练模型（如BERT、ResNet）基础上调整参数。
- 特征提取：冻结预训练层，仅训练新分类层。

6. 自监督学习（Self-supervised Learning）

核心思想：通过设计辅助任务（Pretext Task）自动生成标签。
典型方法：
- 对比学习（Contrastive Learning）：如SimCLR，通过对比样本增强视图。
- 掩码语言建模（Masked Language Modeling）：如BERT预测被遮蔽的词语。

二、按训练技术分类

1. 数据增强（Data Augmentation）

目的：增加数据多样性，防止过拟合。
方法：
- 图像：旋转、裁剪、加噪声。
- 文本：同义词替换、回译（Back Translation）。
- 音频：变速、加背景噪声。

2. 正则化（Regularization）

目的：限制模型复杂度，提高泛化能力。
方法：
- L1/L2正则化：在损失函数中添加参数惩罚项。
- Dropout：随机丢弃神经元（如全连接层设置0.5丢弃率）。
- 早停法（Early Stopping）：验证集性能不再提升时终止训练。

3. 优化算法（Optimization Algorithms）

常用优化器：
- Adam：结合动量（Momentum）和自适应学习率（如NLP任务常用）。
- RMSProp：自适应调整学习率（适合非平稳目标）。
- AdaGrad：稀疏数据优化（如推荐系统）。

4. 模型集成（Ensemble Learning）

目的：结合多个模型提升鲁棒性。
方法：
- Bagging：并行训练多个模型并投票（如随机森林）。
- Boosting：串行训练，纠正前序模型的错误（如XGBoost）。
- Stacking：用元模型组合基模型的输出。

5. 分布式训练（Distributed Training）

目的：加速大规模数据/模型的训练。
方法：
- 数据并行：多GPU同步训练（如PyTorch的DataParallel）。
- 模型并行：将模型拆分到不同设备（如大型Transformer）。

三、按任务特性分类

1. 在线学习（Online Learning）

特点：模型逐步更新，适应数据流（如推荐系统实时反馈）。

2. 元学习（Meta-Learning）

特点：学习“如何学习”，快速适应新任务（如小样本学习）。

3. 课程学习（Curriculum Learning）

特点：从简单到复杂逐步训练（模仿人类学习过程）。

四、典型应用场景

方法	适用场景
监督学习	数据标注充足（如图像分类、文本情感分析）
半监督学习	标注数据少，未标注数据多（如医学影像）
强化学习	动态决策场景（如游戏、机器人控制）
迁移学习	目标领域数据少，但有相关预训练模型（如NLP）
自监督学习	无标注数据丰富（如预训练语言模型）