资料

• 课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.php
• Github：https://github.com/Fafa-DL/Lhy_Machine_Learning
• B站课程：https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800

一、機器學習基本原理

机器学习本质：机器自动寻找一个最合适的函数f

根据函数的输出可以分为两类：

• Regression（回归）：函数的输出是一个数值
  例如：输入输入今天的PM2.5值、温度、臭氧量等，输出明天的PM2.5值
• Classification（分类）：函数的输出是一个类别（选择题）
  例如：判断一封邮件是否为垃圾邮件
• Structured Learning/Generative Learning（结构化学习/生成式学习）：生成有结构的物件（如影像、文句等），更复杂

寻找函数f的步骤：

1. 第一步：选定候选函数的集合Model；
   深度学习中类神经网络的结构（如：CNN、RNN、Transformer、Decision Tree等等）指的就是不同的候选函数集合，函数集合表示为H
   

目的：缩小选择的范围；技巧性强
训练资料少时，L(f)小但测试差的函数就会多，这个时候画出集合范围要保守（小）；反之测试数据多时，上述L(f)小但测试差的函数就会少

2. 第二步：订出评价函数好坏的标准；
   使用Loss函数，将f做出输入，输入L函数：L(f)，根据输出的大小，评价函数（越大越差），L的计算过程取决于training data
   

常用方法：

• supervised Learning（全部都有标准答案）
  semi-supervised Learning（没有标准答案，要定义评量标准）
  RL(reinforcement Learning)等等

3. 第三步：找出最好的函数，最佳化Optimization
   

将集合H中的所有函数带入L中，寻找Loss最小值
常用方法：Gradient Descent（Adam，AdamW…），Genetic Algorithm等等

超参数：手调参数

二、生成式学习的两种策略

生成式学习：生成有结构的物件

案例：

• 生成影片：https://imagen.research.google/video/ 或https://audioldm.github.io/
• 生成语音：https://dongchaoyang.top/InstructTTS/
• 生成声音：https://audioldm.github.io/

两种策略

• 策略 1：各个击破AR（Autoregressive Model）：上一个生成才生成下一个
• 策略 2：一次到位NAR（Non-autoregressive Model）：一次性生成所有的
• 策略比较：
  • AR：速度慢，答案质量好，适合生成文字
  • NAR：速度快，答案质量较差，适合生成图像（影像像素过多，AR太慢）

综合使用： 批次

1. 以语音合成为例：生成分为两个阶段，AR决定大方向，NAR生成最后产物
   
2. 将“一次到位”改为“N此到位”（类似Diffusion Model）
   

三、能够使用工具的AI

1. New Bing：New Bing是有搜寻网络的，但什么时候进行搜寻是由机器自己决定的
   

2. WebGPT：也是文字接龙
   
   步骤：

   • 输入”Which river is longer, the Nile or the Yangtze?”（翻译：拿一条河比较长，尼罗河还是扬子江？）
   • 提取关键字（如：”Nile vs Yangtze”、”nile length”、”Yangtze length”）
   • 对关键字进行网络搜索，根据算法对搜索网页资料的部分段落进行收藏（注意只收藏文字段落，而不是整个网页）
   • 整理生成答案（答案后会附上引用的网址）

3. Toolformer：使用多种不同的工具
   

四、延伸学习

深度学习
梯度下降
反向传播
卷积神经网络
自注意力机制