文章目录
- 1 各个击破
- 2 一步到位
- 3 两种策略的对比
生成式学习的两种策略:各个击破、一步到位
对于文本生成:把每一个生成的元素称为token,中文当中token指的是字,英文中的token指的是word piece。比如对于unbreakable,他的word piece指的是:un break able三个元素
对于图片生成:每一步会生成像素
1 各个击破
各个击破策略对应的模型是: Autoregressive (AR) model
对于文本生成来说,一个字一个字的生成,每一步都会计算一次概率密度分布
对于图像生成来说,一个像素一个像素的生成
2 一步到位
一步到位策略对应的模型是:Non-autoregressive (NAR) model
对于文本生成来说,一次性计算好所有token的概率密度分布。
3 两种策略的对比
速度:一次到位更快
品质:各个击破策略的生成品质更好
应用:各个击破常用于文字,一次到位常用于影像
两种策略也可以结合使用