1 问题介绍
- 假设我们有一堆新闻,每个新闻都有≥1个主题
- 我们现在只知道新闻的内容,我们希望一个算法,帮我们把这些新闻分类成主题
- 人类可以根据每个每个文章里面的单词判断主题,那计算机怎么做呢?
- ——>LDA(Latent Dirichlet Allocation)
2 方法介绍 (生成文本角度)
- LDA 创建一个“几何的”方法:假设我们有三个topic,他就创建一个三角,每个角是一个主题,然后将文件放进去,每个文件靠近他属于的那个角
- 如果一个文件包括两个主题,那么他在三角形的边上;如果一个文件三个主题都囊括了,那就在三角形的中间
那么问题是,如何知道文件应该放在哪里呢?
我们可以把LDA看成是一个生产文件的机器,不同的配置下,他会生成不同的文件
- 最好的setting,可以生成最接近于原始文件的内容,这个setting对应的主题,就是原始文件最有可能的主题
3方法介绍 (概率图角度)
- 这个是LDA的概率图
- 根据两个多项分布,获得一堆主题和一堆文字
- 把单词连在一块就是文件
这就是生成文字W和主题Z的概率,后面四个是参数。'
我们先按下不表,首先介绍一下迪利克雷分布
4 迪利克雷分布
4.1 场景假设:一个聚会
假设有一个聚会,黄色点是人,人可以出现在三角的任何位置
- 现在在三个角上放了东西,人就往三个角移动了,这样就形成了迪利克雷分布
4.2 迪利克雷分布可视化
每个角的内容对应一个α
4.3 回到topic
此时每一个点是一个三维向量,表示分别是三个主题的一个的概率
4.4 概率的概率
- 换言之,迪利克雷分布是“分布的分布”
- 三角中的每一个点,就是一个多项分布
4.5 更多的topic时的迪利克雷分布
5 回到概率分布角度的LDA
这两个迪利克雷分布分别是:已知单词,问他是哪个topic;和已知topic,问他是哪个单词
5.1 LDA如何生成document
5.1.1 生成topic
- 采样迪利克雷分布得到一个点(每个topic的概率)
- ——>得到multinomial 分布
- 然后采样这个多项分布,生成topic
5.1.2 根据topic 生成对应的word
这时候就需要另一个迪利克雷分布了
- 每个topic对应了一个词汇分布(多项式分布)
把得到的词连起来,最终生成一个文件
5.2 找到最相似的article
最详细的article对应的两个迪利克雷分布,就是可能的topic对应的分布
5.3 总结
一个迪利克雷分布+多项式分布生成topic,另一个生成对应的单词
5.4 文件的长度
长度根据泊松分布采样
参考内容:Latent Dirichlet Allocation (Part 1 of 2) (youtube.com)