Day 8 classification :Probabilistic Generative Model
今天上了一整天的课, 本来实在是更新不动了,但是看到《剑来》更新了,想一想这本书里面一直强调的成功的feature – 心性,嗯心性坚毅就好!主人公陈平安练拳一百万次,我才第八天而已,加油
主要任务
这里老师举了一堆案例,impressive – face reconization 因为之前接单刚搭了个项目 还赚了1k,哈哈
可以用来预测的属性(之后可以找到关键特征 extract features)
classification as Regression ?
这里还是有必要花一些时间的, 因为我一直以来的想法就是这个样子,也不明是非对错(学的一知半解的)大致思想就是下面
注意一下这里没有提到Loss function
就是说 我让一条直线, 橙色点输入进去小于0(sigmoid 之后接近-1) 蓝色点输进去 大于0(sigmoid后接近+1),最后可以找到绿色的线;loss 的话……我去我不会;
Q:这里的loss function 是什么?
sigmoid(wx +wx+b)-1 和 +1的平方;每一个点输进去哈
这些点是更加纯正的类,反而被error了,不合理 ,因为我们定义的模型是 越接近1 越是该类; 大于1 的点在我们这个模型里被认为是不应该存在的,超过了我的值域(ps:刚刚小憩了半个小时,真管用哇,本来想不通的东西困得不行还头疼,一下子想清楚啦哈哈)
另一个不合理:
当给类进行 -1 0 1 2 ……编码时候, 会认为 -1 class 和 0 class 离得比较近,实际上可能并没有这种距离关系
Ideal Alternatives (正确的做法)
这里把simoid去掉没有接近不接近1 的思想;g(x) 是自己学出来的一个function;
这里的loss 无法求梯度;
下面介绍贝叶斯
这里放了一个简单的推导:
利用x 的抽样分布来估计概率
对于 0的不存在的数据,假设它的(x的)分布符合某一个高斯分布,以此来估计概率
how to find the u and σ \sigma σ 也就是找到概率最大的生成这79个点的高斯分布
MAximum Likelihood (极大似然)
这里应该是用了矩估计;当然了我们也可以进行求导的那种极大似然解法
bad Result
how to fix ?
xdm 绷不住了,学到这里的时候图书馆的朗读亭里有小姐姐唱歌了 爱的回归线 哈哈哈哈哈哈哈哈哈哈哈(那个朗读亭隔音不好,很多同学以为那个地方可以隔音),唱的还挺好听的;
平均数还和原来的算法一样
这里有一点不明白 为什么这样就可以表示它的方差?(加权平均) 为啥不是直接把140个点求一个方差呢?
more Result
Three Steps 三板斧
other thinking
Some math一些数学的推导:
posterior probability 后验概率:考虑了一系列随机观测数据的条件概率。对于一个随机变量来说,量化其不确定性非常重要。其中一个实现方法便是提供其后验概率的置信区间。
从这个式子可以看出,共用 Σ \Sigma Σ 的时候,为什么 boundary 会是一个直线
老师讲的真牛x,这里直接串起来了,后面紧接着讲logistic Regression