Summary:
- unspervised learning
- clustering（聚类算法）
- Anomaly detection（异常检测）
- Recommender Systems（推荐系统）
- Reinforcement Learning（强化学习）
一 、 K-means算法
1.Notion
a) K-means做的
k-means重复做的两件事中
第一件：是分配簇质心，然后将样本点距离近的变成相关的颜色
第二件：重新遍历所有相同类型的点，然后取平均值，选出新的簇质心，检测每个点距离谁最近
b) some symbol & cost function
2. k-means 聚类的步骤
a) Random initialization k
簇质心随机选择样本中的点，然后循环多次选择不同的样本为簇质心，用于来找到 J 最小的时候的簇质心，次数如果太多也会降低效果
b ) how many k do we need ?
i . elbow method(肘部法则)
当我们将k 从1增加到m时候，代价函数 J 的函数图像会从大到小的递减，函数会有一个从递减迅速到缓慢的点，类似于人类的肘部 （但是有时很多J都是平缓下降的 没有肘部）
二 、 Anomaly detection
1. notion
如何计算正态分布的两个变量
2. 计算步骤
- 首先算出每一个特征的均值和方差
- 利用每个特征的方差和均值算出某一个样本中的概率p(x)
- 用计算出的p(x)和阈值比较，如果满足则表示有问题
- 查看算法在交叉验证集中没能检测出的异常，然后考虑是否需要新建一个特征，使得发现这些异常
- 原理： 算出每个样本的feature相较于所有样本中的异常大或者小的feature，然后p(x）乘出来会很小所以标记为异常
3. algorithm evaluation system（异常评估系统）
4 . Anomaly detection VS supervised learning
a) how to choose right algorithm
- 当有很少的正样本时，异常检测算法通常是更合适的选择，负样本用于算p(x)的参数，而正样本只用于测试集中的交叉验证集，用于参数调整和评估
- 异常检测适用于经常出现新的异常，以前样本不包含的异常，而监督学习适用于垃圾邮件类对类型基本不变的情况
5. choose feature
因为异常检测算法很难找出要忽略的特征 所以选择特征是很重要的
首先根据plt.hist函数画出直方图，查看是否类似高斯曲线,如果是则可以直接用，如果不是则对x进行变化，变成x的函数。最后再形成高斯曲线的形式
三、Recommended systems （推荐系统）
1.notion
2. 协同过滤算法
假如我们无法从样本中获取足够的特征时候，怎么才能使用线性回归来
a) cost function
b) gradient descent
3. Mean Normalization（均值归一化）
作用： 当新用户进行预测时，会直接全部都预测为0，但均值归一化会出手，使得等于已评价用户的平均值。
4. build collaborative filtering algorithm by tensorflow
5 . 协同过滤和基于内容的协同过滤对比
6 . 从大型目录中推荐
第一步：检索，找到许多大范围的可以推荐的相似电影
第二步：排名，将用户和检索到的电影的特征向量都输入到这个神经网络中去，得到用户对电影的评分预测值
四 、 Reinforcement learning
做一个奖罚机制，告诉他什么时候做的好，什么时候做不好，在学习的过程中，经常会看到四个变量：状态，行动，奖励，下一个状态
1 . reward of reinforcement learning
最终的奖励不仅仅是单独和目的地的值有关，还有到达的时间有关，奖励等于一步一步的时间的加权值到最后终点的值的乘积
2 . decision on reinforcement learning
找到一个函数，告诉我们程序下一步需要往哪里
3 . import notation
4 . State action value function（状态动作价值函数）
**Q（state,action)**在某个状态时做出不同动作得到的奖励，如果有办法计算每一个状态的不同动作对应的Q（s,a)则可以得到最大的奖励
5 . Bellman Equation (贝尔曼方程)
a)notion
b) Explanation of Equation
c) random or stochastic environments（模拟随机的环境）
因为实际的环境中，机器不能完全按照我们的思想去进行，有一定的概率犯错，所以最大化的奖励需要取好多次折扣奖励的平均值，也叫期望
6. 算法的改进
a)mini-batch
既可以用于supervised learning 也可以用于强化学习
作用： 监督学习中，当数据量很大的时候，做梯度下降时，每次只看前一次的数据集的子集，所以迭代的更快
b) soft-update
强化学习算法更好的收敛
a)mini-batch
既可以用于supervised learning 也可以用于强化学习
作用： 监督学习中，当数据量很大的时候，做梯度下降时，每次只看前一次的数据集的子集，所以迭代的更快
b) soft-update
强化学习算法更好的收敛
