泛化误差 也可以认为是预测时的误差。
训练误差 并不是越小越好,太小会过拟合。
获得测试集合的方法:
1):
2):例如:k-折交叉验证法, 就的每k个数据取一个座位测试集
3):就像在一个抽奖盒里面摸,训练集摸n次,测试集摸m次,但是每摸一次会把小球放回盒子里
查准率:猜“Yes”猜对的概率
差全率:猜对答案是“Yes”的概率
我们注意到(分为ABCD4个区):当A减小的时候,B会增大,是属于A+B = constant value
又有,当C减小的时候,实际上是胆怯了,不敢大胆猜“Yes"了,于是A↓,B↑,所以R↓,而A是有C带动的,减小幅度<C,于是P还是↑。所以当P增大时,P会减小。
P-R图中,面积越大,效果越好
所以:A>C and B >C.
A 和 B 的比较要看平衡点(P == R) ,平衡点越高越好 : 所以由BEP : A > B > C
不过两个端点 P = 1.0 R = 0. 我不敢苟同。