怎么读论文
- 在第一遍阅读的时候,只需要看题目,摘要和结论,先看题目是不是跟我的方向有关,看摘要是不是用到了我感兴趣的方法,看结论他是怎么解决摘要中提出的问题,或者怎么实现摘要中的方法,然后决定我要不要继续看第二遍
- 在第二遍阅读的时候不需要关注太过工程性的技巧,比如输入数据是怎么转换的,网络是怎么做分布式训练的,第二遍阅读重点关注方法上的创新或者方法上的技巧,因为工程上的技巧很复杂,不容易复现,但是方法上的创新相对比较简单
AlexNet论文精读感想
- 在介绍部分,我们不能只介绍自己使用的方法,这很窄,比如我想用DETR,那我就不能只介绍DETR,我可以介绍一下传统的OCR,比如CNN,YOLO等
- 对于图片领域来说,整个机器学习就是在做压缩,将本来人能看懂的输入图片,经过一个模型,最后压缩成一个向量,这个向量机器能够识别,机器能够学习之后,就能够拿它来做搜索、分类等各种各样的事情
- 权重衰减(weight decay)在深度学习中等价于L2正则化,都是让权重w的更新额外包括一个权重衰减项
λ
w
k
λw_k
λwk,从而当权重特别大的时候,w的更新也会特别大。而往往刚开始的损失特别大,即模型会让权重w以特别大的步伐向较小的权重w迈进,最终导致不让模型学习到过大的权重,权重w的更新规则如下:
- 正则化是机器学习和统计建模中常用的一种技术,旨在减少模型的过拟合,提高模型的泛化能力。通过对模型添加约束或惩罚,正则化方法鼓励模型学习更加平滑或更简单的预测函数,从而不会对训练数据中的随机噪声做过度复杂的拟合。在实践中,这通常意味着对模型参数(如权重)的大小进行限制。
- L1正则化:向损失函数添加参数的绝对值之和作为惩罚项。L1正则化倾向于产生稀疏的参数向量,即大多数参数值为零,这有助于特征选择,因为它可以自动忽略不重要的特征。
- L2正则化:向损失函数添加参数的平方和作为惩罚项。L2正则化鼓励参数值趋向于较小的大小,从而避免任何参数对模型的预测产生过大的影响。这种方法对于处理参数间高度相关的数据特别有效。
ResNet论文精读感想
- 在计算机视觉领域,可以重点关注某些竞赛的冠军、亚军,特别是那些提出了不一样的架构、方法的论文