【讲座分享】| 复旦大学张奇教授——《自然语言发表论文如何打怪升级?NLP顶会论文发表》

文章目录

  • 1 基础关
    • 1.1 基础书籍
    • 1.2 提高书籍
    • 1.3 课程链接
    • 1.4 编程实战
  • 2 阅读关
    • 2.1 分层过滤
    • 2.2 集团作战,信息获取
    • 2.3 论文如何泛读
  • 3 动机 方向关
    • 3.1 快速发论文
    • 3.2 好的研究
  • 4 写作关
    • 4.1 论文写作流程
    • 4.2 从读者角度出发
    • 4.3 每一部分怎么写
      • 4.3.1 Abstract摘要
      • 4.3.2 Introduction 介绍
      • 其他
      • 4.3.3 实验设计

今天听了~复旦大学张奇教授的报告——《自然语言发表论文如何打怪升级?自然语言顶会论文发表》内容,我觉得收获很大,实际上我在听报告之前并不知道张奇教授竟然就是我前段时间阅读的一本自然语言书籍《大规模语言模型,从理论到实践》的作者,听报告的时候才发现,属实有点惊喜哈哈哈

张奇教授将论文最后的成功发表,分为了四关,一路打怪升级,最后达成目标!张奇教授讲述的时候可能是站到自然语言处理的角度,但是我觉得对计算机其他方向也都是适用的

张奇教授提到的四关分别是基础关,阅读关,动机关,写作关

1 基础关

基础需要我们阅读一些经典书籍,系统全面掌握相关知识

经典书籍推荐

1.1 基础书籍

1,2点 感觉做AI的都需要看,3的话做自然语言处理看即可

1 周志华老师的《机器学习》又叫做西瓜书

2 《神经网络与深度学习》

3 《统计自然语言处理》

1.2 提高书籍

1李航老师《统计学习方法》

2《深度学习》Ian Goodfellow、Yoshua Bengio 和Aaron Courville撰写的花书

1.3 课程链接

老师推荐了一些课程链接

1 神经网络与深度学习 邱锡鹏 https://www.bilibili.com/video/BV13b4y1177W

2 李宏毅2020机器学习深度学习(完整版)国语 https://www.bilibili.com/video/BV1JE411g7XF

3 斯坦福CS224N《深度学习自然语言处理》课程(2021) by Christopher Manning https://www.bilibili.com/video/BV1nP4y1j7rZ

4 神经网络与深度学习 邱锡鹏 https://www.bilibili.com/video/BV13b4y1177W

上面很多课程我都没看过,但我看了北京邮电大学鲁鹏老师的课程,我觉得对我帮助很大

计算机视觉与深度学习 北京邮电大学 鲁鹏 清晰版合集(完整版)_哔哩哔哩_bilibili

1.4 编程实战

我觉得李沐老师的动手深度学习非常棒,可以来提高代码实战能力

《动手学深度学习》 — 动手学深度学习 2.0.0 documentation (d2l.ai)

张奇老师提到两点

如果可以在一周之内

不看别人的代码手搓实现Transformer等基本架构,R-NET基本架构等就算基本入门了

2 阅读关

每年相关论文有上万篇,arxiv上每天也放出很多相关论文,怎么阅读?

老师给出的建议是分层过滤,集团作战,公众号热点,一些文章核心看motivation,一些文章重点看

2.1 分层过滤

从各大会议筛选出一万多篇

每个会议的Best Paper,oral(口头报告论文),Session,重点单位论文筛选出两千多篇

然后根据title,自己做的方向筛选出一千多篇

然后再阅读摘要Abstract和Introduction筛选出五百篇

2.2 集团作战,信息获取

筛选出五百篇还是很多,所以要和组内同学相互分享(集团作战)

每人精读一百多篇左右,主题分享阅读

从各大公众号上获取论文热门信息,核心要看论文的motivation是什么

在筛选过程中,如何泛读呢?

2.3 论文如何泛读

1 题目是什么

2 做的Motivation是什么,motivation可以理解为左这个研究的动机,即做这个研究的目的,出发点

3 大致用了什么方法,看重点的图

4 在什么数据集上面做了测试,结果怎么样

那么在阅读了大量论文之后,就要提出自己的研究动机和方向了

3 动机 方向关

研究方向怎么选?是否应该选择热门方向呢?还是选一些冷门方向

这得看自身情况?如果着急发论文,可以选一些热门的容易录取,但是如果打算长时间做研究,可以静下心来好好做自己真正感兴趣的

3.1 快速发论文

快速发论文可以用棋盘法

在这里插入图片描述

3.2 好的研究

好的研究的特点

  1. 做了的话,可以辅助很多的任务,有明显的益处
  2. 描述简单,如信息抽取,关系抽取,倾向性分析
  3. 研究问题尚且不具备明确的解法
  4. 解决方案具备可测试性,大问题可以拆解成多个子问题,能观察每个子问题的进程。怎么测试呢?
  5. 要确保研究中数据的可靠性以及足够数量

有一个经典的motivation 非常反面的例子——之前的方法精度低,本文提出的方法提升了精度,是不行的

精度低不是motivation,而是要讲明白为什么精度低,对于精度低,我们找到为什么会精度低,提出自己的方法,从而最后取得了哪些进步,解决的初衷才是motivation

比较好的motivation还有比如别人做的工作没注意到什么点,没有关注什么信息,我们充分利用了这些信息等等

4 写作关

4.1 论文写作流程

核心让读者读懂,降低读者的难度,尽量让读者提升他的愉悦感

这里,老师提到了清华大学刘洋老师的报告——论文发表流程

大致分为

1 确定方向

2 确定问题

3 确定思路

4 确定方法

5 实验验证

6 撰写论文

详细可看

刘洋:如何撰写高质量科技论文-清华大学智能产业研究院 (tsinghua.edu.cn)

4.2 从读者角度出发

1 信息的呈现符合读者的认知惯性,深入浅出,引人入胜,让读者快速找到想要的信息

2 尽量降低读者的理解难度 合理地综合使用信息元素:图>曲线>表>正文>公式

3 尽量提高读者阅读时的愉悦感 思想新颖、组织合理、逻辑严密 论证充分、文笔优美、排版美观

我们要核心理解审稿人的审稿一般也是赶DDL,所以我们要在五分钟之内打动审稿人

在这里插入图片描述

4.3 每一部分怎么写

4.3.1 Abstract摘要

两个都可以

在这里插入图片描述

在这里插入图片描述

4.3.2 Introduction 介绍

相当于是把Abstract的每一句话变成一段话详细阐述,中间加上现有的方法有哪些(最好分一下类)现有方法有什么问题

最后阐明自己的Contribution贡献,1,2,3分条列出来

一般在第一页右上部分加一个图说明自己的motivation

不要一上来就描述你的工作,可以先介绍背景知识(往往就是baseline)

• 有利于降低初学者或其他领域学者的理解难度

• 有利于对introduction中的论文做更详细的解释

• 有利于对比baseline和你的方法

其他

多用例子

4.3.3 实验设计

1 公认的标准数据和state-of-the-art系统

2 实验先主后辅

  • 主实验(测试集):证明显著超过baseline
  • 辅实验:参数的影响

不辞辛劳,做到极致

最后,老师寄语

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/358821.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

浅谈一下软件 QA 方法论 和 工具

浅谈一下软件 QA 方法论 和 工具 目录概述需求: 设计思路实现思路分析1.QA方法论2.Java QA工具 参考资料和推荐阅读 Survive by day and develop by night. talk for import biz , show your perfect code,full busy,skip hardness,make a better result…

探索Go 语言URL:解析与构建

探索Go 语言URL:解析与构建 在 Go 语言中,解析和处理 URL 是日常开发中常见的任务之一。URL(统一资源定位符)是指定 Web 资源位置的标准方式,它由多个部分组成,包括协议、主机、路径、查询参数等。本文将深…

调试小结:PHY初始化前后Link Status是否能正确反应网线插上、拔下状态

1 说明 为了验证是否需要初始化PHY才能检测到网线插上、拔下,这里我们对比初始化PHY(LAN8720)前后,插拔网线PHY寄存器1的bit2的是否按照预期变化来进行测试。 我们查看的PHY寄存器是1的bit2,定义如下: 2…

spring框架(一)

1、Spring框架:IoC和AOP 服务端三层开发:表现层、业务层、持久层 ssm, springboot, springcloud(微服务,治理组件) Spring框架是一个流行的Java应用程序框架,它提供了许多功能来简化企业级应用程序的开发。其中,控制反…

[每日一题] 01.30

文章目录 数列求和质数口袋奇怪数求和 数列求和 n int(input()) print(sum([i for i in range(1,n 1)]))质数口袋 n int(input()) i 2 sum 0 count 0 while n - i > sum:flag Truefor j in range(2,i): # 判断i是否为素数if i % j 0:flag Falsebreakif flag:sum i…

【LLM多模态】Cogview3、DALL-E3、CogVLM、CogVideo模型

note 文章目录 noteVisualGLM-6B模型图生文:CogVLM-17B模型1. 模型架构2. 模型效果 文生图:CogView3模型DALL-E3模型CogVideo模型网易伏羲-丹青模型Reference VisualGLM-6B模型 VisualGLM 是一个依赖于具体语言模型的多模态模型,而CogVLM则是…

BL808学习日志-3-DPI-RGB屏幕使用-LVGL D0

一、DPI-RGB驱动 BL808的手册上显示是支持RGB565屏幕显示输出的,但是一直没找到网上的使用例程。且官方的SDK显示也是能够使用的,只是缺少了驱动。这一部分驱动在SIPEED的SDK中已经内置了,今天就是简单的点亮一个800*480 RGB565的屏幕。 二、…

如何优化博客的内容和用户体验

在当今数字时代,博客成为了分享知识、展示个人专业能力和吸引读者的重要工具。然而,随着越来越多的博客涌现,如何优化博客的内容和用户体验成为了一个关键的问题。本文将为你提供一些有效的技巧,帮助你优化博客的内容和提升用户体…

开启公网即访问:GpuMall平台的云服务解决方案

在人工智能的黄金时代,数据科学家和AI工程师正面临着一个共同的挑战:如何快速、有效地将开发中的服务部署至公网,以应对日益增长的计算和访问需求。GpuMall智算云平台提供了一个全面的解决方案,让这一切变得简单。本文将深入探讨G…

【C++】C++入门—— 引用

引用 1 前情提要2 概念剖析3 引用特性4 常引用5 使用场景5.1做参数5.2 做返回值 6 传值 传引用的效率比较7 引用与指针的差异Thanks♪(・ω・)ノ谢谢阅读下一篇文章见 1 前情提要 在C语言中,我们往往会遇见复杂的指针(如…

python 写入csv文件 内容乱码

问题 python 写入csv文件 内容乱码 详细问题 笔者核心代码 import csv # 将数据写入 CSV 文件 csv_file_path "soil_data.csv" header ["经度", "纬度", "土壤类型", "pH值"]with open(csv_file_path, mode"w&q…

java 社区资源管理系统Myeclipse开发mysql数据库web结构java编程计算机网页项目

一、源码特点 java Web社区资源管系统是一套完善的java web信息管理系统 ,对理解JSP java编程开发语言有帮助,系统具有完整的源代码和数据库,系统主要采用B/S模式开发。开发环境为TOMCAT7.0,Myeclipse8.5开发,数据库为Mysql5.…

vue3封装el-pagination分页组件

1、效果如图&#xff1a; 2、分页组件代码&#xff1a; <template><div class"paging"><el-config-provider :locale"zhCn"><el-paginationv-model:current-page"page.currentPage"v-model:page-size"page.pageSize…

如何更新github上fork的项目(需要一定git基础)

如何更新Fork的项目(需要一定git基础) 前言&#xff1a;本文记录一下自己在github上fork了大佬的开源博客项目https://github.com/tangly1024/NotionNext&#xff0c;如何使用git克隆以及自定义开发和同步合并原项目更新迭代内容的的步骤 如何更新fork的项目(进阶版) 首先你…

DML的原理:一篇文章让你豁然开朗

推荐阅读 给软件行业带来了春天——揭秘Spring究竟是何方神圣&#xff08;一&#xff09; 给软件行业带来了春天——揭秘Spring究竟是何方神圣&#xff08;二&#xff09; 文章目录 推荐阅读DML 数据操纵语言INSERT语句UPDATE语句DELETE语句SELECT语句 DML 数据操纵语言 DML是…

深入了解Yum:Linux系统的软件包管理利器

目录 软件包 软件包的来源 关于yum yum是什么 yum的相关操作 介绍rzsz rz&#xff08;从Windows本地传到Linux服务器&#xff09; sz&#xff08;从Linux服务器传到Windows本地&#xff09; 注意事项 查看软件包 安装软件 卸载软件 yum的本地配置 为什么要进行配置…

UDP/TCP协议特点

1.前置知识 定义应用层协议 1.确定客户端和服务端要传递哪些信息 2.约定传输格式 网络上传输的一般是二进制数据/字符串 结构化数据转二进制/字符串 称为序列化 反之称之为反序列化 下面就是传输层了 在TCP/IP协议中,我们以 目的端口,目的IP 源端口 源IP 协议号这样一个五…

蓝桥杯-常用STL(一)

常用STL &#x1f388;1.动态数组&#x1f388;2.vector的基础使用&#x1f52d;2.1引入库&#x1f52d;2.2构造一个动态数组&#x1f52d;2.3插入元素&#x1f52d;2.4获取长度并且访问元素&#x1f52d;2.5修改元素&#x1f52d;2.6删除元素&#x1f52d;2.7清空 &#x1f38…

Redis核心技术与实战【学习笔记】 - 8.Redis 时间序列数据处理

在做 web 产品是&#xff0c;都会有这么一个需求&#xff1a; 记录用户在网站或 APP 上的点击行为数据&#xff0c;来分析用户行为。这里的数据一般包括用户 ID、行为类型&#xff08;如浏览、登录、下单等&#xff09;、行为发生的时间戳。 userID, type, timeStamp 与之类似&…

Prometheus的pod部署

创建命名空间和账户以及集群账户 kubectl create ns monitor-sa kubectl create serviceaccount monitor -n monitor-sa kubectl create clusterrolebinding monitor-clusterrolebinding -n monitor-sa --clusterrolecluster-admin --serviceaccountmonitor-sa:monitor 创建…