虚假新闻检测——Adapting Fake News Detection to the Era of Large Language Models

论文地址:https://arxiv.org/abs/2311.04917

1.概论

        尽管大量的研究致力于虚假新闻检测,这些研究普遍存在两大局限性:其一,它们往往默认所有新闻文本均出自人类之手,忽略了机器深度改写乃至生成的真实新闻日益增长的现象;其二,它们倾向于将所有机器制造的新闻一概视作虚假信息,未能细致区分其中的真实性与欺骗性。                 因此,论文对在各种场景下训练的假新闻探测器进行了深度研究。得出以下重要结论:

  • 针对人类所写的文章进行训练的探测器在检测机器生成的假新闻方面表现出色,但反之不成立
  • 由于检测器对机器生成文本的偏差(Su et al.,2023a),它们应该在比测试集更低的机器生成新闻比率的数据集上进行训练。

2.方法

       

        为了模拟人写内容和机器生成内容之间的动态变化,考虑三种实验设置:

  • 人类遗产阶段:在这一阶段,所有真实新闻训练数据都是人类编写的,而假新闻训练数据则逐渐引入机器生成的比例,从0%增加到100%。
  • 过渡共存阶段:在此阶段,真实新闻的训练数据包括由人类和机器生成的内容。假新闻训练数据也是如此,以反映新闻生成环境的实际变化。
  • 机器主导阶段:在这一阶段,所有真实新闻训练数据都是机器生成的,探索完全由机器控制的新闻生成未来的情形。

3.实验

 (1)实验设计与方法

  • 数据集:研究使用了两个主要数据集:GossipCop++和PolitiFact++。这些数据集包括机器仿写的真实新闻(MR)、机器生成的假新闻(MF)、人类编写的真实新闻(HR)和假新闻(HF)。
  • 模型和方法:采用了基于Transformer的模型,如BERT、RoBERTa、ELECTRA、ALBERT和DeBERTa。这些模型在不同的数据组合和不同的新闻生成阶段(人类遗产阶段、过渡共存阶段、机器主导阶段)进行训练和测试。

(2)主对比实验

  • 人类遗产阶段:在人类遗产阶段中,当训练数据中假新闻的机器生成比例为0%,即全部由人类编写时,检测器能够在域内测试集(GossipCop++)上平衡地检测各个子类。当机器生成假新闻(MF)的比例逐渐增加时,检测器对MF的检测准确性显著提高,但对机器仿写的真实新闻(MR)的检测准确性下降。这表明,尽管检测器在检测机器生成的内容方面表现出高效性,但它们可能过度依赖于特定于机器生成文本的特征,从而影响了对MR的判断。
  • 过渡共存阶段:在过渡共存阶段中,真实新闻和假新闻的训练数据包括了人类编写和机器生成的内容。结果显示,当MF占假新闻训练数据的较大比例时,检测器能够高效地识别机器生成的假新闻(MF),但对人类编写的假新闻(HF)的检测准确性显著降低。这一现象可能由于检测器在训练时学习到将机器生成的文本特征与假新闻关联的倾向,导致它在没有见过足够多人类编写的假新闻样本时,难以准确识别。

  • 机器主导阶段:在机器主导阶段中,所有真实新闻训练数据都是机器生成的,这一设置是为了模拟一个未来可能出现的由机器主导新闻生成的场景。在这种设置下,检测器在域内数据集上对机器生成假新闻(MF)的检测准确性非常高,但同样地,对人类编写的假新闻(HF)的检测准确性较低。这进一步证实了检测器可能过度适应机器生成文本的特征,而忽略了内容的真实性。

(3)Class-wise Accuracy as a Function of the Proportion of MF Examples

        论文评估假新闻检测器在不同比例的机器生成假新闻(MF)比例下的表现。总结如下:

  • 随着MF比例的增加,检测器对机器生成假新闻(MF)的识别准确性普遍提高,显示出对机器文本特征的敏感性。
  • 对人类编写的假新闻(HF)的检测准确性随MF比例的增加而降低,暗示检测器可能过度适应机器生成文本的特征。
  • 对机器仿写的真实新闻(MR)的检测准确性在MF比例增加时通常会下降,这可能是由于检测器将MR与MF混淆,因为两者都是机器生成的。
  • 对人类编写的真实新闻(HR)的检测准确性在MF比例增加时可能会提高,由于HR与MF在风格和特征上的明显差异。

        论文还分析了不同阶段的变化:

  • 人类遗产阶段:在无机器生成内容的训练数据中,检测器能较好地平衡各子类的检测准确性。
  • 过渡共存阶段:反映了新闻来源的多样化,其中检测器对机器生成假新闻(MF)的识别性能提高,但对人类编写假新闻(HF)的识别性能降低。
  • 机器主导阶段:几乎所有新闻都由机器生成时,检测器对机器生成假新闻(MF)的检测性能极高,但对人类编写内容的检测性能较低。

(4)不同检测器以及模型大小的分析 

  • 模型比较不同模型在识别各类假新闻方面表现出显著差异。例如,RoBERTa在某些设置中对人类假新闻(HF)和机器生成假新闻(MF)的检测准确性较高,而其他模型可能在检测真实新闻(HR)方面表现更优。
  • 模型偏好这些差异可能反映了内在的模型偏好或训练时的特性,例如某些模型可能更倾向于将文章分类为真或假,这影响了它们在复杂数据集上的泛化能力。
  • 模型大小的影响:模型的大小(大型与基本型号)对其在处理假新闻检测任务中的表现有明显影响。较大的模型通常能更好地处理更多的信息和更复杂的特征,从而可能在识别机器生成的假新闻(MF)等复杂情况中表现更佳。而较小的模型可能在某些情况下因为模型较为简单,不易过拟合,而在特定子类别如人类编写的真实新闻(HR)上表现更好。

                

 (5)跨域检测       

  • 性能下降:在域外数据集上,大多数检测器的性能普遍下降,尤其是在没有足够代表性的训练数据时。
  • MF比例的影响:增加机器生成假新闻(MF)的比例能够帮助缓解跨域检测准确性的差距,尽管这可能会牺牲对某些子类(如HF和MR)的检测准确性。

4.总结

  • 训练数据的平衡:研究建议在训练假新闻检测器时使用多样化的数据源,尤其是在不确定测试数据分布的情况下,应包含不同来源的真假新闻。
  • 跨域性能的优化:通过在训练集中增加机器生成内容的比例,可以改善检测器在不同域上的泛化能力,从而减少在域内和域外检测准确性之间的差距。

        

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/567590.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Etsy多账号关联怎么办?Etsy店铺防关联解决方法

Etsy虽然相对于其他跨境电商平台来说比较小众,但因为平台是以卖手工艺品为主的,所以成本较低,利润很高。许多跨境卖家都纷纷入驻,导致平台规则越发严格,操作不当就会封号,比如一个卖家操作多个账号会出现关…

国外问卷调查如何做?需要借助海外住宅IP吗?

在数字化时代,国外问卷调查不仅是了解市场需求的重要手段,还成为了一项能够赚取额外收入的方式。随着全球范围内消费者行为的多样化,各类企业和机构越来越需要了解不同地区的用户观点和偏好,以优化产品和服务。 一、国外问卷调查…

Flask中的JWT认证构建安全的用户身份验证系统

👽发现宝藏 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。【点击进入巨牛的人工智能学习网站】。 Flask中的JWT认证:构建安全的用户身份验证系统 随着Web应用程序的发展&#xf…

Linux给磁盘扩容(LVM方式)

Linux给磁盘扩容(LVM方式) 最近测试性能,在本地打数据时,发现磁盘空间不足,于是想手动给/挂载点添加空间。这里介绍通过LVM方式快速给磁盘扩容。 LVM:是一种技术,方便管理磁盘。如果不用LVM,那…

js的算法-交换排序(快速排序)

快速排序 基本思想 快速排序的基本思想是基于分治法的:在待排序表L【1...n】中任意取一个元素p 作为枢轴(或基准,通常取首元素)。通过一趟排序将待排序表划分为独立的两部分L【1...k-1】和L【k1...n】;这样的话,L【1…

Linux下的基本指令

基本指令 前言ls 指令语法功能常用选项举例注意关于拼接关于 -a关于文件ls与/的联用ls与根目录ls与任意文件夹ls与常用选项与路径 pwd命令语法功能常用选项注意window与Linux文件路径的区别 cd 指令语法功能举例注意cd路径... touch指令语法功能常用选项 mkdir指令语法功能常用…

【RAG 论文】Query2doc — 使用 LLM 做 Query Expansion 来提高信息检索能力

论文:Query2doc: Query Expansion with Large Language Models ⭐⭐⭐⭐⭐ Microsoft Research, EMNLP 2023 文章目录 背景介绍Query2doc 论文速读实现细节实验结果和分析总结分析 背景介绍 信息检索(Information Retrieval,IR)指…

如何操作HTTP返回头-ApiHug小技巧-002

🤗 ApiHug {Postman|Swagger|Api...} 快↑ 准√ 省↓ GitHub - apihug/apihug.com: All abou the Apihug apihug.com: 有爱,有温度,有质量,有信任ApiHug - API design Copilot - IntelliJ IDEs Plugin | Marketplace &…

如何用微信小程序实现远程控制无人售货柜

如何用微信小程序实现远程控制无人售货柜呢? 本文描述了使用微信小程序调用HTTP接口,实现控制无人售货柜,独立控制售货柜、格子柜的柜门。 可选用产品:可根据实际场景需求,选择对应的规格 序号设备名称厂商1智能WiFi…

【Canvas与艺术】绘制金色八卦图

【关键点】 等比例缩放各部件及将八卦转为“二进制”的过程。 【成图】 【代码】 <!DOCTYPE html> <html lang"utf-8"> <meta http-equiv"Content-Type" content"text/html; charsetutf-8"/> <head><title>使用…

gcc make makefile cmake之间的关系梳理

gcc是GNU Compiler Collection&#xff08;GNU编译器套件&#xff09;&#xff0c;也可以简单认为是编译器&#xff0c;它可以编译很多编程语言&#xff08;包括C、C、Object-C、Fortran、Java等&#xff09;当你的程序只有一个源文件&#xff0c;直接用gcc命令编译它。但是当你…

【Java--数据结构】提升你的编程段位:泛型入门指南,一看就会!

前言 泛型是一种编程概念&#xff0c;它允许我们编写可以适用于多种数据类型的代码。通过使用泛型&#xff0c;我们可以在编译时期将具体的数据类型作为参数传递给代码&#xff0c;从而实现代码的复用和灵活性。 在传统的编程中&#xff0c;我们通常需要为不同的数据类型编写不…

总结一下背包里的顺序和是否逆序

1.对于01背包而言&#xff0c;一维压缩态只能物品到背包且需要逆序 2.对应多重背包而言&#xff0c;组合数物品到背包&#xff0c;排列数背包到物品&#xff0c;且都需要正序

【北京迅为】《iTOP-3588开发板系统编程手册》-第20章 socket 应用编程

RK3588是一款低功耗、高性能的处理器&#xff0c;适用于基于arm的PC和Edge计算设备、个人移动互联网设备等数字多媒体应用&#xff0c;RK3588支持8K视频编解码&#xff0c;内置GPU可以完全兼容OpenGLES 1.1、2.0和3.2。RK3588引入了新一代完全基于硬件的最大4800万像素ISP&…

Mudem,打造私密安全、高效稳定的私人空间

Mudem 是 Codigger 平台中的一个关键组件&#xff0c;它提供基础通讯服务&#xff0c;确保不同类型的机器之间可以进行安全和高效的连接。它其设计理念在于将本地机器、公有云以及私有云上的设备无缝地整合为一个可远程在线访问的工作站&#xff08;Workstation&#xff09;。这…

UE4_常见动画节点学习_Two Bone IK双骨骼IK

学习资料&#xff0c;仅供参考&#xff01; Two Bone IK 控制器将逆运动&#xff08;IK&#xff09;解算器应用于到如角色四肢等3关节链。 变量&#xff08; HandIKWeight &#xff09;被用于在角色的 hand_l 和 hand_r 控制器上驱动 关节目标位置&#xff08;Joint Target Lo…

Java常见输入输出练习

1.AB(1) 计算ab 数据范围&#xff1a; 数据组数 1≤ t ≤100 , 数据大小满足 1≤ n ≤1000 输入描述&#xff1a; 输入包括两个正整数a,b(1 < a, b < 1000),输入数据包括多组。 输出描述&#xff1a; 输出ab的结果 输入例子&#xff1a; 1 5 10 20 输出例子&#xff…

ctfshow 每周大挑战RCE极限挑战

讨厌SQl看到这个了想来玩玩 rce1 <?phperror_reporting(0); highlight_file(__FILE__);$code $_POST[code];$code str_replace("(","括号",$code);$code str_replace(".","点",$code);eval($code);?>括号过滤点过滤&…

qt;lt;等xml|Html转义字符

在写Android布局文件时&#xff0c;左右尖括号<>&#xff0c;括号在XML中没办法直接使用&#xff0c;需要进行转义&#xff0c;收集一些转义符&#xff0c;以便查询使用。 常用表&#xff1a; **对于文章出现的任何问题请大家批评指出&#xff0c;一定及时修改 **可联系…

牛客网刷题 | BC60 判断是不是字母

描述 KiKi想判断输入的字符是不是字母&#xff0c;请帮他编程实现。 输入描述&#xff1a; 多组输入&#xff0c;每一行输入一个字符。 输出描述&#xff1a; 针对每组输入&#xff0c;输出单独占一行&#xff0c;判断输入字符是否为字母&#xff0c;输出内容详见输出样例…