新火种AI|摊上事儿了!13名OpenAI与谷歌员工联合发声:AI失控可能导致人类灭绝...

作者:小岩

编辑:彩云

2024年,OpenAI的CEO Sam Altman就没有清闲过,他似乎一直走在解决麻烦的路上。最近,他的麻烦又来了。

当地时间6月4日,13位来自OpenAI和Google Deep Mind的现任及前任员工联合发布了一封公开信,引发了外界的广泛关注。这些员工在信中表达了对人工智能技术潜在风险的严重担忧,并呼吁相关公司采取更加透明,更加负责任的措施来应对这些风险。

不夸张的说,这一次,OpenAI和谷歌是被讨伐了。

多位知名人士联合背书,就连AI教父也为其站台。

这封由13名OpenAI和谷歌Deep Mind现任及前任员工联合发出的公开信,一方面揭发了OpenAI的鲁莽和保密文化;另一方面还强调了前沿AI技术的严峻风险,表达了对AI公司在开发和推广AI技术时利益优先,打压异见者以及规避监管等种种行径的担忧。

信中指出,尽管AI技术可能会给人类带来巨大益处,但其带来的风险同样不容忽视,包括加剧社会不平等,操纵和虚假信息传播,以及自主AI系统失控可能导致的人类灭绝等。这些风险绝非空穴来风,不仅得到了人工智能公司本身的确认,也得到了世界各国政府和其他AI专家的认可。

公开信签署者们表示,他们希望在科学界,政策制定者和公众的指导下,能够充分缓解这些风险。他们出现了很强的忧患意思,他们担心,人工智能公司出于强烈的经济动机,可能会避免接受有效的监督,可仅靠现有的公司治理结构,完全不足以解决这一问题。

信中还提到,由于严格的保密协议,员工们在表达对AI风险的担忧时,还要面临着种种限制,目前对于举报人的保护措施也存在着严重不足,很多员工担心因为提出批评而遭遇报复。

值得一提的是,这封信获得了多位知名人士的联名背书,这其中就有被誉为“人工智能教父”的Geoffrey Hinton,还有因开创性AI研究获得图灵奖的Yoshua Bengio,AI安全领域的学者Stuart Russell。

公开信署名人员的诉求和初心:要实验室对透明度做出更广泛的承诺。

那么,在公开信上署名的这些人,他的心声是什么呢?

OpenAI 的前员工Daniel Kokotajlo正是联名信公开署名人员中的一位,他曾在社交平台发文提到,“我们之中,一些最近从 OpenAI 辞职的人聚集在一起,要求实验室对透明度作出更广泛的承诺。”

资料显示,Daniel刚刚从OpenAI 辞职,其中很重要的一个原因在他对OpenAI在构建通用人工智能方面未采取负责任的行为表示失望,并且失去了信心。在Daniel看来,AI系统不是普通的软件,它们是从大量数据中学习的人工神经网络。尽管目前关于可解释性,对齐和控制的科学文献正在迅速增多,但这些领域仍处于起步阶段。如果不小心,可能会在一段时间内造成灾难性后果。Daniel曾对公司提出,他希望其在AI功能越做越强大的同时,也能够在安全研究方面投入更多资金,但OpenAI并未做出相应的调整,这导致多名员工相继辞职。

在Daniel看来,OpenAI等实验室构建的系统的确可以给人类社会带来巨大的好处,但如果不谨慎处理,很可能带来灾难性的后果。更可怕的是,当前的AI技术几乎没有被有效监管,主要是依靠公司在进行自我监管,而这种方式存在巨大的风险。

Daniel还透露,离职时他被要求签署一份“封口协议”,其中包含一项不贬损条款,禁止他发表任何批评公司的话,否则将失去已归属的股权。然而,他在深思熟虑后,依旧决定放弃签署协议。

无独有偶,今年4月,Leopold Aschenbrenner也离开了OpenAI,与Daniel不同的事,他不是主动辞职,而是被OpenAI以泄露公司机密为由开除的。

Aschenbrenner曾是OpenAI前超级对齐部门成员。据知情人士透露,他被开除的真实原因是他给几位董事会成员分享了一份OpenAI安全备忘录,结果招致OpenAI高层的不满。据说,OpenAI当时很清楚地告诉他,开除他的主要原因就是因为这份备忘录。

在此之后,Aschenbrenner上线了一个网站,用165页PDF文件汇总了他在OpenAI工作期间所了解的信息,这份文件被看作是“硅谷最激进的AI研究人员提出的一份未来10年AI发展的纲领性文件”。Aschenbrenner认为,目前深度学习还没有遇到瓶颈,到2030年左右,AGI很有可能会发展出全面超越人类的超级人工智能。对此,人类似乎还没有做好准备。AI所带来的,也绝不仅仅是多数专家所认为的“另一场互联网规模的技术变革”。

安全主管辞职,超级对齐团队解散,多名骨干成员正在“背叛”OpenAI...

事实上,从OpenAI离职的远不止以上两位,很多掌握着核心部门的大佬都相继离开了OpenAI。

其中,最具代表性的当属OpenAI原首席科学家Ilya Sutskever,以及前安全主管,超级对齐团队负责人Jan Leike。

与Aschenbrenner和Deniel一样,Leike在离职后公开批评了OpenAI的管理层,指责其追求华而不实的产品,却忽视了AGI本身存的安全问题。他表示,在过去的几个月里,超级对齐团队一直都是逆风航行,在提升模型安全性的道路上受到公司内部的重重阻碍。

Ilya则在OpenAI的宫斗事件之后一直保持沉默,即便到了最后官宣离职的时候,也没过多的阐述自己的立场和观点。不过,Ilya曾在先前的一段视频中提到,一旦AGI彻底实现,AI未必会仇恨人类,但他们对待人类的方式可能会像人类对待动物一样:人可能无意伤害动物,但如果你想修一条城际高速,你不会征询动物的意见,而是直接去做。当面临这种情况时,AI 可能也会自然而然地做出类似的选择。

去年11月OpenAI爆发宫斗事件,借着宫斗事件的最终走向,我们可以大致看出OpenAl内部存在的大模型安全性问题,以及分化日趋明显的两大阵营。一方阵营是以Sam Altman为代表的“发展派”;另一方,则是以Ilya为代表的“安全派”。两方斗法,如今来看,结局很明显:以Ilya为代表的的安全派基本丧失了话语权,就连昔日备受瞩目的超级对齐团队也被连根拔起。

在这种情况下,未来的一切都成了未知数。我们无法预判Sam Altman所代表的激进发展派是否会一路长虹的前进。如果事实真是这样,未来人类该如何平衡与生成式AI之间的关系,也会成为巨大的未知数。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/699282.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【OCPP】ocpp1.6协议第4.5章节Firmware Status Notification的介绍及翻译

目录 4.5、固件状态通知Firmware Status Notification-概述 Firmware Status Notification 消息 Firmware Status Notification 请求消息 Firmware Status Notification 响应消息 使用场景 举例 FirmwareStatusNotification 请求示例 处理 FirmwareStatusNotification …

Python YOLOv5 7.0 基于深度学习的口罩检测识别系统

目录 1,演示视频和资源下载 1.1 演示视频 1.2 资源下载 2,数据集 3,代码 3.1 带 PyQt5 UI 的检测程序,基于YOLOv5 7.0 3.1.1 根据训练结果进行检测 3.1.2 自动保存每张图片/每帧的检测结果 3.1.3 筛选查看每张图片/每帧检…

【小白学Python】自定义图片的生成(一)

目录标题 安装Pillowdemo代码初次代码计划 个人需要,基于文字生成图片。 除了AI外,对于简单的图片,Python在这方面也非常擅长。 我算是一个Python小白,除了业余时尝试过Python基本语法的练习,从未真正使用过Python。…

存储协议入门-UPIU简介

写在前面:本文参考UFS jedec3.1,本文思维导图如下,详细内容关注微信:存储协议探索 ​ 1. UPIU架构 UPIU是UFS协议中的一种数据包格式,用于传输应用层的各种请求和命令,UFS采用的是客户-服务端架构,UFS主机(客户)主动发起请求,UFS设备(服务)执行后并返回相应状态。…

物联网8大协议介绍及对比

一.物联网主流协议介绍 1.MQTT 协议 MQTT(Message Queuing Telemetry Transport)即消息队列遥测传输。 MQTT 协议最初是在 1999 年由 IBM 公司开发的,用于将石油管道上的传感器与卫星相连接。2014 年正式成为 OASIS 开放标准。 MQTT 使用…

57.WEB渗透测试-信息收集- 端口、目录扫描、源码泄露(5)

免责声明:内容仅供学习参考,请合法利用知识,禁止进行违法犯罪活动! 内容参考于: 易锦网校会员专享课 上一个内容:56.WEB渗透测试-信息收集- 端口、目录扫描、源码泄露(4) 下载网站…

程序员们,如何预防大龄危机?

困境 在中国,程序员到了35岁,基本是一个坎,如果你还是通过常规的招聘网或者猎头去找工作,能拿到offer的比例相对低,因为跟新手程序员比,你没有明显的优势。 论薪资: 大龄程序员的薪资要求应该…

OSI七层网络参考模型

一、物理层 我们要发送出去的数据在计算机里只不过是无数的0和1,0或1就叫做比特,物理层就是把这些比特用不同的媒介传输出去,可以用电、光或者其他形式的电磁波来表示和传输信号,数据从网络接口出去以后,会经过不同的网…

DeepSpeed Huggingface模型的自动Tensor并行、kernel注入、训练阶段的优化版kernel

推理阶段。 在后台,1. DeepSpeed会把运行高性能kernel(kernel injection),加快推理速度,这些对用户是透明的; 2. DeepSpeed会根据mp_size来将模型放置在多个GPU卡上,自动模型并行; import os import torch …

湖南大学CS-2023期末考试解析

前言 有幸作为助教参与信息院“周末夜校”讲解2023年试卷第2-3题(汇编),借这个契机重新温习了一下这份试卷。 以下各部分的PPT由讲评助教分别完成并讲解。 1,6题 计科21杨助教2,3题 计科21甘晴void4,5题 智能21姚助教 由于2,3题过程较为繁…

智能编程支持分析本地工程文件,项目级开发效率再度提升!

CodeGeeX的智能问答新增关联本地文件的系列功能,用户在智能问答的输入框中输入,就可以在弹出框中选择需要使用的指令。从而能够针对所关联的文件给出更有针对性的问答和代码建议。 下面我们将分别介绍在编程工作中,如何关联本地文件&#xff…

PostgreSQL 快速入门与实战

1、概述 前面2篇博客给大家详细的介绍了PostgreSQL的安装和配置,本篇文章就带着大家一起学习一下PostgreSQL的用法,主要内容包括 基本的数据库操作、用户管理、数据备份、SCHEMA(模式)以及和MySQL的区别。 2、数据库基本操作 PostgreSQL是严格遵守SQL规…

飞睿超宽带uwb模块无线传输,工业级uwb定位标签精度3厘米,测距定位距离150米

在当今日新月异的科技浪潮中,超宽带(Ultra-Wideband,简称UWB)技术凭借其独特的优势,正在成为工业应用领域中不可或缺的一环。作为一种新型的无线通信技术,超宽带UWB模块凭借其高精度定位、高安全性、高抗干…

29、shell变量、重定向及运算符

一、shell脚本 1.1、shell的定义 脚本:可运行的代码的集合,脚本语言(计算机语言)。 脚本的特点:从上到下,按行执行。 python:脚本语言 格式更严谨的执行缩进。也是从上到下按行执行。 shel…

网络协议四

一、云中网络 物理机的劣势: 1)一旦需要扩容 CPU、内存、硬盘,都需要去机房手动弄,非常麻烦 2)采购的机器往往动不动几百 G 的内存,而每个应用往往可能只需要 4 核 8G 3)一台机器,…

FreeRTOS-任务通知

概述 不同于队列、信号量、互斥量,有一个额外的空间(结构体)作为通信的纽带,任务通知只需借助任务TCB中的相关变量,无需另外创建; 下面是TCB中有关任务通知的变量: typedef struct tskTaskCo…

告别繁琐!Xinstall助力,二维码推广监测从此高效无忧

在数字化营销时代,二维码推广已成为App获取新用户的重要途径之一。然而,如何精准监测二维码推广效果,成为了许多企业面临的难题。今天,我们为大家介绍一款强大的二维码推广监测工具——Xinstall,它将助您轻松解决推广监…

SonarQube安全扫描常见问题

目录 一、SonarQube质量报告 二、SonarQube扫描常见问题和修复方法 三、SonarQube质量配置 最近小编在使用SonarQube工具进行代码扫描,检查代码异味,系统漏洞等,实际过程中也遇到了不少问题,这篇文章主要列举我遇到的常见问题和…

账号密码无错误,xshell可以连接,但是WindTerm连接失败

xshell可以连接,但是WindTerm却连接失败 报错提示内容: 连接WindTerm是,账号密码是正确的,但是一输入账号,就报The remote host closed the connection错误,或者是Unknown error错误 解决方法 在新建…

Perfectly Clear Workbench: 智能图像清晰修复软件

Perfectly Clear Workbench 是由 EyeQ 公司开发的一款先进的智能图像清晰修复软件,适用于 Mac 和 Windows 平台。该软件旨在通过自动化和高效的图像处理工具,帮助摄影师、设计师以及影像爱好者轻松实现图像优化和修复。无论是专业摄影工作室还是个人用户…