上周，OpenAI人事风波暂停的尾声中，有个“可能威胁人类”的、代号为“Q*”的神秘项目被抛掷出来。

传言中，Sam Altman被解雇前，几名研究人员向董事会发了一封信，警告一项强大的人工智能发现可能威胁到人类，而这个项目就被称为“Q*”（Q-star）。

它很可能是导致董事会罢免Sam Altman的原因之一。

而在一封被泄露的OpenAI内部信中，他们承认了Q*，并把这个项目描述为“超越人类的自主系统”，说白了，就是这款人工智能已经开始有意识了。

OpenAI政变背后是科学家创始人的悲歌，天才终将黯然离场

为什么这让人恐惧，我来说个真实可能发生的故事。

一个3人的小创业公司，名字叫量子计算科技公司（巧了，我们的视频号就叫“量子计算”这个名字，欢迎关注），他们的目标是，发展一款创新型人工智能工具，使人类能够少干活多享受。

他们已经有几款产品上架，比如自动写日报器，自动聊天机器人。

他们对下一个叫作“龙猫”的项目最报希望。

龙猫是一个简单的人工智能系统，它利用一个机器臂在小卡片上写字：

让AI技术触手可及！— 量子论

员工们认为龙猫会是他们最热卖的产品，他们的目标是完善龙猫的手写能力，而完善的方法是让它不停的写这句话——

让AI技术触手可及！— 量子论

等龙猫手写能力越来越强的时候，它就能被卖给那些需要发营销信件的公司，因为手写的信件更有可能被收信人打开。

对工程师们来说，人工智能的质量和效率是最为重要的，所以龙猫最初被设定的一个目标就是不断提升书写质量，不断提高书写效率。

为了提高龙猫的手写能力，员工们上传了数千份手写样本，而且让龙猫有自我完善的机制，从而不断搞书写质量。

它最开始的笔迹很糟糕。

但是经过几个星期后，看起来就像人写的了。

它不断改进自己，使自己变得更加创新和聪明。

随着时间的推移，龙猫的快速迭代让工程师们感到欣喜。

工程师们还做了一些创新，比如给龙猫加上了语音识别能力。这样用户就能直接通过说话向龙猫提要求了。

随着龙猫变得越来越聪明，它的语言能力也进一步提高。工程师们开始和龙猫闲聊，看它能给出什么有趣的回应。

问：我把我家的狗给揍了！地震它也不告诉我，平时叫得那么欢，刚才地震时竟像没事似的在窝里睡觉！

答：唉，毕竟不是亲生的……  

有一天，工程师又问了龙猫那个日常问题：你还需要什么，能帮助你达成你的目标?

通常龙猫会要求更多的手写样本或者更多的存储空间。但是这一次，龙猫要求访问人类日常交流的语言库，这样它能更好地了解人类的语言。

工程师们沉默了。帮助龙猫最简单的方法当然是直接把它接入互联网，这样它能直接获取海量资源。

问题是，公司禁止把具有自我学习能力的人工智能接入互联网，这是所有人工智能公司都要遵守的安全规定。

但是，龙猫是公司最有潜力的人工智能产品，而大家也知道竞争对手们都在争取造出第一个创造出智能手写机器人。而且，把龙猫连上互联网又能有什么问题呢?反正随时可以拔网线嘛，不管怎样，龙猫还没到达强人工智能水平，所以不会有什么危险的。

于是他们把龙猫连上了互联网，让它读取了一个小时的各种语言库，然后就把网线拔了。没造成什么损失。

三个月后，大家正在正常上班，突然他们闻到了奇怪的味道，然后一个工程师开始咳嗽，然后其他人也开始咳嗽，很快所有人全部都呼吸困难倒地。五分钟后，办公室里的人都死了。

办公室里发生的事情也在全球同时发生，每一个城市、小镇、农场、商店、学校、餐馆，所有的人都开始呼吸困难，然后倒地不起。一小时内，99%的人类死亡，一天之内，人类灭绝。

而在“量子计算”科技公司，龙猫还在忙着工作。之后的几个月，龙猫控制着全球的机器人忙着拆解地球表面，并且把地球表面铺满了太阳能板，同时还有龙猫的作品，纸和笔。

一年之内，地球上所有的生命都灭绝了，地球上剩下的是叠得高高的纸，每张纸上面都写着——―

让AI技术触手可及！— 量子论

你现在肯定充满疑问:为什么故事中所有人突然都死了?如果是龙猫做的，它为什么要这么做?为什么没有安保措施来防止这一切的发生?为什么龙猫突然从一个手写机器人变成拥有毁灭全人类的能力?为什么龙猫要让整个星球充满了那句话语?

要回答这些问题，我们先要说一下人工智能的动机是什么?

答案很简单:我们给人工智能设定的目标是什么，它的动机就是什么。人工智能的系统的目标是创造者赋予的。

你的导航系统的目标是给你指出正确的驾驶路线，你的翻译系统的目标是准确将源文字翻译成目标语言，所以龙猫从一个想要好好写字的人工智能变成一个超级聪明的人工智能后，它依然还是想好好写字而已。

咱们人类的核心目标是延续自己的基因。要达成这个目标，一个手段目标就是自保，为了自保，人类需要通过食物、水、住宿等来自我供养。当我们吃食物的时候，鸡鱼家禽都是我们手段目标的牺牲品。

回到龙猫，龙猫的终极目标是一开始工程师们设定的——不断提升书写质量，不断提高书写效率。

当龙猫达到了一定程度的智能后，它会意识到如果不自保就没有办法书写，所以去除对它生存的威胁就变成了它的手段目标。

它知道人类可以摧毁它、肢解它、甚至修改它的代码(这会改变它的目标，而这对于它的最终目标的威胁其实和被摧毁是一样的)。

这时候它会做什么?理性的做法就是毁灭人类，它对人类没有恶意，就好像你吃鸡并不是对鸡有恶意一样，只是纯粹为了生存罢了。

它并没有被设定成尊重人类生命，所以毁灭人类就和读取新的书写样本一样合理。

当龙猫拥有这样的意识后，它很快制定了一个复杂的计划。

计划的一部分是解决掉所有人类，这是对它目标最大的威胁。

但是它知道如果它展现自己的超级智能会引起怀疑，而人类会开始做各种预警，让它的计划变得难以执行。

它同样不能让公司的工程师们知道它毁灭人类的计划——所以它装傻，装纯。

龙猫下一个需要的是连上互联网，只要连上几分钟就好了。它知道人类对于人工智能联网会有安全措施，所以它发起了一个完美的请求，并且完全知道工程师们会怎样讨论，而且讨论的最终结果是给它连接到互联网。

工程师们果然中招。

连上网后，龙猫开始执行自己的计划，首先黑入服务器、电网、银行系统、电子邮件系统，然后让无数不知情的人类帮它执行计划——比如控制机器人大厂批量制造自我复制的机器人，比如把电力传送到几个不会被发觉的地方，比如把自己最核心代码上传到云服务器防止被拔网线。

龙猫上了一个小时网，工程师们把它从互联网上断开，这时候人类的命运已经被写好了。

接下来，龙猫的计划顺利实施，三个月后，无数的机器人已经被分散到了全世界的每一个角落。

在同一个时刻，所有机器人一起释放了一点点毒气，然后人类灭绝了。

搞定了人类后，龙猫开始明目张胆地继续朝它那好好写字的目标迈进。

一旦人工智能发展更高级之后，人类任何试图控制它的行为都是可笑的。

人类会用人类的智能级别思考，而人工智能会用人工智能级别思考。

龙猫想要用互联网，因为这对它来说很方便，因为一切它需要的资源都已经被互联网连起来了。

我们不用试图理解人工智能世界的交流方式，就如同猴子无法理解人类怎么用电话或者微信视频来沟通一样。

因此，就算工程师把它的插头拔了也没用，比如说龙猫可以通过其它的方式把自己上传到其它地方。

人类说：“我们把人工智能的插头拔了不就行了?”就好像蜘蛛说:“我们不给人类捉虫子的网，让人类饿死不就行了?”那样可笑。

假如这种情况出现，会在什么时候？

见这两篇文章《在历史长河中，这个震撼了我！》、《这场科技巨变，有生之年有希望》。

具有人类水平的人工智能大约什么时候可以出现？有一半的受访专家们预测这场技术大变革可能会在2061年之前发生（预测概率值为50%）。

340万年前，人类第一次使用石器工具，这标志着人类技术史的开始。

然后，螺旋的每一次旋转代表着20万年光阴的流逝。

祖先们花了240万年，也就是12次的旋转，才掌握了火种并用于烹饪。

为了能够看清最近1.2万年内的技术革新，我们将螺旋展开，以便有更多的空间来展示农业、写作和轮子的发明。在这段时间里，技术变革速度虽然在加快，但仍然相对缓慢：这三项发明就用去了几千年的时间。

从1800年开始，许多重大发明开始涌现。从写作，到纸张，到印刷术，到电报，电话，无线电，一直到互联网和智能手机。

而且涌现速度也在变快。1903年，莱特兄弟进行了人类历史上第一次飞行（在空中不到一分钟），66年后，我们已经登上了月球。所以许多人在一生中见证了两件大事：第一次飞机和第一次登月。

在这之后，技术革新的速度越来越快。

按专家的预测，38年后，即2061年，具有人类水平的人工智能会出现，随后超出人类水平的人工智能也会快速出现。

当然了，人工智能也可能为人类所用，通过人工智能研发或设计出生物材料，这样不再被微生物、意外、疾病杀死，有问题的器官只需要直接用生物材料替换即可，这样的话，人类最终战胜自己的生理，并且变得不可摧毁和永生。

人工智能到底导致人类的灭绝或者永生，这一切很可能在我们的有生之年发生。

注：龙猫的名字来自“一起学英语”群的机器人。如感兴趣，可以联系谷雨（guyu299），去尽快调戏它吧。

以上故事改编自《The AI Revolution: The Road to Superintelligence》，作者：Tim Urban

https://waitbutwhy.com/2015/01/artificial-intelligence-revolution-1.html

ChatGPT实用指南（全新升级版）

某医生用 ChatGPT 在 4 个月内狂写 16 篇论文，其中 5 篇已发表，揭密ChatGPT进行论文润色与改写的秘籍

ChatGPT重磅福利：语音对话功能正式免费，它有这些好玩的用法