**AI的三大支柱:神经网络、大数据与GPU计算的崛起之路**

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

在普林斯顿攻读计算机科学研究生的第一个学期,我选修了COS 402课程:人工智能。在学期接近尾声时,有一节课讨论了神经网络。这是在2008年秋季,那堂课和教材都给我留下了深刻印象,似乎神经网络已经变成了一个“无人问津”的领域。

神经网络在20世纪80年代末和90年代初取得了一些令人瞩目的成果,但后来进展停滞。到2008年,许多研究人员已经转向了支持向量机等更具数学美感的方法。

当时我并不知道,就在我听课的同一栋计算机科学大楼里,普林斯顿的一个团队正在开展一个即将颠覆这一传统观点的项目。该团队由李飞飞教授领导,他们的目标并不是改进神经网络,事实上,他们几乎没有考虑神经网络,而是致力于创建一个远大于以往的图像数据集:1400万张图像,每张都标注了约2.2万个类别之一。

李飞飞教授在她的回忆录《我所见的世界》中讲述了ImageNet的故事。她在2007年开展该项目时,面临了很多朋友和同事的质疑。

“我认为你这个想法走得太远了,”一位导师在2007年对她说,“关键是要跟随领域的发展,而不是超前太多。”

不仅仅是因为创建如此庞大的数据集在后勤上是个巨大挑战,人们还怀疑当时的机器学习算法是否能从如此大量的图像中获益。

“ImageNet之前,人们根本不相信数据的价值,”李在计算机历史博物馆的采访中说道,“当时所有人都在研究完全不同的AI范式,数据量极少。”

尽管有负面反馈,李飞飞坚持了两年多,这不仅消耗了她的研究预算,也考验了她研究生团队的耐心。2009年她在斯坦福大学开始新工作时,带着ImageNet项目和几个学生一起搬到了加州。

ImageNet在2009年发布后的头几年并未受到广泛关注。然而在2012年,多伦多大学的一支团队使用ImageNet训练了一个神经网络,在图像识别方面取得了前所未有的表现。这个被称为AlexNet的突破性AI模型开启了延续至今的深度学习浪潮。

AlexNet的成功离不开ImageNet数据集,同时也得益于英伟达的CUDA平台,使GPU得以用于非图形应用。当英伟达在2006年发布CUDA时,许多人对此持怀疑态度。

因此,过去12年间的AI热潮得益于三位坚持不懈的先驱。第一位是杰弗里·辛顿,多伦多大学的计算机科学家,他几十年来推广神经网络,尽管几乎普遍受到了质疑。第二位是英伟达的CEO黄仁勋,他早在创立GPU之初就意识到GPU不仅仅适用于图形处理。第三位是李飞飞,她创建了一个看似荒谬的巨型图像数据集,最终成为神经网络在GPU上成功应用的关键要素。

辛顿和他的同事们在1986年发表了一篇具有里程碑意义的论文,描述了反向传播技术,使得训练深层神经网络成为可能。他们从网络的最后一层开始,逐层反向传播梯度,从而逐步调整每一层的参数。这一创新重新激发了对神经网络的兴趣。

与此同时,黄仁勋则在1999年发明了GPU,大大提高了平行计算能力。英伟达在2006年推出CUDA平台,尽管起初反响平平,但最终为深度学习的崛起奠定了基础。2009年,辛顿的团队首次利用CUDA平台训练神经网络,使神经网络的训练速度提升了数百倍。

李飞飞通过ImageNet项目提供了神经网络所需的大规模数据。她在斯坦福大学的头几年,尽管遭遇了项目初期的冷淡反响,但通过ImageNet挑战赛吸引了广泛关注。2012年,多伦多大学团队的AlexNet模型在ImageNet比赛中遥遥领先,引发了计算机视觉领域的震动。该模型由数千万个参数组成,其表现证明了深层神经网络的潜力。

AI界迅速意识到AlexNet的重要性。辛顿的团队成立了一家公司,并在几个月后被谷歌以4400万美元收购,辛顿成为谷歌AI团队的一员。而Nvidia的GPU则成为训练神经网络的行业标准。到2012年,Nvidia的市场估值不到100亿美元,如今,Nvidia已经成为世界上最有价值的公司之一,市值超过3万亿美元。

正如李飞飞在9月一次采访中所言,现代AI的三大支柱——神经网络、大数据(ImageNet)和GPU计算——在那个时刻首次交汇。如今,主流AI实验室认为,训练超大规模模型和海量数据集是推动AI进步的关键。这似乎符合AlexNet的经验教训,但我们也要小心,不要让这些经验变成不可撼动的教条。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/910072.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Python | Leetcode Python题解之第542题01矩阵

题目: 题解: class Solution:def updateMatrix(self, matrix: List[List[int]]) -> List[List[int]]:m, n len(matrix), len(matrix[0])# 初始化动态规划的数组,所有的距离值都设置为一个很大的数dist [[10**9] * n for _ in range(m)]…

RabbitMQ 管理平台(控制中心)的介绍

文章目录 一、RabbitMQ 管理平台整体介绍二、Overview 总览三、Connections 连接四、Channels 通道五、Exchanges 交换机六、Queues 队列查看队列详细信息查看队列的消息内容 七、Admin 用户给用户分配虚拟主机 一、RabbitMQ 管理平台整体介绍 RabbitMQ 管理平台内有六个模块&…

【机器学习】聚类算法分类与探讨

💗💗💗欢迎来到我的博客,你将找到有关如何使用技术解决问题的文章,也会找到某个技术的学习路线。无论你是何种职业,我都希望我的博客对你有所帮助。最后不要忘记订阅我的博客以获取最新文章,也欢…

易语言模拟真人动态生成鼠标滑动路径

一.简介 鼠标轨迹算法是一种模拟人类鼠标操作的程序,它能够模拟出自然而真实的鼠标移动路径。 鼠标轨迹算法的底层实现采用C/C语言,原因在于C/C提供了高性能的执行能力和直接访问操作系统底层资源的能力。 鼠标轨迹算法具有以下优势: 模拟…

Linux:防火墙和selinux对服务的影响

1-1selinux 1-1 SELinux是对程序、文件等权限设置依据的一个内核模块。由于启动网络服务的也是程序,因此刚好也 是能够控制网络服务能否访问系统资源的一道关卡。 1-2 SELinux是通过MAC的方式来控制管理进程,它控制的主体是进程,而目标则是…

华为eNSP:QinQ

一、什么是QinQ? QinQ是一种网络技术,全称为"Quantum Insertion",也被称为"Q-in-Q"、"Double Tagging"或"VLAN stacking"。它是一种在现有的VLAN(Virtual Local Area Network&#xff0…

运动控制 PID算法

文章目录 一、自动控制简介1.1 开环控制系统1.2 闭环控制系统1.3 电机速度闭环控制系统 二、PID算法2.1 比例2.1.1 静态误差 2.2 积分2.3 微分环节2.4 位置式PID2.5 增量式PID 一、自动控制简介 自动控制系统是使用自动控制装置对关键控制参数进行自动控制,使它在收…

Pytorch实现transformer语言模型

转载自&#xff1a;| 03_language_model/02_Transformer语言模型.ipynb | 从头训练Transformer语言模型 |Open In Colab | Transformer语言模型 本节训练一个 sequence-to-sequence 模型&#xff0c;使用pytorch的 nn.Transformer <https://pytorch.org/docs/master/nn.ht…

C语言例题练手(1)

前几篇博客的内容已经涉及了C语言的部分语法知识&#xff0c;我们可以尝试做一些编程题&#xff0c;或者换一种说法就是可以写出什么样的程序以此来解决一些问题。 题目来自牛客网https://www.nowcoder.com和C语言菜鸟教程C 语言教程 | 菜鸟教程 数值计算 【例1】带余除法计…

Spring AI 核心概念

SpringAI 核心概念 1. Models2. Prompts3. Prompt Templates4. Embeddings5. Tokens6. Structured Output7. Bringing Your Data & APIs to the AI Model7.1 Retrieval Augmented Generation7.2 Function Calling 1. Models AI 模型是用于处理和生成信息的算法&#xff0c…

http请求响应详解

http介绍 http协议&#xff1a; Http”协议称为是“超文本传输协议”&#xff08;HTTP-Hypertext transfer protocol&#xff09;。它定义了浏览器怎么向万维网服务器请求万维网文档&#xff0c;以及服务器怎么样把文档传送给浏览器。 https协议&#xff1a; 传统的HTTP协议…

直播系统搭建教程安装说明

需要安装的软件(宝塔【软件商店】中查找安装): 1.PHP7.0 ~ PHP7.3 需要安装的扩展:(宝塔【PHP管理】【安装扩展】中安装) *PDO PHP Extension * MBstring PHP Extension * CURL PHP Extension * Mylsqi PHP Extension * Redis PHP Extension * fileinfo PHP Extension …

redis7学习笔记

文章目录 1. 简介1.1 功能介绍1.1.1 分布式缓存1.1.2 内存存储和持久化(RDBAOF)1.1.3 高可用架构搭配1.1.4 缓存穿透、击穿、雪崩1.1.5 分布式锁1.1.6 队列 1.2 数据类型StringListHashSetZSetGEOHyperLogLogBitmapBitfieldStream 2. 命令2.1 通用命令copydeldumpexistsexpire …

51c~C语言~合集1

我自己的原文哦~ https://blog.51cto.com/whaosoft/12428240 一、C语言和C的区别 ​ C语言虽说经常和C在一起被大家提起&#xff0c;但可千万不要以为它们是一个东西。现在我们常用的C语言是C89标准&#xff0c;C是C99标准的。C89就是在1989年制定的标准&#xff0c;如今最新…

【论文解读】EdgeYOLO:一种边缘实时目标检测器(附论文地址)

论文地址&#xff1a;https://arxiv.org/pdf/2302.07483 这篇文章的标题是《EdgeYOLO: An Edge-Real-Time Object Detector》&#xff0c;由中国北京理工大学的Shihan Liu、Junlin Zha、Jian Sun、Zhuo Li和Gang Wang共同撰写。这篇论文提出了一个基于最新YOLO框架的高效、低复…

基于SSM的企业管理系统(源码+lw+调试+技术指导)

项目描述 临近学期结束&#xff0c;还是毕业设计&#xff0c;你还在做java程序网络编程&#xff0c;期末作业&#xff0c;老师的作业要求觉得大了吗?不知道毕业设计该怎么办?网页功能的数量是否太多?没有合适的类型或系统?等等。这里根据疫情当下&#xff0c;你想解决的问…

【MyBatis源码】CacheKey缓存键的原理分析

文章目录 Mybatis缓存设计缓存KEY的设计CacheKey类主体CacheKey组成CacheKey如何保证缓存key的唯一性 Mybatis缓存设计 MyBatis 每秒过滤众多数据库查询操作&#xff0c;这对 MyBatis 缓存键的设计提出了很高的要求。MyBatis缓存键要满足以下几点。 无碰撞&#xff1a;必须保证…

Mac M1 Docker创建Rocketmq集群并接入Springboot项目

文章目录 前言Docker创建rocketmq集群创建rocketmq目录创建docker-compose.yml新增broker.conf文件启动容器 Springboot 接入 rocketmq配置maven依赖修改appplication.yml新增消息生产者新增消费者测试发送消息 总结 前言 最近公司给配置了一台mac&#xff0c;正好有时间给装一…

pycharm小游戏贪吃蛇及pygame模块学习()

由于代码量大&#xff0c;会逐渐发布 一.pycharm学习 在PyCharm中使用Pygame插入音乐和图片时&#xff0c;有以下这些注意事项&#xff1a; 插入音乐&#xff1a; - 文件格式支持&#xff1a;Pygame常用的音乐格式如MP3、OGG等&#xff0c;但MP3可能需额外安装库&#xf…

使用Rust实现http/https正向代理

相关库的安装 利用vcpkg安装openssl库 vcpkg install openssl:x64-windows并设置openssl库位置的环境变量 $Env:OPENSSL_DIR"D:/vcpkg/packages/openssl_x64-windows/"安装openssl软件&#xff0c;因为需要利用openssl生成自签名证书 Cargo依赖 [dependencies] …