神经网络的概念可追溯到上世纪40年代，当时被认为是一种模拟大脑神经元网络的计算系统。
1940年代，麦卡洛克（McCulloch）和沃尔特·皮茨（Walter Pitts）率先提出了受人类大脑和生物神经网络启发的人工神经网络。

1951年，马文·明斯基（Marvin Minsky）的SNARC系统标志着第一个计算机化的人工神经网络。和同学一起建造了世界上第一台神经网络计算机，并将其命名为SNARC（Stochastic Neural Analog Reinforcement Calculator），目的在于学习如何穿过迷宫。

1958年，弗兰克·罗森布拉特（Frank Rosenblatt）与美国海军等政府部门合作，开发了一种基于神经网络概念的感知机。当时，《纽约时报》和《纽约客》都浓墨重彩地报道了这件事。美国军方大力资助了神经网络的研究，并认为神经网络比“原子弹工程”更重要。这段时间直到1969年才结束，这个时期可以看作神经网络的第一次高潮。

1960年代，多层结构的发现开启了新的可能性，导致了前馈神经网络和反向传播的发展。

前馈神经网络是一种人工神经网络，信息从输入层通过隐藏层传递到输出层，没有任何循环或反馈连接。

反向传播是一种神经网络的训练算法，它通过网络计算和分配误差梯度，从而在学习过程中有效地调整网络的权重。

1962年，弗兰克·罗森布拉特在1962年引入"反向传播误差校正"一词。但真正的实现是由保罗·韦尔博斯（Paul Werbos）完成的，他在1974年描述了误差反向传播*。

误差反向传播是一种在神经网络中用来调整神经元连接权重的方法，通过从输出层向输入层传播误差，使网络能够学习和改进预测。
1960年代，马文·明斯基（Marvin Minsky）和西摩·派普特（Seymour Papert）证明了感知机在解决某些类型问题上的局限性，他们认为单层神经网络无法处理“异或”电路，其次，当时的计算机缺乏足够的计算能力