天才一秒记住【久久文学】地址:https://www.jjwxx.com
在20世纪80年代出现的高度连接神经网络中,每个神经元可能与其他神经元产生150个连接。
到了撰写本书的时候,最先进的神经网络中的神经元,已经和猫的大脑神经元连接数相当了。
而人类的神经元平均拥有10000个连接。
现在,深度神经网络拥有更多的网络层次结构、更多的神经元以及每个神经元拥有更多的连接,为了训练这样的网络学习,就需要比反向传播算法更先进的技术。
杰夫·辛顿(GeoffHinton)于2006年提出了这一观点,他是一位英国出生的加拿大研究员,比任何人都认同深度学习的改革。
不管怎么说,辛顿是个了不起的人,他也是20世纪80年代PDP运动的领导人之一,同样也是反向传播算法的创始人之一。
我个人认为他最了不起的一点在于,当PDP研究失宠后,辛顿并没有灰心丧气,而是坚持下来,并以深度学习的形式将神经网络带入另一个辉煌,他也因此受到了国际社会的赞誉。
(很凑巧,辛顿正好是乔治·布尔的曾孙,我们在第三章里提到过布尔,他是现代逻辑的奠基人之一。
不过,辛顿声称,或许这是他和逻辑派传统人工智能唯一的关联。
)
更深的网络层级、更庞大的神经元结构、更广泛的神经元连接,是神经网络深度学习模式成功的一个关键因素。
而辛顿和其他人在关于训练神经网络方面提供的新技术是另一个关键因素。
但深度学习真正获得成功,还需要另外两个因素:数据和计算能力。
数据对机器学习的重要性可以用Image项目的故事来说明[69]。
Image来自华裔研究员李飞飞的创意。
1976年她出生于北京,80年代随父母移居美国,学习物理和电气工程。
2009年,她进入了斯坦福大学,并在2013年至2018年间带领斯坦福大学人工智能实验室。
李飞飞认为,机器学习需要大型的、维护良好的数据集,这可以为新系统的训练、测试和比较提供一个通用的基线,也将使整个深度学习研究界受益匪浅。
因此,她启动了Image项目。
&是一个大型的在线图像档案库,在撰写本书时,已经拥有大约1400万张图片。
Image的图片仅仅是照片而已,你可以下载为普通的数码格式,比如JPEG。
不过,最重要的是,这些图片被详细分为22000种不同的类别,使用一个名为“词汇网”
[70]的在线语义词库标注。
词汇网的单词被仔细分类过,例如可以识别具有相同或者相反含义的词汇等等。
现在查看Image的图片,我们可以看到它包含1032张标记为“火山口”
的图片,122张标记为“飞盘”
的图片,诸如此类。
我们需要了解的一个重点是,数据库中特定类别的图像并非人工分类的,也不是因为看上去很相似所以列入分类——恰恰相反,举个例子,飞盘类的图片唯一的共同点是它包含飞盘。
其中某些图像是一个人朝另一个人扔飞盘,也有图像是静止在桌面上的飞盘,没有任何人影。
每张图片都不一样——除了它们都包含飞盘这个要素。
2012年是技术图像分类发展的最佳时机,当时杰夫·辛顿和他的两位同事亚历克斯·克里泽夫斯基(AlexKrizhevsky)、伊利亚·苏茨科弗(IlyaSutskever)一起展示了名为Alex的神经网络系统,它在国际图像识别比赛中有着亮眼的表现[71]。
使深度学习发挥作用的最后一个要素是计算机的处理能力。
训练一个深度神经网络需要大量的计算机处理时间,训练本身要做的工作并不太复杂,但是数量庞大。
本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!