谁发明了卷积神经网络（CNN）？ 1969年：福岛提出了与CNN相关的ReLU。 1979年：福岛提出了基本的CNN架构，包括卷积层和下采样层。计算成本比1989年高出100倍，比今天高出10亿倍。 1987年：怀贝尔将林奈恩玛1970年的反向传播应用于具有一维卷积的权重共享TDNN。 1988年：张伟等人将“现代”反向传播训练的二维CNN应用于字符识别。 以上所有内容均在1979年至1988年间在日本发表。 1989年：LeCun等人再次将CNN应用于字符识别（邮政编码）。 1990-93年：福岛基于空间平均的下采样被最大池化替代，适用于一维TDNN（山口等人）和二维CNN（翁等人）。 2011年：更晚些时候，我的团队与丹·西雷森一起使最大池化CNN在NVIDIA GPU上变得非常快速。在2011年，DanNet实现了第一个超人类模式识别结果。曾经一度，它享有垄断地位：从2011年5月到2012年9月，DanNet赢得了它参加的每一个图像识别挑战，连续四次。诚然，这主要是关于工程和扩大前千年的基本见解，利用更快的硬件获利。 一些“人工智能专家”声称“让CNN工作”（例如，参考文献[5,6,9]）与发明它们同样重要。但“让它们工作”在很大程度上取决于你的实验室是否足够富有，能够购买最新的计算机以扩大原始工作。这与今天是一样的。基础研究与工程/开发 - R&D中的R与D。 参考文献 [1] K. Fukushima (1979). 不受位置偏移影响的模式识别机制的神经网络模型 - Neocognitron. IECE转会, 第62卷A, 第10期, 第658-665页, 1979年。 [2] K. Fukushima (1969). 通过多层网络的模拟阈值元件进行视觉特征提取. IEEE系统科学与控制论学报. 5 (4): 322-333. 这项工作引入了修正线性单元（ReLU），现在在许多CNN中使用。 [3] S. Linnainmaa (1970). 硕士论文，赫尔辛基大学，1970年。关于“现代”反向传播的第一篇出版物，也称为自动微分的反向模式。（参见施密德胡伯的著名反向传播概述：“谁发明了反向传播？”） [4] A. Waibel. 使用时间延迟神经网络的音素识别. IEICE会议，东京，日本，1987年。针对具有一维卷积的权重共享TDNN的反向传播。 [5] W. Zhang, J. Tanida, K. Itoh, Y. Ichioka. 移位不变模式识别神经网络及其光学架构. 日本应用物理学会年会论文集，1988年。第一篇反向传播训练的二维CNN，应用于英语字符识别。 [6] Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, L. D. Jackel: 反向传播应用于手写邮政编码识别, 神经计算, 1(4):541-551, 1989年。另见[10]的第3节。 [7] K. Yamaguchi, K. Sakamoto, A. Kenji, T. Akabane, Y. Fujimoto. 一种用于说话者独立的孤立词识别的神经网络. 第一届国际语言处理会议（ICSLP 90），神户，日本，1990年。使用最大池化代替福岛的空间平均的1维卷积TDNN。 [8] Weng, J., Ahuja, N., 和 Huang, T. S. (1993). 从2D图像学习3D物体的识别和分割. 第四届国际计算机视觉会议论文集，柏林，第121-128页。一个二维CNN，其下采样层使用最大池化（已变得非常流行），而不是福岛的空间平均。 [9] 在2011年，快速且深度的基于GPU的CNN称为DanNet（7层以上）在计算机视觉比赛中实现了第一个超人类表现。参见概述：“2011年：DanNet引发深度CNN革命。” [10] 三位图灵奖得主如何重新发布关键方法和创意，而未能给予其创造者应有的信用。技术报告IDSIA-23-23，瑞士人工智能实验室IDSIA，2023年12月14日。另见2021年鲍尔奖颁奖典礼的YouTube视频：J. Schmidhuber赞扬福岛邦彦。

XBOW 现在是全球 HackerOne 上的第一黑客。 我们的自主 AI 渗透测试工具首次登顶全球排行榜。 下周在 #BlackHat，我们将进行现场演示： 我们将在 HackerOne 项目上实时运行——来看看 XBOW 如何发现漏洞。 📍 展位 3257

今天，马克分享了Meta对每个人未来个人超级智能的愿景。 在这里阅读他的完整信件：

“无限使用”AI订阅计划对于自主产品来说根本不可持续，因为无论代币价格多么便宜，用户都会希望消费更多。