超越摩尔定律； 半导体创新仍在继续，但更加艰难

半导体在摩尔定律的指导下发展了数十年，摩尔定律描述了数字技术以及近年来深度学习等先进人工智能形式的巨大发展背后的进步。

摩尔定律实际上是一种观察结果，由英特尔联合创始人戈登·摩尔 (Gordon Moore) 在 1965 年提出，该定律认为芯片上的晶体管数量大约每年都会增加一倍。 1975年，他将公式调整为每两年一次。 几十年来，这一点一直成立，有助于解释当今世界的很多问题，包括为什么智能手机和其他数字设备的性价比显着提高，尤其是与许多其他种类的商品相比。 晶体管的售价一度高达每个 150 美元。 2019 年，典型的英特尔微处理器包含 50 亿个，每个成本为 0.0000001 美元。

但有人说，由于晶体管尺寸现在如此之小，摩尔定律所描述的稳定、可预测的进步已经结束，因为某些努力已经接近经济和物理学的极限。 与深度学习和其他形式人工智能的进步密切相关的其他类型的半导体创新正在进行中。 但是，现在已经不可能以如此清晰、容易被公众掌握的方式来描述芯片创新的下一阶段来预测未来。

半导体巨头英伟达 (Nvidia) 的首席科学家比尔·达利 (Bill Dally) 表示：“那些日子已经一去不复返了，对吧？”该公司设计了人工智能最需要的芯片。英伟达以图形处理单元而闻名，图形处理单元是一种采用 许多核心同时进行计算。人工智能对于 GPU 的需求非常大，尤其是具有许多密集层的神经网络。

虽然摩尔定律所描述的进步不再像以前那样迅速发展，但英伟达、谷歌 DeepMind 和其他公司的研究人员正在一系列领域取得进展。

“深度学习是由硬件驱动的。 我们感到继续下去的巨大压力，”斯坦福大学计算机科学系前系主任达利说，他仍然是该校的兼职教授。

“事情变得越来越困难，但我们仍然有好的想法……四年后，我们已经非常清楚性能的来源。 我们做了很多探索性的努力来回答这个问题：在那之后性能将来自哪里，”Dally 说，他领导着一个由 300 名拥有博士学位的研究人员组成的团队。

Dally 表示，Nvidia 的先进数据中心芯片 Hopper 架构于 2022 年推出，并设法将更多晶体管封装到芯片上，但该芯片的成本比之前的版本更高，而且单个晶体管的成本也更高。 “较小的晶体管并没有真正帮助我们太多，”达利补充道，“随着我们从一代过渡到下一代，我们不再降低晶体管的成本。”

尽管如此，考虑到摩尔定律之外存在的其他类型的创新，Hopper 的性价比还是有所提高。 达利表示，他相信至少在未来四年内，实现更多创新的道路是明确的，这意味着与人工智能不断增长的力量密切相关的硬件改进也应该继续下去，这将对医疗等众多行业产生影响。 科学和医疗保健到金融和电子商务。

这项工作利用了稀疏性或将“小”数字舍入为零等概念，从而减少了芯片必须执行的乘法量。

八年前，现在麻省理工学院的 Dally 和 Song Han 以及其他人在 NeurIPS 会议上发表了一篇论文，该论文表明，对于很多神经网络，他们可以将 90% 的数字归零，并且不会改变神经网络的准确性。

“我们仍在研究如何利用更好的硬件来利用这一点，”达利说。

另一个创新领域涉及数字表示，其中数字以各种方式表示，例如一串 1 和 0。 Dally 表示，如果可以用更短的字符串（例如 8 个而不是 16 或 32 个单位或位）来完成此操作，那么乘法等过程中芯片所需的工作量就会相应减少。 这提高了芯片的整体功率和效率。

英伟达和谷歌一直致力于为人工智能定制芯片。 这使得他们能够比摩尔定律更快地扩展人工智能芯片性能，尽管在芯片上放置更多晶体管变得越来越困难。 2020 年，《华尔街日报》专栏作家克里斯托弗·米姆斯 (Christopher Mims) 以 Nvidia 联合创始人兼首席执行官黄仁勋 (Jensen Huang) 的名字命名了黄氏定律 (Huang’s Law)，该定律指出，为人工智能提供动力的硅芯片的性能每两年就会增加一倍以上。

然而，存在一个根本性的差异：人工智能算法每隔几个月就会进化一次，而设计芯片则需要两到三年的时间。

通过采用先进的人工智能，可以显着减少芯片设计的时间和成本。 一些研究人员认为人工智能可以将设计过程从几年缩短到几天。 在软件方面，更好的资源调度和更优化的代码可以提高现有芯片设计的性能。

数据中心和芯片研究总监 Olivier Temam 表示，缓慢而昂贵的芯片设计还有一个更微妙的后果：它需要人工智能研究人员为现有芯片创建算法，这反过来可能会限制他们设想的人工智能算法的范围。 ，谷歌 DeepMind。 如果研究人员能够更容易、更便宜地制造适应新颖人工智能算法的芯片，可能会在该领域释放更多创造力。

Temam 表示：“人工智能驱动的芯片设计的最新进展与持续的探索相结合，表明我们有一天可能能够实现芯片设计的自动化，最终带来生产力的大幅提升，从而改变整个行业。”