据多家外媒报道,近日,美国 AI 芯片初创公司 Cerebras Systems 推出了有史以来最大的芯片,这款名为“The Cerebras Wafer Scale Engine”的芯片(下文称 WSE)有 1.2 万亿个晶体管。
在芯片历史上,1971 年,英特尔的第一个 4004 处理器只有 2300 个晶体管,而最近的一个高级微设备处理器也只有 320 亿个晶体管。三星也曾制造过一款拥有 2 万亿个晶体管的闪存芯片( eUFS 芯片),但是不适用于 AI 计算。
WSE,这个创纪录的最大芯片,它为 AI 计算而生。
(来源:Cerebras Systems)
数据显示,这个 42,225 平方毫米的芯片,有着 400,000 个核,这些核心通过一个细粒度、全硬件的片内网状连接的通信网络连接在一起,提供每秒 100 PB 的总带宽。更多的核心、更多的本地内存和低延迟的高带宽结构,创建了加速人工智能工作的最佳架构。WSE 比最大的 GPU 还要大 56.7 倍,拥有 18 GB 的 on-chip sram。
事实上,现在的大多数芯片是在 12 英寸硅片基础上制作的多芯片集成。但 Cerebras Systems 公司的这款芯片是晶体管在单晶硅圆片上制作互相连接的独立芯片。其互相连接的设计,可以让所有的晶体管都能如一个整体一般高速运转。
(来源:Cerebras Systems)
通俗地解释,这款产品完全就是计算机中的学霸,比计算能力和存储带宽,不好意思,人家的级别还是新词汇——拍字节(Petabytes,1PB=1024TB=10^6GB=2^50bit),速度大约是如今英伟达公司最大的图形处理器(GPU,浮点运算能力很强,常用于 AI 相关研究)的 3000 倍,存储带宽则是 1000 倍。
如此强大的能力来源于其片上的 1.2 万亿个晶体管,要知道 1971 年 Intel 的 4004 处理器才有 2300 个晶体管,按照摩尔定律来推算:“每 18 个月,芯片上晶体管数目翻倍”,到今年应该刚好 1 万亿个晶体管,多一个晶体管,能实现的计算能力就增加一分。其次,其芯片架构设计和芯片互联及通信方案也是十分超前的,使得 1.2 万亿个晶体管之间的协同十分同步,延迟达纳秒(nanosecond)级,运行时,这 1.2 万亿个晶体管就像一个晶体管一样同步。
在人工智能领域,芯片的大小非常重要。因为大型芯片处理信息的速度更快,产生答案的时间更短。减少观察的时间,或“训练时间”,可以让研究人员测试更多的想法、使用更多的数据,并解决新的问题。谷歌、Facebook、OpenAI、腾讯、百度,以及其他许多公司都认为,如今人工智能发展的根本局限在于,训练模型的时间太长。因此,减少训练时间将消除整个行业进步的一个主要瓶颈。
当然,芯片制造商通常不生产大型芯片也是有原因的。在单个晶圆片上,制造过程中通常会出现一些杂质。一点杂质就可以导致芯片故障,严重的甚至会击穿几个芯片。如果单个晶圆片上只制作一个芯片,那么它含有杂质的可能性是 100%,杂质肯定会使芯片失效。但是 Cerebras Systems 的芯片设计是留有裕量的,能够保证一个或者少量杂质不会使整个芯片失效…
责任编辑: