WSE-3芯片由90万个经AI优化的计算核心组成,集成在一块8.5×8.5英寸的硅晶圆上,类似其“前身”WSE-2。该公司在13日发布的一份新闻稿中表示,WSE-3的功耗和价格与WSE-2相当,但功率是其两倍。WSE-2包括2.6万亿个晶体管和85万个AI核心。目前用于训练AI模型的最强大芯片之一是英伟达H200图形处理单元,但该芯片只包含800亿个晶体管,仅为WSE-3晶体管数目的1/57。
WSE-3芯片将为正在建设中的“秃鹰银河3号”超级计算机提供动力。该超级计算机将由64个基于WSE-3芯片的Cerebras CS-3 AI系统组成,每秒浮点运算能力有望达到8百亿亿次,使其成为最强大的AI超级计算机之一。
当“秃鹰银河3号”与“秃鹰银河1号”和“秃鹰银河2号”系统“强强联手”,整个网络的浮点运算能力将达到每秒1千6百亿亿次。相较之下,目前世界上最强大的超级计算机——位于美国橡树岭国家实验室的“前沿”超级计算机,其运算能力为每秒1百亿亿次。
该公司称,CS-3系统具有卓越的易用性,相比GPU需要更少代码来训练大型AI模型,将用于训练比GPT-4或谷歌的“双子座”大10倍的未来AI系统。据称,GPT-4使用了约1.76万亿个参数来训练系统,而CS-3系统可处理有24万亿个参数的AI模型。