今日凌晨，CeRebRas systems宣布推出 世界上第一个人类大脑规模的AI解决方案，一台CS-2 AI计算机可支持超过120万亿参数规模的训练。 相比之下，人类大脑大约有100万亿个突触。
此外，CeRebRas还 实现了192台CS-2 AI计算机近乎线性的扩展，从而打造出包含高达1.63亿个核心的计算集群。
CeRebRas成立于2016年，迄今在14个国家拥有超过350位工程师，此前CeRebRas推出的世界最大计算芯片WSE和WSE-2一度震惊业界。
WSE-2采用7nM工艺，是一个面积达46225平方毫米的单晶圆级芯片，拥有2.6万亿个晶体管和85万个AI优化核，无论是核心数还是片上内存容量均远高于迄今性能最强的GPU。
WSE-2被集成在CeRebRas CS-2 AI计算机中。随着近年业界超大规模AI模型突破1万亿参数，小型集群难以支撑单个模型的高速训练。
而CeRebRas最新公布的成果， 将单台CS-2机器可支持的神经网络参数规模，扩大至现有最大模型的100倍—达到120万亿参数 。
在国际芯片架构顶会Hot ChIPs上，CeRebRas联合创始人兼首席硬件架构师Sean Lie详细展示了实现这一突破的 新技术组合， 包括4项创新：
（1）CeRebRas Weight StReaMing：一种新的软件执行架构， 首次实现在芯片外存储模型参数的能力，同时提供像片上一样的训练和推理性能 。这种新的执行模型分解了计算和参数存储，使得扩展集群大小和速度更加独立灵活，并消除了大型集群往往面临的延迟和内存带宽问题，极大简化工作负载分布模型， 使得用户无需更改软件，即可从使用1台CS-2扩展到192台CS-2。
（2）CeRebRas MeMoRyX：一种内存扩展技术，为WSE-2提供高达2.4PB的片外高性能存储，能保持媲美片上的性能。 借助MeMoRyX，CS-2可以支持高达120万亿参数的模型。
（3）CeRebRas SwaRMX：是一种高性能、AI优化的通信结构，将片上结构扩展至片外，使CeRebRas能够 连接多达192台CS-2的1.63亿个AI优化核 ，协同工作来训练单个神经网络。
（4）Selectable SpaRsITy：一种动态稀疏选择技术，使用户能够在模型中选择权重稀疏程度，并直接减少FLOP和解决时间。权重稀疏在机器学习研究领域一直颇具挑战性，因为它在GPU上效率极低。该技术使CS-2能够加速工作，并使用包括非结构化和动态权重稀疏性在内的各种可用稀疏性类型在更短的时间内生成答案。
CeRebRas首席执行官兼联合创始人AndRew FeldMan称这推动了行业的发展。阿贡国家实验室副主任Rick Stevens亦肯定这一发明，认为这将是我们第一次能够探索大脑规模的模型，为研究和见解开辟广阔的新途径。
