2019年的第一代WSE-1基于台积电的16纳米工艺,面积为46225平方毫米,1.2万亿个晶体管,40万个人工智能核心,18GB SRAM缓存,9PB/s内存带宽和100Pb/s互连带宽,功耗高达15千瓦。
2021年,第二代WSE-2升级了台积电的7纳米工艺,同样的面积为46225平方毫米,2.6万亿个晶体管,85万个内核,40GB高速缓存,20PB/s的内存带宽和220Pb/s的互连带宽。
今天的第三代WSE-3再次升级到台积电的5纳米工艺。面积没说,应该差不多。毕竟,制造一个芯片需要一个晶圆,而且不能再大了。
晶体管数量继续增加到惊人的4万亿个,AI核心数量进一步增加到90万个,缓存容量达到44GB,外部匹配的内存容量可以从1.5TB、12TB和1200TB中选择。
乍一看,核心数量和缓存容量并没有增加多少,但性能却实现了飞跃。峰值AI算力高达125PFlops,也就是每秒12.5亿次浮点运算,堪比顶级超算。
它可以训练比GPT-4和Gemini多十倍的下一代人工智能模型,并且可以在单个逻辑内存空中存储24万亿个参数,而无需分区或重建。
用它训练一个1万亿参数的大模型的速度,相当于用GPU训练10亿个参数。
四路并行,一天可以完成700亿个参数的调整,最多支持2048个互联,一天可以完成Llama 700亿个参数的训练。
WSE-3的具体功耗和价格尚未公布。按照上一代的情况,应该是200多万美元。