世界最大AI芯片打破单设备训练大模型据信 ，Cerebras要「杀死」GPU

以造显现出世界上较大国家实验室晶片CS-2 Wafer Scale Engine闻名的CorporationCerebras昨天无限期他们早已在能用“巨芯”进行时计算机培训上走显现出了重要的一步。该Corporation培训显现出了单晶片上世界较大的NLP（自然语言检视）AI假设。雷峰网

该假设不具20亿个模板，基于CS-2晶片进行时培训。这块世界较大的国家实验室晶片选用7nm制程工艺，由一整块方形的半导体上会而成。它的形状数百倍于取向晶片，不具15KW的功率。它内嵌了2.6万亿个7nm真空管，PVC了850000个内核和40GB内存。

图1 CS-2 Wafer Scale Engine晶片

单晶片培训AI大假设纪录

NLP假设的联合开发是计算机中的一个重要教育领域。能用NLP假设，计算机可以“理二阶”手写意义，并进行时相应的特技。OpenAI的DALL.E假设就是一个值得注意的NLP假设。这个假设可以将用到者的输入的手写文档裂二阶为图片输显现出。

比如当用到者输入“牛油果形状的扶手椅”后，AI就可能会终端分解若干与这句话互换的影像。

图：AI分派文档后分解的“牛油果形状扶手椅”图片

不止于此，该假设还必需使AI理二阶物种、几何、历史文化时代等复杂的知识。

但要实现这一切这不容易，NLP假设的传统联合开发不具极高的算力效益和关键技术门槛。

显然，如果只讨论进制，Cerebras联合开发的这一假设20亿的模板量在同行的衬托下，显得有些平平无奇。

前面提到的DALL.E假设不具120亿个模板，而目前较大的假设是DeepMind于上次月末推显现出的Gopher，不具2800亿个模板。

但除去超乎的进制外，Cerebras联合开发的NLP还有一个非常大的打破：它降低了NLP假设的联合开发难度。

「巨芯」如何获得胜利GPU？

按照传统流程，联合开发NLP假设所需联合程序员将非常大的NLP假设可分若干个功能外，并将他们的指导负载集中于到成百上千个纹理检视单元上。

数以千百计的纹理检视单元对代工来说这样一来非常大的效益。

关键技术上的不便也同样使代工们痛苦不堪。

可分假设是一个独创的问题，每个信息处理、每个GPU的规格、以及将他们相连（或互联）在两兄弟的网络都是独一无二的，并且不用跨系统Dreamcast。

代工必须在第一次培训前将这些因素统统考虑确实。

这项指导非常复杂，一般来说甚至所需几个同月的短时间才能未完成。

Cerebras表示这是NLP假设培训中“最痛苦的多方面之一”。只有极少数Corporation拥有联合开发NLP所合理的能源和专业知识。对于计算机行业中的其他Corporation而言，NLP的培训则实在昂贵、实在用时且无法用到。

但如果单个晶片就必需大力支持20亿个模板的假设，就这样一来不所需用到一个大的GPU集中于培训假设的时数。这可以为代工节省数千个GPU的培训效益和相关的软件、扩展决定。同时这也使代工这不所需漫长可分假设并将其指导负载分配给数千个GPU的痛苦。

Cerebras也并未只不过执拗于进制，称赞一个假设的好坏，模板的数量这不是专业性。

比起希望诞生于“巨芯”上的假设“希望”，Cerebras更希望的是假设“聪慧”。

之所以Cerebras必需在模板量上拿下爆炸式增长，是因为能用了权重流关键技术。这项关键技术可以将算出和内存的分之一用量二阶耦，并受限制将内存集中于所能加载AI指导负载中增加的任何数量的模板。

由于这项打破，新设假设的短时间从几个同月减少到了几分钟。并且联合程序员在GPT-J和GPT-Neo等型号之间“只用几次按键”就可以未完成切换。这让NLP的联合开发愈发更加最简单。

这使得NLP教育领域显现出现了在此之后变化。

正如Intersect360 Research 主管研究官 Dan Olds 对Cerebras拿下成就的称赞：“Cerebras 必需以不具效益经济效益、易于访问的方式将大型语言假设充满著大众，这为计算机开拓了一个激动人心的新时代。”