专访 AI 芯片初创公司 EnCharge 宣称其模拟东说念主工智能加快器性能不错忘形桌面 GPU,但功耗仅为后者的一小部分。这在表面上令东说念主印象深入,当今面对的贫困是:在现实寰宇中施展这小数。
该公司宣称已开发出一种用于 AI 推理的新式内存蓄意架构,用模拟电容器替代传统晶体管,与 GPU 等数字加快器比较,每瓦性能进步了 20 倍。
把柄 CEO Naveen Verma 的说法,EnCharge 的推理芯片在仅消费 1 瓦功率的情况下,就能在 8 位精度下提供 150 TOPS 的 AI 算力。淌若将功耗进步到 4.5 瓦,Verma 宣称其性能不错忘形桌面 GPU,但功耗仅为后者的百分之一。至少,这是他们的宣传。
关联词,这并非纯表面。EnCharge 的芯片源自 Verma 在普林斯顿大学的实验室,得到了好意思国国防高等盘考策划局 (DARPA) 和台湾芯片制造巨头 TSMC 的复旧。Verma 告诉咱们,该公司也曾流片了几个测试芯片来施展该架构的可行性。
"咱们正在开发的居品实践上是基于我的盘考实验室开发的一项基础技能,"他说,"咱们确乎有契机从根柢上盘考 AI 蓄意面对的挑战。"
在获取了来自 Tiger Global、RTX 等投资者的 1 亿好意思元 B 轮融资后,EnCharge 策划在本年晚些时候流片首批面向迁徙设备、PC 和职责站的量产芯片。
Verma 暗示,真确的区别在于芯片若缘何及在那里进行蓄意。如今,绝大多数生成式 AI 蓄意齐是使用大量乘累加单位 (MAC) 完成的。
在传统架构中,这些单位由数十亿个晶体管门电路组成,由于数字是用二进制的 1 和 0 暗示的,是以最终只可惩办破损值。Verma 以为这种枢纽不错更正,通过使用相连值而不是破损值,不错进步成果和精度。
因此,EnCharge 的 MAC 单位汲取模拟电容器构建,不错把柄其电荷水平暗示自便相连信号值。况且由于电容器基本上即是由两个导体被介电材料区别隔,因此不错使用现存的 CMOS 技能搪塞地蚀刻到硅片中,Verma 说。
EnCharge 遐想的第二个要素是在内存中进行模拟蓄意。
内存蓄意并不是一个新意见。多年来,也曾有几家公司在悉力将基于这一意见的 AI 加快器生意化。这个意见的中枢想想是,通过将蓄意(经常是大量数学电路)镶嵌到内存中,不错径直在原地蓄意矩阵,而不需要迁徙数据。
在 EnCharge 的遐想中,模拟电容器当今精致通过累加电荷来履行这种蓄意。
"当你启动这些电容器中的任何一个时,耦合的电容线的输出基本上会达到信号的平均值,"他说,"平均值即是一种累加。它应该把柄你平均的项数进行归一化。"
兑现这小数破耗了八年的盘考和开发时间,不仅包括开发内存模拟矩阵累加单位,还包括使其可编程所需的扫数其他内容。
"咱们意识到,当你有这些基础技能打破时,还必须构建完好的架构,并开发扫数软件,"Verma 说。
说到可编程性,EnCharge 的芯片复旧各式 AI 职责负载,从卷积神经网络到复旧诳言语模子和扩散模子的 Transformer 架构。
动作推理芯片,其遐想会把柄谋略职责负载而变化。关于某些职责负载,内存容量和带宽等要素可能比原始蓄意智商对性能的影响更大。
举例,诳言语模子经常受内存斥逐,内存容量和带宽对感知性能的影响经常比它能产生的 TOPS 数目更大。因此,Verma 说,针对这类职责负载的 EnCharge 芯片可能会减少用于蓄意的芯单方面积,以便为更大的内存总线腾出空间。
违反,关于扩散模子这么不太受内存斥逐的行使,你可能需要更多的蓄意智商来更快地生成图像。
现时,议论到易于汲取,EnCharge 坚捏使用 M.2 或 PCIe 插卡面孔。咱们之前见过汲取这种面孔的低功耗加快器,如 Google 的 Coral TPU 和 Hailo 的 NPU。
从长期来看,这项技能不错适当更大、更高功率的行使,Verma 说。"从根柢上说,彭胀到 75 瓦 PCIe 卡等居品的智商齐是具备的。"
首批 EnCharge 量产芯片瞻望将在本年晚些时候流片,不外他指出,在初创公司悉力将芯片集成到客户遐想中并斥地软件管说念的流程中,还需要一段时间身手泛泛汲取。