一款旨在取代HBM的3D DRAM

展会名称：2024杭州国际光电博览会

时间：2024年10月23-25日

地点：杭州国际博览中心

展馆详细地址：杭州市萧山区盈丰街道奔竞大道353号

来源：内容由半导体芯闻（ID:MooreNEWS）编译自tomshardware，谢谢。

专注于 3D NAND 闪存和 3D DRAM的 NEO Semiconductor宣布推出 3D X-AI 芯片技术，以取代目前在 AI GPU 加速器中使用的 HBM。这款 3D DRAM 具有内置 AI 处理功能，可处理和生成不需要数学计算的输出。它减少了在内存和处理器之间传输大量数据时的数据总线瓶颈问题，从而提高了 AI 性能和效率。

3D X-AI 芯片的底层有一个神经元电路层，用于处理同一芯片上 300 个内存层中存储的数据。据 NEO Semiconductor 称，这款 3D 内存的性能提高了 100 倍，因为它有 8,000 个中子电路，可以在内存中进行 AI 处理。它的内存密度也是当前 HBM 的八倍，更重要的是，它通过减少耗电 GPU 中需要处理的数据量，将功耗降低了 99%。

NEO Semiconductor 创始人兼首席执行官 Andy Hsu 表示：“当前的 AI 芯片由于架构和技术效率低下，浪费了大量性能和功耗。”

胡教授表示：“目前的AI芯片架构将数据存储在HBM中，并依靠GPU执行所有计算。这种分离的数据存储和数据处理架构使数据总线成为不可避免的性能瓶颈。通过数据总线传输大量数据会导致性能受限和功耗非常高。3D X-AI可以在每个HBM芯片中执行AI处理。这可以大大减少HBM和GPU之间传输的数据，从而提高性能并大幅降低功耗。”

该公司表示，X-AI 的容量为 128GB，每个芯片可支持 10 TB/s 的 AI 处理。将 12 个芯片堆叠在单个 HBM 封装中可实现超过 1.5 TB 的存储容量和 120 TB/s 的处理吞吐量。

人工智慧的发展正在推动计算的发展，许多公司都在研究能够提高处理速度和通信吞吐量的技术。随着我们获得更快、更高效的半导体，在组件之间传输数据的总线成为瓶颈。因此，像这样的技术将使所有组件一起更快地运行。

例如，包括英特尔、Kioxia 和台积电在内的多家公司一直在研究光学技术，以实现主板内更快的通信。但通过将部分 AI 处理从 GPU 转移到 HBM，NEO Semiconductor 可以帮助减少其工作量，从而使其比目前耗电的 AI 加速器效率更高。