近日，AI题材再出大消息，一家名为Groq的初创公司在AI圈爆火，其开发的LPU推理引擎，推理速度较英伟达GPU提高10倍，成本只有其1/10。

据了解，Groq是一家由谷歌TPU团队成立的初创公司，这些人推出了一种新型的自研芯片（Language Processing Unit），这个LPU用于大模型推理加速。Groq表示其自研的新产品LPU芯片采用14nm制程，搭载了230M的存储器SRAM来保证带宽，最终对大模型的支持效果超过GPU。

不同于英伟达GPU需要依赖高速数据传输，Groq的LPU在其系统中没有采用高带宽存储器（HBM），它使用的是SRAM，其速度比GPU所用的存储器快约20倍。但有业内人士表示，搭载高容量SRAM的方式成本过于高昂，基本上没有大规模使用的可能性。

目前来看，不论是GPU还是LPU，都是在利用存储器的技术上，进行着不同方向的革新。英伟达创始人黄仁勋曾表示计算性能扩展的最大弱点就是内存带宽。最开始数据中心通过提高CPU、GPU 的性能进而提高算力，但处理器与存储器的工艺、封装、需求不同，导致二者之间的性能差距逐步加大。

虽然用 GPU 运行神经网络的方法已经为AI领域带来了惊人的发展，但两者之间的结合并不完美，处理和存储分开的架构使得两者之间传递数据需要耗费大量的时间和精力。提高速度和能效需要更优越的方案。

就存算一体技术而言，目前既有使用DRAM、SRAM、NAND等传统存储器的方案，也有使用PCM、MRAM、RRAM等新型存储器的方案。而新型存储器天然具备存算融合优势，正在赋能存算一体技术加速落地，为AI芯片的发展提供助力。

此前，IBM Research AI团队曾通过模拟实验，提出了一种全新芯片的设计，该芯片可以通过在数据存储的位置执行计算来加速全连接神经网络的训练。这种芯片的设计中引入了相变存储技术（PCM），能在全连接神经网络上与GPU竞争，是未来AI领域重点的发展方向之一。

方正证券在研报中指出，PCM利用相变材料可逆转换实现信息存储，研究表明相变材料在2nm厚度仍可发生相变，有望突破存储工艺的物理极限；3DPCM有望在数据中心服务器领域大规模应用。产业化方面，英特尔与美光合作生产的3DXpoint产品业务高开低走已停止，国内一家半导体公司武汉新存科技依托长江存储创新中心核心技术及人员，正在大力推进3DPCM国产化，预计至2024年底开始实现规模量产。

无独有偶，近日在AI芯片行业里又有消息传出。三星电子准备于2024年3月份在硅谷举行的MemCon 2024全球半导体会议上，推出 Compute Express Link (CXL) DRAM 尖端技术，展示其被称为HBM下一代技术的CXL DRAM的技术和愿景，以此提高数据处理速度并巩固其在AI存储芯片市场的领先地位。

据了解，相比起传统的PCle，CXL标准在接口规格上可兼容PCle5.0，也就是说未来服务器CPU仍是置于主板 CPUSocket，GPU等加速器也是插在PCle插槽上，但CPU与GPU并非以 PCle协议进行沟通，而是采用新的CXL协议。

2022年全球CXL市场的规模约为1700万美元，随着市场规模的不断扩大。市场研究公司Yole Group预测，2026年预计CXL市场规模将激增至21亿美元，到2028年将达到约150亿美元。

相比起传统的 PCle，CXL标准在接口规格上可兼容 PCle5.0，也就是说未来服务器CPU 仍是置于主板 CPUSocket，GPU 等加速器也是插在 PCle 插槽上，但CPU 与GPU 并非以 PCle 协议进行沟通，而是采用新的 CXL协议。此外，CXL最高带宽可达 128GB/s，几乎能够满足所有的数据传输需求，可以在更大程度上允许更高的带宽，更多的连接设备和更低的延迟，解决目前 PCle协议存在的 CPU与加速器之间高延迟、带宽不足等问题，而又不排除 PCle的简单性和适应性。正因为 CXL构建于 PCle逻辑和物理层级之上，所以其兼容性很高更容易被现有支持 PCle 端口的处理器(绝大部分的通用 CPU、GPU和 FPGA)所接纳，代表了互联协议的未来方向。因此CXL可以更好的配合 SCM 技术的各个维度，打开相应应用场景和市场。

上市公司古鳌科技（SZ.300551）下属参股子公司武汉新存科技的三维新型存储内存芯片产品是建立在CXL协议的基础之上。新存科技的三维新型存储内存芯片产品建立在CXL协议的基础之上，规划产能目前达到了10000片/月，未来在AI领域存储硬件方面是否会有发力，值得期待。

据了解，新存科技由长江先进存储产业创新中心（简称“创新中心”）的三维新型存储器项目的相关科技成果孵化而成，是新型存储赛道中唯一实现产业化的公司，在国内处于除DRAM、NAND的新型存储领域的第三极。