大模型推理时真正消耗时间和能耗的不是计算而是数据搬运。一次矩阵乘法GPU可能只需要几个纳秒但把权重从内存搬到计算单元需要几百纳秒能耗是计算本身的几十倍。这就是所谓的内存墙计算越来越快内存带宽跟不上处理器大部分时间在等数据。存内计算Processing-in-MemoryPIM的思路很直接既然搬数据太贵那就把计算单元放进内存里让数据不用出门。为什么会出现PIM这种架构传统冯诺依曼架构中内存只负责存储计算全部交给CPU或GPU。数据在内存和处理器之间来回搬运构成了AI推理最大的能耗开销。研究表明推理任务中60%到70%的能耗消耗在从DRAM读取神经网络权重上。PIM把算术逻辑单元直接集成到内存芯片内部在数据所在的位置完成乘加运算。权重不需要搬出内存只有最终的计算结果才通过外部接口输出。数据移动距离从厘米级缩短到微米级带宽和能效随之数量级提升。冯诺依曼架构 vs 近内存计算 vs 存内计算架构对比PIM不是新概念早在1990年代就有学术研究。但直到AI大模型爆发内存墙成为真正的瓶颈PIM才从实验室走向量产。三星LPDDR5X-PIM首款量产存内计算9月初的Hot Chips 2026上三星详细披露了LPDDR5X-PIM的技术架构这是全球首款量产的低功耗存内计算内存。核心设计是在内存的16个Bank中各集成一个PIM计算单元。每个PIM单元包含MAC乘加树和ALU算术逻辑单元支持浮点和整数多精度运算。16个Bank的PIM单元并行工作合计内部带宽达到614GB/s。作为对比普通LPDDR5X-9600通过外部接口的带宽只有76.8GB/s。PIM没有加宽外部总线而是利用内存内部的高带宽把计算放在数据旁边实现了8倍的有效带宽提升。规格上LPDDR5X-PIM采用JEDEC标准561-ball封装单rank集成4颗die总容量16GB兼容标准LPDDR5X内存控制器不需要更换主板硬件。实测数据更有说服力。在边缘AI加速器上运行Llama 3.1 8B模型普通LPDDR5X每秒生成27个tokenLPDDR5X-PIM达到81.3个token/s推理速度提升2.28倍token吞吐量提升3.01倍。三星LPDDR5X-PIM官方架构图Hot Chips 2026大模型推理的核心操作是矩阵向量乘法GEMV每生成一个token都要从内存读取完整的权重矩阵。外部带宽76.8GB/s的天花板下处理器大部分时间在等待数据。PIM把计算放进内存直接利用614GB/s的内部带宽瓶颈被彻底打开。PIM的三条技术路线PIM按存储介质分为三条路线适用场景不同。SRAM-PIM集成在处理器缓存中延迟最低1到8纳秒但容量小、成本高适合做片上加速和超低延迟推理。模拟交叉阵列是SRAM-PIM的一个分支利用欧姆定律和基尔霍夫定律在阵列中直接完成矩阵乘法能效极高但精度和可靠性是挑战。DRAM-PIM就是三星LPDDR5X-PIM这条路线容量大、带宽高适合大模型推理和边缘AI计算。除了三星SK海力士在HBM-PIM上布局更早美光也在推进相关研发。DRAM-PIM的难点在于计算逻辑和DRAM工艺的兼容以及软件生态的适配。NAND-PIM利用闪存的大容量特性适合超大规模模型的存储和近数据计算但闪存读写延迟高微秒级、耐久性有限目前更多停留在研究阶段。SRAM/DRAM/NAND三种存储单元结构对比三条路线不是互相替代而是分层协同SRAM-PIM做片上低延迟计算DRAM-PIM做主存高带宽推理NAND-PIM做大规模模型存储和近存预处理。真正的瓶颈在软件PIM的硬件已经量产但大规模应用还面临软件适配的挑战。传统编译器和操作系统假设内存只做存储计算全部交给处理器。PIM引入后需要编译器能识别哪些计算适合下推到内存执行需要操作系统管理PIM的计算资源调度需要应用框架做相应改造。缓存、预取、多任务切换、线程调度等机制都可能受到影响。三星的方案是保持标准内存控制器兼容通过配置寄存器切换PIM模式降低硬件门槛。但软件栈的完善仍需要时间。应用场景上PIM最先落地的是边缘AI和端侧推理。这些场景算力受限、功耗敏感PIM的能效优势最明显。数据中心大模型训练对计算精度和灵活性要求高PIM短期内更多是辅助加速不会替代GPU。长期看随着HBM-PIM、3D堆叠PIM的成熟存内计算有可能成为AI算力架构的标准组件和GPU、专用加速器形成分层协同。—免责声明本文仅为产业研究与信息分享不构成任何投资建议或投资参考。市场有风险投资需谨慎。文中数据与观点基于公开信息整理可能存在滞后或偏差请以官方披露为准。张星河zen每天一份高质量产业研报芯片半导体、AI基础设施、AI智能硬件、具身智能、光通信等硬件科技方面的行业研究、产业链分析和技术拆解。 作者张星河AI科技公司创始人前华为资深架构师、产品战略规划师20年行业老兵。