革新性技术：基于搜索操作的存内计算

文章目录

革新性技术：基于搜索操作的存内计算
- CSDN首个存内计算开发者社区
- NVALT：近似查找表的艺术
- MAP：存内计算的未来
- SQL-PIM：数据库的未来
- 内存计算架构与技术小结
- 从NVALT到NVQuery：存内计算的探索与前景
- NVQuery：RCAM的魔法
- 存内计算小结：创新与展望
- 技术展望与总结
- 结语

革新性技术：基于搜索操作的存内计算

在当今快速发展的科技领域，计算机架构的不断创新成为推动技术进步的关键之一。本文将聚焦于一项引人注目的技术——基于搜索操作的存内计算。这项技术在加速GPU、提高性能、降低能耗方面展现出了惊人的潜力。

CSDN首个存内计算开发者社区

CSDN首个存内计算开发者社区来了，基于知存科技领先的存内技术，涵盖最丰富的存内计算内容，以存内技术为核心，史无前例的技术开源内容，囊括云/边/端侧商业化应用解析以及新技术趋势洞察等，邀请业内大咖定期举办线下存内workshop，实战演练体验前沿架构；从理论到实践，做为最佳窗口，存内计算让你触手可及。
传送门：https://bbs.csdn.net/forums/computinginmemory
首个存内计算开发者社区，0门槛新人加入，发文享积分兑超值礼品；
成为存内计算大使，享受资源支持与激励，打造亮眼个人品牌，共同引流存内计算潮流。
在这里插入图片描述

NVALT：近似查找表的艺术

首先，让我们认识一下NVALT（NV Approximate Lookup Table）。这是一个专为加速GPU而设计的近似查找表。其独特之处在于，它通过挖掘GPU应用中的数据局部性，建立高效的近似功能单元，实现了卓越的性能提升。

NVALT的设计理念是在重复出现大量乘加操作的块中寻找数据局部性。通过线下预处理，NVALT识别并存储每个程序常用的数据输入模式和对应的输出模式。运行时，NVALT搜索存储在Content Addressable Memory（CAM）中的输入数据，并返回与输入模式最相似的条目对应的输出结果。在精度损失控制在10%以内的情况下，NVALT不仅取得了4.5倍的能耗节约，更实现了5.7倍的性能提升。

MAP：存内计算的未来

另一个令人振奋的存内计算代表就是MAP（Memory Acceleration Processor）。MAP的系统结构引入了基于忆阻器的内容寻址存储（RCAM）、控制器、指令缓存器等关键组件，使其成为一款强大的近似计算协处理器。

MAP通过RCAM存储所有指令所需的数据，采用比较电路找出匹配的行，实现存内计算。其高度并行的特性使得查找一个512行的表仅需约2纳秒。令人印象深刻的是，MAP相较于传统的冯·诺依曼架构，取得了80倍的能耗节约和20倍的性能提升。
在这里插入图片描述

SQL-PIM：数据库的未来

对于关系型数据库，Tsinghua University的研究者提出了SQL-PIM（SQL Processing In Memory）。这一存内计算系统结构不仅支持直接读取行和列的操作，还能实现限制查询、规划查询和聚合查询等复杂操作。

SQL-PIM通过限制查询语句、规划查询语句和聚合查询语句，有效地降低了片上缓存不命中带来的时间和能耗开销。通过特殊关联分割的方法，SQL-PIM将大表存储在多个存内计算阵列中，显著减少了每个计算阵列之间的通信。实验证明，与传统的内存数据库相比，SQL-PIM在能耗上能达到4-6个数量级的节约。
限制查询语句是找出表中符合给出规定的一系列数据, 这些规定可以是数值逻辑或者是非逻辑的条件语句, 通常用 WHERE 语法来操作; 规划查询语句是找出表里含有特定参数的条目或者特定的列, 通常用 SELECT 语法进行操作; 聚合查询语句是对一些给定条件的条目做加操作, 通常用类似 SUM 语法来求一系列值的和。
在这里插入图片描述

内存计算架构与技术小结

内存计算面向的应用有如下特点:
(1) 数据密集, 在普通冯 · 诺依曼结构中有大量的内存访问;
(2) 数据局部性差, 片上缓存命中率低;
(3) 计算密集且计算形式简单, 易于并行.
内存计算包含两大类:近数据计算和存内计算. 近数据计算通常使用 3D 堆叠的内存结构, 在内存中集成计算逻辑芯片, 并用高速通道将计算单元和内存单元相连接, 存算依然分离. 存内计算直接使用内存单元做计算, 利用电流、电压、电阻等物理量之间的关系表示某类计算. 近数据计算相比于存内计算灵活度更高, 能支持较多算子; 存内计算虽然能支持的算子较为单一, 目前能支持向量乘矩阵算子, 按位逻辑操作, 或者搜索操作, 但是其计算速度快且能耗低. 设计内存计算架构时, 设计者需要根据应用场景的需求 (应用中算子的类型、延迟和能耗的限制等) 进行选择, 必要时也可结合使用近数据计算和存内计算两种技术,充分利用两者优点。

从NVALT到NVQuery：存内计算的探索与前景

我们继续探讨基于搜索操作的存内计算，聚焦于另外两个引人瞩目的代表性工作：NVQuery和更为综合的存内计算小结。

NVQuery：RCAM的魔法

NVQuery是另一款利用RCAM支持多种查询语句的存内计算加速器，其系统结构与MAP相似。NVQuery不仅支持聚合、预测、按位操作，还能进行精确的最近距离查找。

为了支持最近距离查找，NVQuery提出了比特线驱动的策略，将权重加到相应的比特位上。实验证明，相较于传统的冯·诺依曼系统结构，NVQuery带来了惊人的性能提升和能耗节约，分别达到了49.3倍和32.9倍。

在这里插入图片描述
NVQuery也是利用 RCAM 支持多种查询语句的存内计算加速器, 其系统结构和 MAP 相
像. NVQuery 能够支持聚合、预测、按位操作, 以及精确的最近距离查找. 为了支持最近距离查找,
NVQuery 提出了比特线驱动的策略, 将权重加到相应的比特位上. 实验显示, 与传统的冯 · 诺依曼系
统结构相比, NVQuery 带来 49.3 倍的性能提升和 32.9 倍的能耗节约