PipeFilter过滤器

多平台并行加速

将布谷鸟过滤器重构为流水线可并行架构，单线程与并行场景下吞吐量双双超越现有方法。

Shankui, Ji · 杜扬 · 黄河 · 孙玉 · 刘嘉 · Yapeng, Shu

IEEE Transactions on Knowledge and Data Engineering 2025

参数信息

操作吞吐量提升

15%–57% %

负载因子

99% %

并行吞吐量提升

7×–800× ×

技术优势

单核吞吐更高

在单线程执行下，通过块设计、路径预言、轮询和 SIMD 优化，PipeFilter 的操作吞吐量比现有最佳方法提升 15%～57%。

负载因子达99%

由于允许每个项探索更多的候选位置，PipeFilter 在高负载下仍能保持极低的假阳性率，空间利用率优于现有过滤器。

并行加速最高800倍

在多核 CPU、FPGA 和 P4 ASIC 平台上，PipeFilter 的流水线并行架构使吞吐量比单线程执行提高 7 到 800 倍。

应用场景

• 数据库系统：高吞吐过滤器加速查询过滤，减少数据库无效磁盘访问。
• 分布式缓存：低假阳性和高负载降低缓存污染，提升分布式缓存命中率。
• 网络包处理：线速成员查询支持高速包过滤和转发决策。
• 网络流量监控：FPGA/P4 实现可在不影响吞吐的情况下在线识别流量。
• 硬件加速查询：流水线架构天然适合 FPGA/ASIC 卸载查询处理。