双向模糊粒度舱并行属性约减加速器

大规模数据快速约减，分类精度提升

通过粒度组协作与Spark内存计算，大幅压缩模糊邻域查询空间，在保证分类精度的情况下高效去除冗余属性。

鞠恒荣 · Tingting, Shan · Ding W. · Liu, Keyu · Muhammad Jabir, Khan · 黄嘉爽 · 杨习贝

IEEE Transactions on Fuzzy Systems 2024

参数信息

大规模数据集数量

6

技术优势

把搜索空间压到更小

通过构建双向模糊粒度舱模型压缩模糊邻域查询空间，加速属性约简。

减少属性评估迭代

利用属性分组的粒度组协作方法，减少评估属性的迭代次数。

分布式并行加速

采用Spark内存计算将数据集划分为子集，实现分布式并行加速。

应用场景

• 大规模数据属性约简：直接部署在大数据平台上去除冗余属性，为下游机器学习任务做预处理。
• Spark并行计算：用Spark内存计算并行划分数据集，加速属性约简过程。