fingerprint filter 插件——Elasticsearch 去重必备利器
之前我有文章解读:Elasticsearch6.X去重详解•方式一:terms指定字段聚合+tophits子聚合。•方式二:collapse折叠去重。拿个实战列子看一下:当下正值高考出成绩,我们拿新闻事件信息作为数据来源。如下文档id:1、id:2、id:3是一模一样的数据;id:4是独立数据。也就是说:去重后数据分两组,一组:[1,2,3];另外一组:[4]。原有的方案和思路都在scroll导出数据方面行不通的,只能考虑新的思路了。这个问题扩展一下,如何...