使用机器学习来重复数据

作者: 圈圈红
发布时间: 2025-02-07 12:55:20 (3天前)
转自：

3 条回复

0#
回复此人
那月静好 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 刚遇到类似的问题所以谷歌做了一点。找到一个名为“Dedupe Python Library”的库 <a href="https://dedupe.io/developers/library/en/latest/" rel="nofollow noreferrer"> https://dedupe.io/developers/library/en/latest/ </A> </p> <P> 该库的文档详细介绍了重复数据删除时的常见问题和解决方案以及重复数据删除领域的论文。因此，即使您没有使用它，仍然可以阅读该文档。 </p> </DIV>

编辑
1#
回复此人
夏花 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 实际上已经对此进行了大量研究，人们已经为此使用了许多不同类型的机器学习算法。我个人试过了 <a href="http://www.garshol.priv.no/blog/225.html"> 遗传编程 </A> ，工作得相当好，但我个人仍然喜欢手动调整匹配。 </p> <P> 我有一些关于这个主题的研究论文的参考资料。 StackOverflow不需要太多链接，但这里的参考书信息应该足够使用Google： </p> <UL> <LI> 链路发现配置的无监督学习，Andriy Nikolov，Mathieu d橝quin，Enrico Motta </LI> <LI> 基于相似度量的实例匹配机器学习方法，舒荣1，邢牛1，Evan Wei Xiang2，王浩芬1，杨强2，雍宇1 </LI> <LI> 学习记录联系的阻止方案，Matthew Michelson和Craig A. Knoblock </LI> <LI> 使用遗传编程学习连锁规则，Robert Isele和Christian Bizer </LI> </UL> <P> 不过，这都是研究。如果您正在寻找解决问题的实用解决方案，我已经为此类重复数据删除构建了一个开源引擎，称为 <a href="http://code.google.com/p/duke/"> 公爵 </A> 。它使用Lucene对数据进行索引，然后在进行更详细的比较之前搜索匹配项。它需要手动设置，尽管有一个脚本可以使用遗传编程（参见上面的链接）为您创建设置。还有一个人想为杜克制作一个ElasticSearch插件（ <a href="https://groups.google.com/forum/?fromgroups=#!searchin/elasticsearch/identity%2420resolution/elasticsearch/YMNaGOxTda4/W3Y7qN94ckIJ"> 看线程 </A> ），但到目前为止还没有做到。 </p> <P> 无论如何，这是我在你的情况下采取的方法。 </p> </DIV>

编辑

登录后才能参与评论