点击上方“Python爬虫与数据挖掘”，进行关注

回复“书籍”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

独在异乡为异客，每逢佳节倍思亲。

大家好，我是皮皮。

一、前言

前几天在Python最强王者交流群【巭孬🕷】问了一个问题，一起来看看吧。从5亿行数据中，筛选出重复次数在1000行的数据行，以前用这个，也爆内存了。

二、实现过程

这里【隔壁😼山楂】给了一个思路：如下所示：

后来【郑煜哲·Xiaopang】给了个思路，全tuple后，set。后来粉丝用merge逐一并集  解决了这个问题。

原来是用concat全部连接起来，再drop_duplicates，直接爆了。

刚才的是去重，算是解决了。现在又有个新问题，下一篇文章我们一起来看看吧。

三、总结

大家好，我是皮皮。这篇文章主要盘点了一个大数据去重的问题，文中针对该问题，给出了具体的解析和代码实现，帮助粉丝顺利解决了问题。

最后感谢粉丝【巭孬🕷】提问，感谢【隔壁😼山楂】、【郑煜哲·Xiaopang】给出的思路和代码解析，感谢【莫生气】等人参与学习交流。

【提问补充】温馨提示，大家在群里提问的时候。可以注意下面几点：如果涉及到大文件数据，可以数据脱敏后，发点demo数据来（小文件的意思），然后贴点代码（可以复制的那种），记得发报错截图（截全）。代码不多的话，直接发代码文字即可，代码超过50行这样的话，发个.py文件就行。

大家在学习过程中如果有遇到问题，欢迎随时联系我解决（我的微信：pdcfighting1），应粉丝要求，我创建了一些ChatGPT机器人交流群和高质量的Python付费学习交流群和付费接单群，欢迎大家加入我的Python学习交流群和接单群！

小伙伴们，快快用实践一下吧！如果在学习过程中，有遇到任何问题，欢迎加我好友，我拉你进Python学习交流群共同探讨学习。

------------------- End -------------------

往期精彩文章推荐：

• 盘点一个Python自动化办公实战实现数据汇总填充（方法五）

• 盘点一个Python自动化办公Excel数据填充实战案例（中篇）

• 盘点一个使用Python自动化处理GPS、北斗经纬度数据实战（下篇）

• Typora导出的PDF目录标题自动加编号
  

欢迎大家点赞，留言，转发，转载，感谢大家的相伴与支持

想加入Python学习群请在后台回复【入群】

万水千山总是情，点个【在看】行不行

/今日留言主题/

随便说一两句吧~~