mysql查询表里的重复数据方法：

1

2

3

4

INSERT INTO hk_test(username, passwd) VALUES

('qmf1', 'qmf1'),('qmf2', 'qmf11')

delete from hk_test where username='qmf1' and passwd='qmf1'

MySQL里查询表里的重复数据记录：

先查看重复的原始数据：

场景一：列出username字段有重读的数据

1

2

3

select username,count(*) as count from hk_test group by username having count>1;

SELECT username,count(username) as count FROM hk_test GROUP BY username HAVING count(username) >1 ORDER BY count DESC;

这种方法只是统计了该字段重复对应的具体的个数

场景二：列出username字段重复记录的具体指：

1

2

3

4

5

select * from hk_test where username in (select username from hk_test group by username having count(username) > 1)

SELECT username,passwd FROM hk_test WHERE username in ( SELECT username FROM hk_test GROUP BY username HAVING count(username)>1)

但是这条语句在mysql中效率太差，感觉mysql并没有为子查询生成临时表。在数据量大的时候，耗时很长时间

解决方法：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

于是使用先建立临时表 

复制代码 代码如下:

create table `tmptable` as ( 

SELECT `name` 

FROM `table` 

GROUP BY `name` HAVING count(`name`) >1 

); 

然后使用多表连接查询

复制代码 代码如下:

SELECT a.`id`, a.`name` 

FROM `table` a, `tmptable` t 

WHERE a.`name` = t.`name`; 

结果这次结果很快就出来了。

用 distinct去重复

复制代码 代码如下:

SELECT distinct a.`id`, a.`name` 

FROM `table` a, `tmptable` t 

WHERE a.`name` = t.`name`;

场景三：查看两个字段都重复的记录：比如username和passwd两个字段都有重复的记录：

1

2

select * from hk_test a

where (a.username,a.passwd) in (select username,passwd from hk_test group by username,passwd having count(*) > 1)

场景四：查询表中多个字段同时重复的记录：

1

select username,passwd,count(*) from hk_test group by username,passwd having count(*) > 1

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

MySQL查询表内重复记录

查询及删除重复记录的方法

(一)

1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断

select * 

from people

where peopleId in (select peopleId from people group by peopleId having count(peopleId)>1)

2、删除表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断，只留有一个记录

delete from people

where peopleId in (select peopleId 

from people group by peopleId having count(peopleId)>1)

and min(id) not 

in (select id from people group by peopleId having count(peopleId)>1)

3、查找表中多余的重复记录（多个字段）

select * from vitae a

where (a.peopleId,a.seq) in 

(select peopleId,seq from vitae group by peopleId,seq having count(*)>1)

4、删除表中多余的重复记录（多个字段），只留有rowid最小的记录

delete from vitae a

where 

(a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq 

having count(*) > 1)

and rowid not in (select min(rowid) from vitae group 

by peopleId,seq having count(*)>1)

5、查找表中多余的重复记录（多个字段），不包含rowid最小的记录

select * from vitae a

where 

(a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq 

having count(*) > 1)

and rowid not in (select min(rowid) from vitae group 

by peopleId,seq having count(*)>1)

(二)

比方说

在A表中存在一个字段“name”，而且不同记录之间的“name”值有可能会相同，现在就是需要查询出在该表中的各记录之间，“name”值存在重复的项；

Select Name,Count(*) From A Group By Name Having Count(*) > 1

如果还查性别也相同大则如下:

Select Name,sex,Count(*) From A Group By Name,sex Having Count(*) > 1

(三)

方法一

declare @max integer,@id integer

declare cur_rows cursor local for select 主字段,count(*) from 表名 group by 主字段 

having count(*) >； 1

open cur_rows

fetch cur_rows into @id,@max

while @@fetch_status=0

begin

select @max = @max -1

set rowcount @max

delete from 表名 where 主字段 = @id

fetch cur_rows into @id,@max

end

close cur_rows

set rowcount 0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

SELECT * from tab1 where CompanyName in( SELECT companyname from tab1 GROUP BY CompanyName HAVING COUNT(*)>1);

-- 129.433ms 

SELECT * from tab1 INNER join ( SELECT companyname from tab1 GROUP BY CompanyName HAVING COUNT(*)>1) as tab2 USING(CompanyName);

-- 0.482ms

方法二

　　有两个意义上的重复记录，一是完全重复的记录，也即所有字段均重复的记录，二是部分关键字段重复的记录，比如Name字段重复，而其他字段不一定重复或都重复可以忽略。

　　1、对于第一种重复，比较容易解决，使用

select distinct * from tableName

　　就可以得到无重复记录的结果集。

　　如果该表需要删除重复的记录（重复记录保留1条），可以按以下方法删除

select distinct * into #Tmp from tableName

drop table tableName

select * into tableName from #Tmp

drop table #Tmp

　　发生这种重复的原因是表设计不周产生的，增加唯一索引列即可解决。

2、这类重复问题通常要求保留重复记录中的第一条记录，操作方法如下

　　假设有重复的字段为Name,Address，要求得到这两个字段唯一的结果集

select identity(int,1,1) as autoID, * into #Tmp from tableName

select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID

select * from #Tmp where autoID in(select autoID from #tmp2)

最后一个select即得到了Name，Address不重复的结果集（但多了一个autoID字段，实际写时可以写在select子句中省去此列）

(四)查询重复

select * from tablename where id in (

select id from tablename group by id having count(id) > 1)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

常用的语句

1、查找表中多余的重复记录，重复记录是根据单个字段（mail_id）来判断

 代码如下 复制代码 

 SELECT * FROM table WHERE mail_id IN (SELECT mail_id FROM table GROUP BY mail_id HAVING COUNT(mail_id) > 1);

  

2、删除表中多余的重复记录，重复记录是根据单个字段（mail_id）来判断，只留有rowid最小的记录

 代码如下 复制代码 

DELETE FROM table WHERE mail_id IN (SELECT mail_id FROM table GROUP BY mail_id HAVING COUNT(mail_id) > 1) AND rowid NOT IN (SELECT MIN(rowid) FROM table GROUP BY mail_id HAVING COUNT(mail_id )>1);

  

3、查找表中多余的重复记录（多个字段）

 代码如下 复制代码 

SELECT * FROM table WHERE (mail_id,phone) IN (SELECT mail_id,phone FROM table GROUP BY mail_id,phone HAVING COUNT(*) > 1);

  

4、删除表中多余的重复记录（多个字段），只留有rowid最小的记录

 代码如下 复制代码 

 DELETE FROM table WHERE (mail_id,phone) IN (SELECT mail_id,phone FROM table GROUP BY mail_id,phone HAVING COU(www.111cn.net)NT(*) > 1) AND rowid NOT IN (SELECT MIN(rowid) FROM table GROUP BY mail_id,phone HAVING COUNT(*)>1);

  

5、查找表中多余的重复记录（多个字段），不包含rowid最小的记录

 代码如下 复制代码 

SELECT * FROM table WHERE (a.mail_id,a.phone) IN (SELECT mail_id,phone FROM table GROUP BY mail_id,phone HAVING COUNT(*) > 1) AND rowid NOT IN (SELECT MIN(rowid) FROM table GROUP BY mail_id,phone HAVING COUNT(*)>1);

  

存储过程

 代码如下 复制代码 

declare @max integer,@id integer

declare cur_rows cursor local for select 主字段,count(*) from 表名 group by 主字段 having count(*) >； 1

open cur_rows

fetch cur_rows into @id,@max

while @@fetch_status=0

begin

select @max = @max -1

set rowcount @max

delete from 表名 where 主字段 = @id

fetch cur_rows into @id,@max

end

close cur_rows

set rowcount 0

  

  

(一)单个字段

1、查找表中多余的重复记录，根据（question_title）字段来判断

 代码如下 复制代码 

select * from questions where question_title in (select question_title from people group by question_title having count(question_title) > 1)

  

2、删除表中多余的重复记录，根据（question_title）字段来判断，只留有一个记录

 代码如下 复制代码 

delete from questions

where peopleId in (select peopleId from people group by peopleId having count(question_title) > 1)

and min(id) not in (select question_id from questions group by question_title having count(question_title)>1) 

(二)多个字段

删除表中多余的重复记录（多个字段），只留有rowid最小的记录

 代码如下 复制代码 

DELETE FROM questions WHERE (questions_title,questions_scope) IN (SELECT questions_title,questions_scope FROM que(www.111cn.net)stions GROUP BY questions_title,questions_scope HAVING COUNT(*) > 1) AND question_id NOT IN (SELECT MIN(question_id) FROM questions GROUP BY questions_scope,questions_title HAVING COUNT(*)>1)

  

用上述语句无法删除，创建了临时表才删的，求各位达人解释一下。

 代码如下 复制代码 

CREATE TABLE tmp AS SELECT question_id FROM questions WHERE (questions_title,questions_scope) IN (SELECT questions_title,questions_scope FROM questions GROUP BY questions_title,questions_scope HAVING COUNT(*) > 1) AND question_id NOT IN (SELECT MIN(question_id) FROM questions GROUP BY questions_scope,questions_title HAVING COUNT(*)>1);

DELETE FROM questions WHERE question_id IN (SELECT question_id FROM tmp);

DROP TABLE tmp;

查找mysql数据表中重复记录

mysql数据库中的数据越来越多,当然排除不了重复的数据,在维护数据的时候突然想到要把多余的数据给删减掉,剩下有价值的数据。

以下sql语句可以实现查找出一个表中的所有重复的记录.
select user_name,count(*) as count from user_table group by user_name having count>1;

参数说明:

user_name为要查找的重复字段.

count用来判断大于一的才是重复的.

user_table为要查找的表名.

group by用来分组

having用来过滤.

把参数换成自己数据表的相应字段参数，可以先在Phpmyadmin里面或者Navicat里面去运行，看看有哪些数据重复了，然后在数据库里面删除掉，也可以直接将SQL语句放到后台读取新闻的页面里面读取出来，完善成查询重复数据的列表，有重复的可以直接删除。

缺点：这种方法的缺点就是当你的数据库里面的数据量很大的时候，效率很低，我用的是Navicat测试的，数据量不大，效率很高，当然，网站还有其它查询数据重复的SQL语句，举一反三，大家好好研究研究，找到一个适合自己网站的查询语句。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/288294.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

jdk动态代理中invoke的return返回的值有什么用？

jdk动态代理中invoke的return返回的值有什么用？

目录 首先在接口中定义一个行为再定义一个目标角色实现接口，实现行为去代理角色类中解决一下报错，但是什么都不要写 invoke的return返回的值是调用方法中返回的值 下面我们来实例看一下 首先在接口中定义一个行为 public String toMarry02();再定义一个…
阅读更多...
金和OA C6 UploadFileEditorSave.aspx 文件上传漏洞复现

金和OA C6 UploadFileEditorSave.aspx 文件上传漏洞复现

0x01 产品简介 金和OA协同办公管理系统软件（简称金和OA），本着简单、适用、高效的原则，贴合企事业单位的实际需求，实行通用化、标准化、智能化、人性化的产品设计，充分体现企事业单位规范管理、提高办公效率的核心思想，为用户提供一整套标准的办公自动化解决方案，以帮助…
阅读更多...
关于执行 roslaunch xxxxx yyyy.launch 后，没能进入 RViz 就卡死的问题

关于执行 roslaunch xxxxx yyyy.launch 后，没能进入 RViz 就卡死的问题

Problem 话不多说，先看图。 终端也会提示有报错（可能是这种，但不确定）： 这是发现问题所在之后，故意改错，然后尝试的。☝ Solution 总以为是显卡的问题，一直在研究怎么在 Ubuntu2…
阅读更多...
适合前后端开发的可视化编辑器（拖拽控件）

适合前后端开发的可视化编辑器（拖拽控件）

分享一个面向研发人群使用的前后端分离的低代码软件——JNPF。 JNPF与市面上其他的低代码（轻流、宜搭、微搭、简道云、轻流、活字格等等），后者更倾向于非编程人员使用，让业务线人员自行构建应用程序。而 JNPF 这款低代码产品是面向…
阅读更多...
AIGC带给开发者的冲击

AIGC带给开发者的冲击

未来会有两种开发者，一种是会使用AIGC工具的开发者另一种是不会使用AIGC的开发者，AIGC的出现提高了开发效率和代码质量，对开发者意味着需要不断学习和适应新的技术和工作范式，开发者可以把更多的精力放在高级抽象的定义以及更高维…
阅读更多...
2024年阿里云优惠券领取及使用教程

2024年阿里云优惠券领取及使用教程

阿里云作为国内领先的云计算服务提供商，一直致力于为客户提供优质、高效的服务。为了更好地回馈客户，阿里云经常会推出各种优惠活动，其中就包括阿里云优惠券。本文将详细介绍如何领取及使用阿里云优惠券。 一、阿里云优惠券介绍 阿里云优惠券…
阅读更多...
【网络技术】【Kali Linux】Wireshark嗅探（四）域名系统（DNS）

【网络技术】【Kali Linux】Wireshark嗅探（四）域名系统（DNS）

一、实验目的 本次实验使用wireshark流量分析工具进行网络嗅探，旨在了解域名系统（DNS）的工作原理。 二、域名系统概述 简单来说，域名系统（Domain Name System, DNS）将域名（可以理解为“网址”…
阅读更多...
2024年MySQL学习指南（一），探索MySQL数据库，掌握未来数据管理趋势

2024年MySQL学习指南（一），探索MySQL数据库，掌握未来数据管理趋势

文章目录 前言1. 数据库的相关概念1.1 数据1.2 数据库1.3 数据库管理系统1.4 数据库系统1.5 SQL 2. MySQL数据库2.1 MySQL安装2.2 MySQL配置2.2.1 添加环境变量2.2.2 新建配置文件2.2.3 初始化MySQL2.2.4 注册MySQL服务2.2.5 启动MySQL服务 2.3 MySQL登录和退出2.4 MySQL卸载2.…
阅读更多...
01-03

01-03

利用模板类完成顺序表
阅读更多...
ExecutorCompletionService详解

ExecutorCompletionService详解

本文已收录至Github，推荐阅读 👉 Java随想录 微信公众号：Java随想录 文章目录 摘要ExecutorCompletionService适用场景ExecutorCompletionService使用ExecutorCompletionService原理解析注意事项总结 摘要 ExecutorCompletionService 是Jav…
阅读更多...
花为缘享奢体验中心，轻创业最佳选择

花为缘享奢体验中心，轻创业最佳选择

公开数据显示，中国市场上近10年奢侈品存量近4万亿，但二奢流转率仅为5%，相比于日本、美国接近30%的流转率，差距巨大。二奢行业下隐藏着一个万亿级市场，个人如何实现奢侈品创业，花为缘享奢体验中心为你服务。…
阅读更多...
Python中的垃圾回收机制是什么

Python中的垃圾回收机制是什么

一、写在前面： 我们都知道Python一种面向对象的脚本语言，对象是Python中非常重要的一个概念。在Python中数字是对象，字符串是对象，任何事物都是对象，而它们的核心就是一个结构体--PyObject。 typedef struct_object{i…
阅读更多...
瞬态抑制二极管(TVS)的注意事项与布局布线？|深圳比创达电子

瞬态抑制二极管(TVS)的注意事项与布局布线？|深圳比创达电子

一、瞬态抑制二极管(TVS)的注意事项 工作电压/反向截止电压（VRVRWM）此参数不需要降额，保证大于等于工作电路最大工作电压即可，越接近越好。该参数为TVS的固有参数。VBR是TVS固有参数，与外界冲击波形无关。 被保护器件…
阅读更多...
分布式（8）

分布式（8）

目录 36.什么是TCC？ 37.分布式系统中常用的缓存方案有哪些？ 38.分布式系统缓存的更新模式？ 39.分布式缓存的淘汰策略？ 40.Java中定时任务有哪些？如何演化的？ 36.什么是TCC？ TCC&#xff08…
阅读更多...
低代码技术：颠覆数据孤岛的技术利器

低代码技术：颠覆数据孤岛的技术利器

在当今数据驱动的世界中，数据的价值无可忽视。然而，很多组织面临一个普遍的问题，即数据孤岛。数据孤岛指的是不同部门或系统之间无法有效共享和集成数据的情况。这限制了组织在数据驱动的决策和创新方面的能力。然而，低代码平台的…
阅读更多...
雍禾植发成毛发行业标杆！雍禾医疗获“年度医疗大健康消费企业”

雍禾植发成毛发行业标杆！雍禾医疗获“年度医疗大健康消费企业”

近期，以“新视野 新链接”为主题的2023 EDGE AWARDS全球创新评选榜单正式发布。该评选由钛媒体发起，聚焦大健康产业，由权威行业专家、王牌分析师、专业投资机构、用户代表共同评审，兼顾综合专业性、影响力、创新性三大维度评选而出…
阅读更多...
2024 年加密货币领域需要注意的 5 大网络安全威胁

2024 年加密货币领域需要注意的 5 大网络安全威胁

加密货币世界主要存在于数字领域，面临着众多不断变化的网络威胁，这些威胁所带来的风险，给个人和企业组织造成了重大损失。 本文将研究2023年年加密货币领域的一些关键网络安全趋势，这些趋势预计将持续到 2024 年，并对…
阅读更多...
为什么大学c语言课不顺便教一下Linux，Makefile

为什么大学c语言课不顺便教一下Linux，Makefile

为什么大学c语言课不顺便教一下Linux，Makefile，git，gdb等配套工具链呢? 在开始前我有一些资料，是我根据自己从业十年经验，熬夜搞了几个通宵，精心整理了一份「Linux的资料从专业入门到高级教程工具包」&…
阅读更多...
kubeadm来快速搭建一个K8S集群

kubeadm来快速搭建一个K8S集群

二进制搭建适合大集群，50台以下的主机 kubeadm更适合中下企业的业务集群 我们采用了二进制包搭建出的k8s集群，本次我们采用更为简单的kubeadm的方式来搭建k8s集群。 二进制的搭建更适合50台主机以上的大集群，kubeadm更适合中小型企业的集群…
阅读更多...
Matplotlib基础

Matplotlib基础

目录： 一、绘制函数图像：二、创建图形对象：三、绘制多子图： 一、绘制函数图像： from matplotlib import pyplot as plt import numpy as np #生成（-50,50）的数组 x np.arange(-50,50) #计算因…
阅读更多...
最新文章

Copyright @ 2022~2023