SQL查找删除重复行实例教程

发布时间:2019-07-27编辑:脚本学堂
本文介绍了sql数据库删除重复行的方法,如何查找数据库里重复的行并删除,需要的朋友参考下。
SQL查找删除重复行实例教程 第二部分
错误的查询语句
如果把两列放在一起分组,你会得到不同的结果,具体看如何分组和计算大小。
提问者恰恰是困在了这里。有时查询语句找到一些重复行却漏了其他的。这是他用到了查询    
 

复制代码 代码示例:
select b, c, count(*) from a_b_c 
group by b, c 
having count(distinct b > 1) 
   or count(distinct c > 1); 

结果返回所有的行,因为CONT(*)总是1.为什么?因为 >1 写在COUNT()里面。这个错误很容易被忽略,事实上等效于:
 

复制代码 代码示例:
select b, c, count(*) from a_b_c 
group by b, c 
having count(1) 
   or count(1); 

为什么?因为(b > 1)是一个布尔值,根本不是你想要的结果。
需要的是:
 

复制代码 代码示例:
select b, c, count(*) from a_b_c 
group by b, c 
having count(distinct b) > 1 
   or count(distinct c) > 1; 

返回空结果。很显然,因为没有重复的{b,c}。
试了很多其他的OR和AND的组合,用来分组的是一个字段,计算大小的是另一个字段,像这样:
 

复制代码 代码示例:
select b, count(*) from a_b_c group by b having count(distinct c) > 1; 
+------+----------+ 
| b    | count(*) | 
+------+----------+ 
|    1 |        3 | 
|    2 |        3 | 
|    3 |        3 | 
+------+----------+ 

没有一个能够找出全部的重复行。而且最令人沮丧的是,对于某些情况,这种语句是有效的,如果错误地以为就是这么写法,然而对于另外的情况,很可能得到错误结果。
事实上,单纯用GROUP BY 是不可行的。为什么?因为当你对某一字段使用group by时,就会把另一字段的值分散到不同的分组里。对这些字段排序可以看到这些效果,正如分组做的那样。首先,对b字段排序,看看它是如何分组的:
SQL查找删除重复行

当你对b字段排序(分组),相同值的c被分到不同的组,因此不能用COUNT(DISTINCT c)来计算大小。COUNT()之类的内部函数只作用于同一个分组,对于不同分组的行就无能为力了。类似,如果排序的是c字段,相同值的b也会分到不同的组,无论如何是不能达到我们的目的的。(www.jb200.com 脚本学堂)
几种正确的方法
也许最简单的方法是分别对某个字段查找重复行,然后用UNION拼在一起,像这样:
 

复制代码 代码示例:
select b as value, count(*) as cnt, 'b' as what_col 
 from a_b_c group by b having count(*) > 1 
 union 
 select c as value, count(*) as cnt, 'c' as what_col 
 from a_b_c group by c having count(*) > 1; 
+-------+-----+----------+ 
| value | cnt | what_col | 
+-------+-----+----------+ 
|     1 |   3 | b        | 
|     2 |   3 | b        | 
|     3 |   3 | b        | 
|     1 |   3 | c        | 
|     2 |   3 | c        | 
|     3 |   3 | c        | 
+-------+-----+----------+ 

输出what_col字段为了提示重复的是哪个字段。
另一个办法是使用嵌套查询:
 

复制代码 代码示例:
select a, b, c from a_b_c 
 where b in (select b from a_b_c group by b having count(*) > 1) 
    or c in (select c from a_b_c group by c having count(*) > 1); 
+----+------+------+ 
| a  | b    | c    | 
+----+------+------+ 
|  7 |    1 |    1 | 
|  8 |    1 |    2 | 
|  9 |    1 |    3 | 
| 10 |    2 |    1 | 
| 11 |    2 |    2 | 
| 12 |    2 |    3 | 
| 13 |    3 |    1 | 
| 14 |    3 |    2 | 
| 15 |    3 |    3 | 
+----+------+------+ 

这种方法的效率要比使用UNION低许多,并且显示每一重复的行,而不是重复的字段值。
还有一种方法,将自己跟group的嵌套查询结果联表查询。
写法比较复杂,但对于复杂的数据或者对效率有较高要求的情况,是很有必要的。
 

复制代码 代码示例:
select a, a_b_c.b, a_b_c.c 
from a_b_c 
   left outer join ( 
      select b from a_b_c group by b having count(*) > 1 
   ) as b on a_b_c.b = b.b 
   left outer join ( 
      select c from a_b_c group by c having count(*) > 1 
   ) as c on a_b_c.c = c.c 
where b.b is not null or c.c is not null 

以上方法可行,如果UNION能用,会是最简单不过的了。