oracle去除重复记录的方法

发布时间:2020-07-21编辑:脚本学堂
本文介绍下,在oracle中去除重复记录的方法,学习下select语句中distinct的用法,有需要的朋友参考下吧。

本节内容:
oracle去除重复记录

使用distinct关键字只能过滤查询字段中所有记录相同的(记录集相同),而如果要指定一个字段却没有效果,另外distinct关键字会排序,效率很低 。
select distinct name from t1
可以消除重复记录,但只能取一个字段,现在要同时取id,name这2个字段的值。

select distinct id,name from t1
可以取多个字段,但只能消除这2个字段值全部相同的记录

所以用distinct达不到想要的效果,要借助group by解决问题。

例如,要显示的字段为A、B、C三个,而A字段的内容不能重复,使用语句:
 

复制代码 代码示例:
select A, min(B),min(C),count(*) from [table] where [条件] group by   A
having [条件] order by A desc
 

为了显示标题头好看点可以把:
 

复制代码 代码示例:
select A, min(B),min(C),count(*) 换称select A as A, min(B) as B,min(C) as C,count(*) as 重复次数
 

显示出来的字段和排序字段都要包括在group by 中
但显示出来的字段包有min,max,count,avg,sum等聚合函数时可以不在group by 中
如上句的min(B),min(C),count(*)
一般条件写在where 后面
有聚合函数的条件写在having 后面
如果在上句中having加 count(*)>1   就可以查出记录A的重复次数大于1的记录
如果在上句中having加 count(*)>2   就可以查出记录A的重复次数大于2的记录
如果在上句中having加 count(*)>=1   就可以查出所有的记录,但重复的只显示一条,并且后面有显示重复的次数----这就是所需要的结果,而且语句可以通过hibernate

查询出那些数据是重复的sql语句
 

复制代码 代码示例:
select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1

将上面的>号改为=号就可以查询出没有重复的数据了。
例如:
 

复制代码 代码示例:
select count(*) from (select gcmc,gkrq,count(*) from gczbxx_zhao t group by gcmc,gkrq having
count(*)>=1 order by GKRQ)
 
select * from gczbxx_zhao where viewid in ( select max(viewid) from gczbxx_zhao group by
gcmc ) order by gkrq desc ---还是这个可行。

有一个面试题中说是distinct去重复的效率不高,说是用 group by   having  效率很高。
做了一个测试,有一商品表,26万条记录,只有商品编号建了索引,对品牌名称字段做 distinct
 

复制代码 代码示例:
select brand,count(*) from tab_commbaseinfo  group by brand having count(*) =1
 

平均时间是:0.453
 

复制代码 代码示例:
select distinct brand from tab_commbaseinfo
 

平均时间是:0.39

哪位有更好的方法,欢迎分享下。