linux去掉文件重复数据行的方法

一、去掉相邻重复的数据行
 

二、去掉所有重复的数据行
 

注：
只有uniq命令的话，只是把相邻的重复的数据行去掉。
如果先 sort 的话，就会把所有重复的数据行变成相邻的数据行，再 uniq 的话，就去掉所有重复的数据行了。

输出：
beijing 
wuhan 

附：data1.txt
 

注：在过滤日志中的IP地址很有用。