uniq命令介绍

 uniq  命令是一种用于去除文件或文本中重复行的命令。它可以用于各种文本处理任务,例如数据清理、文件合并等。

 uniq  命令的基本语法如下:

 
uniq [OPTIONS] [FILE]
 

其中, OPTIONS  是可选的参数,用于指定  uniq  命令的行为。常用的参数包括:

  •  -c :输出每行出现的次数。

  •  -d :仅输出重复的行。

  •  -u :仅输出不重复的行。

 FILE  是要处理的文件名,如果没有指定文件名,则从标准输入读取数据。

例如,如果要去除文件  file.txt  中的重复行,并输出不重复的行,可以使用以下命令:

 
uniq -u file.txt
 

如果要输出文件  file.txt  中每行出现的次数,可以使用以下命令:

 
uniq -c file.txt
 

如果要输出文件  file.txt  中重复的行,可以使用以下命令:

 
uniq -d file.txt
 

需要注意的是, uniq  命令只能去除相邻的重复行,如果需要去除不相邻的重复行,可以使用  sort  命令和  uniq  命令结合使用,例如:

 
sort file.txt | uniq -u
 

这将先对文件进行排序,然后再使用  uniq  命令去除重复行。