客服电话
APP下载
迪恩网络APP
随时随地掌握行业动态
官方微信
扫描二维码
关注迪恩网络微信公众号
|
Linux下文本处理工具很丰富很强大，例如这样一个文件： 复制代码 代码如下: cat log www.ogeek.net 192.168.1.1 www.ogeek.net 192.168.1.1 www.ogeek.net 192.168.1.2 ffffffffffffffffff ffffffffffffffffff eeeeeeeeeeeeeeeeeeee fffffffffffffffffff eeeeeeeeeeeeeeeeeeee eeeeeeeeeeeeeeeeeeee gggggggggggggggggggg 可用以下方法去除重复行： 1.使用uniq/sort删除重复行 复制代码 代码如下: shell> sort -k2n file | uniq > a.out
这里我做了个简单的测试，当file中的重复行不再一起的时候，uniq没法删除所有的重复行。经过排序后，所有相同的行都在相邻，因此unqi可以正常删除重复行。 2.使用用sort+awk命令 复制代码 代码如下: shell> sort -k2n file | awk '{if ($0!=line) print;line=$0}'
也可以使用 awk '!i[$1]++' log; 3.用sort+sed命令，同样需要sort命令先排序。 复制代码 代码如下: shell> sort -k2n file | sed '$!N; /^\(.*\)\n\1$/!P; D' |
请发表评论