当前位置: 代码网 > it编程>网页制作>Perl > perl去除重复内容的脚本代码(重复行+数组重复字段)

perl去除重复内容的脚本代码(重复行+数组重复字段)

2024年05月19日 Perl 我要评论
假如有这样的一段序列:1 2 1 2 2 1 1 3 1 4 1 5 4 1 我们需要得到如下的结果:1 3 1 5 2 1 4 1 那么,请借助以下的perl脚本来实现。代码一:代码二:如果有一个文

假如有这样的一段序列:
1 2 
1 2 
2 1 
1 3 
1 4 
1 5 
4 1
我们需要得到如下的结果:
1 3 
1 5 
2 1 
4 1
那么,请借助以下的perl脚本来实现。

代码一:



代码二:

如果有一个文件data有10g大,但是有好多行都是重复的,需要将该文件中重复的行合并为一行,那么我们需要用什么办法来实现
cat data |sort|uniq > new_data #该方法可以实现,但是你需要花上好几个小时。结果才能出来。
下面是一个使用perl脚本来完成此功能的小工具。原理很简单,创建一个hash,每行的内容为键,值由每行出现的次数来填充,脚本如下;

代码三:

通过perl脚本,删除数据组中重复的字段

(0)

相关文章:

版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。

发表评论

验证码:
Copyright © 2017-2025  代码网 保留所有权利. 粤ICP备2024248653号
站长QQ:2386932994 | 联系邮箱:2386932994@qq.com