Linux下大文件排序

  • 8月 15, 2011

1. split -b   对大文件进行切割  如：split -b 200m BigFile

2. sort BigFile.splited1 > BigFile.splited1.sorted1 对每一个切割后的文件分别sort
3. cat BigFile.splited1.sorted1 BigFile.splited2.sorted2 …|sort -m|uniq

Leave a Comment.