一个文本文件，内容格式如下：

这个文本文件内部应该共有230个（段）数据，但其中内部有编号重复的，导致实际大于230个（段）数据，请问如何将编号重复的删除掉一个（一段）或几个（几段），只留下一个（一段）？
重复一下有几种情况：
1、只有一组数据编号重复（也就是说有一组数据的重复了一遍，要删除掉其中一遍，只留下一遍）；
2、有多组数据编号重复（也就是说有N组数据的编号重复了一遍，每一组重复的要删掉一遍，只留下一遍）；
3、有一组数据编号重复了多遍（也就是说有一组数据重复了N遍，要删除掉其中N-1遍，只留下一遍）；
4、有多组数据编号各重复了多遍（也就是说有N组数据各重复了N遍，要删除掉每组重复数据的N-1遍，只留下一遍）；

现提供各种情况的文件供测试，这些文件全部脱胎于一个标准无重复得230个（段）数据文件。


请问如何编写一个通用的，可去除各种重复情况的程序？
新手拜求。