一个文本文件，内容格式如下：

这个文本文件内部应该共有230个（段）数据，但其中内部有编号重复的，导致实际大于230个（段）数据，请问如何将编号重复的删除掉一个（一段）或几个（几段），只留下一个（一段）？
重复一下有几种情况：
1、只有一组数据编号重复（也就是说有一组数据的重复了一遍，要删除掉其中一遍，只留下一遍）；
2、有多组数据编号重复（也就是说有N组数据的编号重复了一遍，每一组重复的要删掉一遍，只留下一遍）；
3、有一组数据编号重复了多遍（也就是说有一组数据重复了N遍，要删除掉其中N-1遍，只留下一遍）；
4、有多组数据编号各重复了多遍（也就是说有N组数据各重复了N遍，要删除掉每组重复数据的N-1遍，只留下一遍）；

现提供各种情况的文件供测试，这些文件全部脱胎于一个标准无重复得230个（段）数据文件。


请问如何编写一个通用的，可去除各种重复情况的程序？
新手拜求。

参考吧！
https://bbs.bccn.net/viewthread.php?tid=476837&extra=&page=1

提供的思路：

1、设置一个计数数组，用来记录不重复数据
2、利用循环读取数据
  2.1、如果是第一个数据，放入不重复计数数组；
  2.2、如果不是第一个数据，判断数据是否重复，不重复，增加数据到不重复数组【采用动态或者静态都可以，采用静态还需要记录保留个数】，重复丢弃。

补充：对于重复数据，究竟保留最后一次还是首次，你在程序中自己判断。
    加入你是做芯片检测，要以最后一次为准，那么就根据编号更新不重复数组中，内容部分。