该文本文件大约3M多一点（一共10万行），再多估计操作要有问题（速度方面）

该文本文件每行31个字符（均随机产生）

接下来要做的事情：（所做的一切都是以行为单位）

1、想筛出该文件中的重复行（保证每一行都具备唯一性）
2、对筛出后的文件 以行为单位进行排序


各位大虾都说说思路，代码就不要贴了

我初步的想法是  把文件中的数据传导到数组里，处理好了 再反传回文件
不过这样做是不是太笨重了呢

我能说我是来看三楼的吗？？？？？？

我其实是来看四楼的...

以前我有一个类似的需求:
再grid上显示了数据库的查询信息
(无分页,记录1-10000不等)
然后用户随意修改后回存数据库时需要做重复性判断...

我没有想到很好的处理规则...
我当时是把,所有的cell取出来拼成string
然后std::set<string>里面insert判断返回值...

上面的过程我尽量优化了...
还是存在一定的效率问题...

见:https://bbs.bccn.net/thread-374170-1-1.html

[ 本帖最后由 peach5460 于 2013-8-9 11:33 编辑 ]

我感觉,可以一边读文件做重复检测和插入排序

我现在很纠结的是,我不想把文本中所有的行全部取出来存到数组里...
我想可以先写一部分回去...
然后我就大脑短路了,呵呵...

我的算法功底还是太差了,回去研究算法去...

[ 本帖最后由 peach5460 于 2013-8-9 11:51 编辑 ]

重点是先排序。

直接用快速排序，交换的时候注意只交换字符串的指针而不交换整个字符串

至于你的这个问题，由于只需要找到两个相同的行就好了，直接用一个开散列的哈希表统计就好了，从你的数据量来看冲突不会很多，所以用的时间应该和遍历这个表所用的时间在一个层次上的

嗯,差不多...
我只是看到楼主写的去重复加排序,所以有感而发一下,呵呵...

不明观众围观

用户改哪一列，就在那一列上寻找重复数据！用户在修改哪一列，程序自己是清楚的。