| 网站首页 | 业界新闻 | 小组 | 交易 | 人才 | 下载频道 | 博客 | 代码贴 | 在线编程 | 编程论坛
Reworld,下班在家制作游戏,1500万奖金等你拿以码会友 以友辅仁
共有 466 人关注过本帖
标题:求教,CSV文件中数据(行)有相同的项目如何合并?
只看楼主 加入收藏
ictest
Rank: 2
等 级:论坛游民
帖 子:256
专家分:97
注 册:2010-2-17
结帖率:74.07%
  已结贴   问题点数:10  回复次数:7   
求教,CSV文件中数据(行)有相同的项目如何合并?
求教,想对一个CSV文件进行处理后生成一个新的CSV文件,
这个CSV文件,内容大约28万行,内容格式如下:

红框与蓝框中的内容一样,想合并成如下式样:

下面的数据按这种方式合并,
注意:文件里的数据并不一定会成对出现,也就是说方框里的内容是独一无二的,这样的行就直接写入新文件里。

不知我是否说明白了,请各位路过的坛友和大神,多多帮助我。谢谢!
附件: 您没有浏览附件的权限,请 登录注册
搜索更多相关主题的帖子: CSV 文件 数据 合并 内容 
2019-06-08 15:09
ictest
Rank: 2
等 级:论坛游民
帖 子:256
专家分:97
注 册:2010-2-17
  得分:0 
求助各位路过的高手和大神,谢谢了。
2019-06-08 21:13
ZHRXJR
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
等 级:版主
威 望:104
帖 子:886
专家分:4675
注 册:2016-5-10
  得分:2 
27万多条记录,检测前四个字段记录相同的数据,仅仅检测就已经非常吃力了,如果电脑运行速度比较快,可能也得十几分钟。
再重新存储文件,VB的控件不可能显示这样多的记录(记得好像只能显示3万多条记录),不过可以分开检测,这样特别麻烦。
有时间我可以试试,不一定成功。
2019-06-09 09:51
wube
Rank: 12Rank: 12Rank: 12
等 级:贵宾
威 望:22
帖 子:1797
专家分:3671
注 册:2011-3-24
  得分:2 
转存成EXCEL处理,最后再将结果复制到新的CSV ?

不要選我當版主
2019-06-11 18:59
ZHRXJR
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
等 级:版主
威 望:104
帖 子:886
专家分:4675
注 册:2016-5-10
  得分:0 
非常困难,数据太多,分页需要分100多页,而且加载速度也比较慢,检测速度大概需要近2分钟(一页大概2500条数据)全部检测完成估计要近4个小时。
如果能够将数据导入到 SQL 2008 数据库,可能一次性解决有希望。我在 SQL 2008 中处理过50多万条记录,用时大概十几分钟就完成了。
2019-06-12 12:58
风吹过b
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
等 级:版主
威 望:260
帖 子:4433
专家分:27297
注 册:2008-10-15
  得分:2 
转 EXCEL处理 不现实,需要考虑低版本 EXCEL 只能处理 6.5+W 行的数据,
这么大的数据量,只能上 SQL 了。
我感觉如果是一次性工作,那就上 MSSQL+存储过程吧!


授人于鱼,不如授人于渔
早已停用QQ了
2019-06-12 14:25
美丽的海南岛
Rank: 1
等 级:新手上路
帖 子:1
专家分:2
注 册:2019-6-12
  得分:2 
我也不懂
2019-06-12 15:21
xuminxz
Rank: 8Rank: 8
等 级:贵宾
威 望:11
帖 子:311
专家分:892
注 册:2011-5-8
  得分:2 
这个用VFP很容易的。
CREATE cursor  sdb (pc c(10),ph c(4),device c(18),site c(4),A64 i,A4F i)
APPEND FROM all1.csv  delimited
SELECT pc 批次,ph 片号,DEVICE,SITE ,SUM(a64) Average_5V_0x640,SUM(a4f) Average_5V_0x4FB FROM sdb INTO CURSOR ndb GROUP BY pc,ph,device,site
COPY TO hh.csv csv

大概要用10秒。

dBase有人接盘了。
2019-06-15 09:54
快速回复:求教,CSV文件中数据(行)有相同的项目如何合并?
数据加载中...
 
   





关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.025899 second(s), 8 queries.
Copyright©2004-2019, BCCN.NET, All Rights Reserved