| 网站首页 | 业界新闻 | 小组 | 威客 | 人才 | 下载频道 | 博客 | 代码贴 | 在线编程 | 编程论坛
欢迎加入我们,一同切磋技术
用户名:   
 
密 码:  
共有 2230 人关注过本帖
标题:请教关于超大量数据填充dataset出错的问题!
只看楼主 加入收藏
wyp68448
Rank: 1
等 级:新手上路
帖 子:16
专家分:0
注 册:2009-9-19
结帖率:100%
收藏
已结贴  问题点数:20 回复次数:9 
请教关于超大量数据填充dataset出错的问题!
各位专家:
    我在写一个通用数据比对系统时候遇到一个难题,就是winform(C#)程序访问sql2005数据库中的一个表,我用适配器填充dataset时的sql语句是“select * from 表名 where 字段 like '%条件%'”,程序提示“数据连接无响应或出错”我一看原因是,那个表有5000多万条数据,那个字段还是个备注字段,做了全文检索后在查询分析器中用sql语句进行查询,用时1分53秒,用适配器根本无法填充数据集,只要连接该表进行查询操作就报错,虚心请教各位有什么办法可以解决或避免这个问题?
搜索更多相关主题的帖子: 数据 dataset 
2009-09-19 09:01
wyp68448
Rank: 1
等 级:新手上路
帖 子:16
专家分:0
注 册:2009-9-19
收藏
得分:0 
有没有牛人能够给个答案啊?
2009-09-19 12:07
zhaoxili
Rank: 6Rank: 6
等 级:侠之大者
威 望:1
帖 子:327
专家分:479
注 册:2009-1-3
收藏
得分:2 
还真不清楚如何处理那么大的数据
2009-09-19 15:22
jedypjd
Rank: 13Rank: 13Rank: 13Rank: 13
等 级:蒙面侠
威 望:9
帖 子:1096
专家分:4969
注 册:2009-7-27
收藏
得分:2 
5000多万条?
你取到内存里,内存怎么吃的消啊

天涯无岁月,歧路有风尘,百年浑似醉,是非一片云
2009-09-20 08:37
dqwit
Rank: 3Rank: 3
等 级:论坛游侠
帖 子:24
专家分:107
注 册:2009-8-31
收藏
得分:2 
的确是困难啊
2009-09-20 10:52
YOUDIANSHUI
Rank: 3Rank: 3
等 级:论坛游侠
帖 子:39
专家分:108
注 册:2008-12-10
收藏
得分:2 
这个问题我遇见过,理论上应该是可以运行的,但实际是内存开销不起,导致无法运行,查小一点的数据量就会没问题了
2009-09-21 17:48
becklulu
Rank: 1
等 级:新手上路
帖 子:9
专家分:2
注 册:2009-7-29
收藏
得分:2 
可以弄成分页显示啊,显示部分取部分
2009-09-22 11:57
乖老鼠
Rank: 5Rank: 5
来 自:四川省
等 级:职业侠客
威 望:2
帖 子:434
专家分:394
注 册:2008-9-8
收藏
得分:2 
只能部分读取了

转眼就从编程菜鸟混成了半灌水
2009-09-22 16:41
bygg
Rank: 16Rank: 16Rank: 16Rank: 16
来 自:乖乖的心中
等 级:版主
威 望:241
帖 子:13555
专家分:3076
注 册:2006-10-23
收藏
得分:2 
利用分页显示,一次只读取一页的数据。推荐用LINQ,比较好。
另外,你一下子显示5000多万条数据,谁看啊?先不说你的电脑是否可以真正地加载出来,就你坐在那里拉着滚动条也要好长时间才拉得完吧?

也许你是想将数据拉到DATASET中,然后用一个和dataGridView这样的数据控件将数据显示出来对吧?就算你在里面加个分页,每次分页都加载的同样多的数据,根本就没效率,别人用一次估计就害怕看到那东西了。


飘过~~
2009-09-22 17:17
wyp68448
Rank: 1
等 级:新手上路
帖 子:16
专家分:0
注 册:2009-9-19
收藏
得分:0 
大家理解错了!大量数据填充dataset的问题!
各位专家:
    我在写一个通用数据比对系统时候遇到一个难题,就是winform(C#)程序访问sql2005数据库中的一个表,我用适配器填充dataset时的sql语句是“select * from 表名 where 字段 like '%条件%'”,程序提示“数据连接无响应或出错”我一看原因是,那个表有5000多万条数据,那个字段还是个备注字段,做了全文检索后在查询分析器中用sql语句进行查询,用时1分53秒,用适配器根本无法填充数据集,只要连接该表进行查询操作就报错,虚心请教各位有什么办法可以解决或避免这个问题?

    感谢大家的解决方法,有的说分页显示,有的说每次提取一定数量的数据,有的说内存太小无法容纳,都很好,但是问题在于“不是显示的问题”我还没有将sql语句的结果填充到dataset中,不存在显示的问题,也就是说还没执行完sql就报错了!结果还没有到内存中去呢!"而不是执行完了以后,结果太多而无法显示!!!!!!!!"
    所以这个问题还得讨论,否则以后用到海量数据分析的时候就根本无法实施了!
2009-09-23 10:18
快速回复:请教关于超大量数据填充dataset出错的问题!
数据加载中...
 
   



关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.025957 second(s), 10 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved