| 网站首页 | 业界新闻 | 小组 | 威客 | 人才 | 下载频道 | 博客 | 代码贴 | 在线编程 | 编程论坛
欢迎加入我们,一同切磋技术
用户名:   
 
密 码:  
共有 1269 人关注过本帖
标题:请教关于超大量数据填充dataset出错的问题-2!大家理解有误!
只看楼主 加入收藏
wyp68448
Rank: 1
等 级:新手上路
帖 子:16
专家分:0
注 册:2009-9-19
结帖率:100%
收藏
已结贴  问题点数:26 回复次数:5 
请教关于超大量数据填充dataset出错的问题-2!大家理解有误!
请教关于超大量数据填充dataset出错的问题!

各位专家:
    我在写一个通用数据比对系统时候遇到一个难题,就是winform(C#)程序访问sql2005数据库中的一个表,我用适配器填充dataset时的sql语句是“select * from 表名 where 字段 like '%条件%'”,程序提示“数据连接无响应或出错”我一看原因是,那个表有5000多万条数据,那个字段还是个备注字段,做了全文检索后在查询分析器中用sql语句进行查询,用时1分53秒,用适配器根本无法填充数据集,只要连接该表进行查询操作就报错,虚心请教各位有什么办法可以解决或避免这个问题?

前一段时间发表了 “请教关于超大量数据填充dataset出错的问题”这个帖子,误操作给结贴了,现在再与大家讨论一下这个问题!

    感谢大家的解决方法,有的说分页显示,有的说每次提取一定数量的数据,有的说内存太小无法容纳,都很好,但是问题在于“不是显示的问题”我还没有将sql语句的结果填充到dataset中,不存在显示的问题,也就是说还没执行完sql就报错了!结果还没有到内存中去呢!"而不是执行完了以后,结果太多而无法显示!!!!!!!!"
    所以这个问题还得讨论,否则以后用到海量数据分析的时候就根本无法实施了!
搜索更多相关主题的帖子: 有误 数据 dataset 
2009-09-23 10:21
yangglemu
Rank: 7Rank: 7Rank: 7
等 级:黑侠
帖 子:273
专家分:521
注 册:2006-9-15
收藏
得分:15 
DataTable的最大行数是65536,5000万行如何装得下
建缓冲,分批按序读取

试着挣个威望!
2009-09-23 11:00
jedypjd
Rank: 13Rank: 13Rank: 13Rank: 13
等 级:蒙面侠
威 望:9
帖 子:1096
专家分:4969
注 册:2009-7-27
收藏
得分:1 
是不是数据量大的问题,你取出一些数据,弄个测试用的表测一下不就ok了
楼主没发代码上来,我们也不知道具体的问题在哪

天涯无岁月,歧路有风尘,百年浑似醉,是非一片云
2009-09-24 23:25
zhaoxili
Rank: 6Rank: 6
等 级:侠之大者
威 望:1
帖 子:327
专家分:479
注 册:2009-1-3
收藏
得分:10 
呵呵 哥们 说过去还是数据大的问题  是不存在显示的问题 但是却存在读出数据量过大的问题啊 2楼的说法不错
2009-09-25 02:04
wyp68448
Rank: 1
等 级:新手上路
帖 子:16
专家分:0
注 册:2009-9-19
收藏
得分:0 
我终于找到原因了,数据连接出错不是内存容不下,是因为,sql执行填充DATASET时时间等待过短!将适配器对象的如:
dataAdapter. = 600;
设置执行sql时间提高到10分钟就行了,谢谢大家的回复!
2009-09-27 15:32
jy_2008www
Rank: 1
等 级:新手上路
帖 子:1
专家分:0
注 册:2009-9-26
收藏
得分:0 
设置sql语句执行时间应该不是最好的办法。如果语句再复杂点,数据再多点,设置这个时间没有意义。而且设置超时,如果是数据库异常可能带来异常不能及时处理的麻烦。
2009-09-29 22:55
快速回复:请教关于超大量数据填充dataset出错的问题-2!大家理解有误!
数据加载中...
 
   



关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.012602 second(s), 7 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved