怎样从一个文本文件中读取大数据量数据方法？

例如：一个.txt文本文件：file.txt，大小：80MB，也就是说这个文本文件中有80MB信息数据。

如果用常规的方法读取，势必会造成服务器的极大负荷，甚至无法承受乃至崩溃。

程序方面的思路： 用System.IO.StreamReader.ReadLine()读取这些数据时，是否能把这些数据划分成若干小块，例如把它们划分成1024KB大小的区块，然后依次分批循环把它们读出

自定义一个byte[]变量，设定大小为1024，然后放在while循环中，用原文件长度作为判断条件，不断读取后写入直到长度返回－1

我很苯的，能不能给一个简单的例子。

FileStream streamIn=new FileStream("读取.txt",FileMode.Open); FileStream streamOut=new FileStream("写入.txt",FileMode.Create);

byte[] read=new byte[1024]; long readlen=0; int len; while(readlen<streamIn.Length) { len=streamIn.Read(read,0,1024); streamOut.Write(read,0,len); readlen+=len; } cs.Close(); streamOut.Close(); streamIn.Close();

谢谢您。

对不起，我没有说清楚，不是单纯的从一个文本写入到另一个文本

应该是：
   有一个条件文本: term.txt或者是term.xml   //假设这里有1000个条件（好象txt格式没有类似数据库字段功能的自动编号，也不能对文本进行动态排序，如果少了这些条件就不可以操作，那么就假设这个 term.txt 文本文件是一个 term.xml 文件。）
   有一个数据文本:records.txt //假设这里面有超过1G的数据

   把数据文本 records.txt 读出后，和条件文本 term.txt/term.xml  作比较，然后把符合条件的文本随便生成一个txt格式文件，例如 result.txt。
  
FileStream streamIn=new FileStream("读取.txt",FileMode.Open);    //假如这是一个条件
FileStream streamOut=new FileStream("写入.txt",FileMode.Create); //将符合条件的文本写入

。。。。。
。。。。。
len=streamIn.Read(read,0,1024);
    streamOut.Write(read,0,len);
    readlen+=len;
我试了，这个streamIn没法读取(输出功能),没有办法把获得的数据进行对比。

[此贴子已经被作者于2005-9-6 11:45:53编辑过]

up

你好，我看到你发的贴字了。
如果发送的内容比较大的话，很容易有引发异常。
这么大的文件传输很容易出问题。

我建议用对象流读取。

ObjectReaderStream
ObjectWriterStream

BufferedReaderStream
BufferedWriterStream