最近做了一个题目，读取文件内容，提取其中的一部分，写到另一个文件中。原文件是300多M的二进制文件，读取没有错误，我先将一部分数据提取出来，能得到正确结果，输出文件是20多M文本文件。然后打算将数据全部提取出来，结果程序运行时间变得很长，并且中途出错退出了，查看得到的文本文件，有1.29G，不知道问什么不能执行完。


我读的是SEGY格式的.sgy文件，输出的是.grd的文本文件。

读取的数据是暂存在二维数据中的，可能是太大了，但我觉得这应该只是运行时间长一点而已，为什么不能运行成功呢？求大神指点一下，谢谢了

我有的分都给了

32位程序的数据区只有2G。不要把企图把数据一次性全部调入内存中，你的设计模式错误，小数据量时测试成功不等于大数据量也成功，修改读写的模式吧。

动态分配的内存，我分批写入可以吗？？？

当然是要分批写入了。32位程序中，用什么分配都在进程固有的4G虚拟空间内分配，数据区最大是2G，这与分配模式无关。分批读写，系统和程序自己会利用缓冲加速，不要以为全部读入到内存中会比缓冲模式快，不是那样的。以前在16位时代，再大的文件拷贝也不成问题，都是分批读写的，哪有人全部调入内存之理，有再多的内存，也不应这样做。

大数据肯定要分批次读写啊，怕麻烦就去找个内存数据库，程序会简单不少。

哦，谢谢了。

像这样的大文件的读写，怎么才能提高程序的运行速度，能不能给点建议。。。


或者说程序最耗时间的部分是哪里，文件的打开关闭，文件指针的定位是不是太多了不好？？？

瓶颈在磁盘的读写速度，那是铁打的，怎么都快不来（有时系统报告复制文件完毕，但磁盘仍然在亮，那表示缓冲在起作用，实际还没完，骗你完了而已，最终还是那么多时间）。C函数库是专家测试过的，它默认的缓冲区足够应付大多数应用，一般不要刻意改它，那其实很小，具体多大我忘了，在以前16位机时代8K已经起反作用了，现在新的系统有各种缓冲机制，语言库会与系统平台配合，你自己去调整反而弄巧反拙。一般来说，如果你的数据是有一条一条记录的，就按记录逐条读、写即可，在程序的使用过程中观察效果，只有到真的无法接受时，才要去考虑调整。调整这东西，跟很多因素有关的，除了系统，还跟机器配置有关，与当前同时运行的程序也有关，与到底有多少空闲物理内存也有关，变化一下，结论也不同的。

soga，谢谢了