通过dbfread获取的接近2g的数据如何读入pandas
公司以前都是用vfp倒数据的,好多表格数据都是上g的bin文件,用python解析这些源数据一则容易出错,主要是以前编码格式混乱,二则效率慢,所以还是用vfp导入bin文件,生成dbf表格,然后再用python读dbf表,想用pandas处理读到的数据,一直显示MemoryError内存溢出,有什么办法可以快速导入pandas
回复 2楼 wp231957
我首先获取dbf表中数据table=DBF("XXXXXX",encoding="gbk",char_decode_errors="ignore")
然后用pandas创建dataframe导入table
df=pd. DataFrame(data=table)
运行后一直显示memory error
大神有什么好的办法,能快速导入pandas