[python学习笔记] - python下csv，feather，parquet，jay，pickle的读写性能及空间占用测试
python下csv，feather，parquet，jay的读写性能及空间占用测试
·
pandas下读写文件性能测试
测试目标类型，csv,parquet,feather,jay,pickle
使用package：pandas,dash,datatablepandas使用单cpu读取，dash使用所有cpu读取。
耗时数据仅做量级参考，具体数值存在随机误差。
测试环境
cpu: AMD 3700x 8核16线程
RAM：64G 3200MHz
测试目标数据文件：
csv格式，2.75GB，27181814行，15列
固态硬盘
磁盘信息：pice3.0 nvme read:2200MB/s write:1700MB/s
| 数据类型 | 空间占用 | 耗时-write | 耗时-read | 耗时-read-dt | 耗时-read-dash |
|---|---|---|---|---|---|
| csv | 2.75GB | 145.01s | 28.08s | 1.67s | 0.01s |
| parquet | 0.71GB | 14.37s | 4.39s | - | 0.03s |
| feather | 1.10GB | 5.32s | 3.66s | - | - |
| jay | 3.37GB | 24.16s | 9.94s | 0.0006s | - |
| pickle(gzip) | 2.82GB | 4.86s | 3.34s | - | - |
机械硬盘
磁盘信息：HDD 2TB 7200R read:176MB/s write:176MB/s
| 数据类型 | 空间占用 | 耗时-write | 耗时-read | 耗时-read-dt |
|---|---|---|---|---|
| csv | 2.75GB | 145.87s | 28.35s | 1.65s |
| parquet | 0.71GB | 14.55s | 4.39s | - |
| feather | 1.10GB | 5.36s | 3.63s | - |
| jay | 3.37GB | 53.51s | 9.50s | 0.0005s |
| pickle(gzip) | 2.82GB | 17.93s | 3.53s | - |
Python Dataframe之excel、csv、pickle、feather、parquet、jay、hdf5 文件存储格式==》存读效率对比
Speed up a pandas query 10x with these 6 Dask DataFrame tricks
汇聚全球AI编程工具，助力开发者即刻编程。
更多推荐
0
0- 0
已为社区贡献2条内容
所有评论(0)