TFRecord | 高效读写数据文件
文章目录
读取数据我们一般做法有:
- 1、直接全部加载到内存中。(如直接将数据np.save保存成一整个大的.npy文件,然后要用时,在直接np.load读数据)
- 2、使用 queue / tf.data (更推荐这种方式) 读硬盘中的数据。
而在硬盘数据读取上,对于数据量比较大的情况,推荐采用tfrecord来读写数据,因为它非常高效。
1、tfrecord介绍
- TRecord数据文件是一种将图像数据和标签统一存储的二进制文件,能更好的利用内存,在TensorFlow中快速的复制,移动,读取,存储等。Tensorflow 提供了丰富的 API 可以帮助我们轻松读写 TFRecord文