tf.contrib.slim.data数据加载 综述

  TF-Slim为了方便加载各种数据类型(如TFRocords或者文本文件)的数据,创建了这个

Dataset

   这里的数据库与通常意义下数据库是不同的,这里数据库是python一个类,它负责将原始数据通过流水线加工成为我们需要的数据格式。

TF-Slim defines a dataset to be a set of files (that may or may not be encoded) representing a finite set of samples, and which can be read to provide a predefined set of entities or items.

   比如说我们的数据存储在一个或多个文件中,各个文件中数据数据形式不同,Dataset会将他们解析为单个item,如一幅图像,或者是多个items,如图像,类别标签,场景标签。我们更具体的来看一下流水线中各个部件:

   data_sources: 构成原始数据的各个文件

   reader: 适用于原始数据数据形式的Tensorflow Reader

   decoder: 用TF-Slim data_decoder解码读取到的文件

   num_samples: 数据库中元素数量

   items_to_description: 对数据库中items的描述

   流水线先通过readerdata_sources打开文件,然后用decoder解码文件,最后允许用户取得items。

   这样我们就对这个库有一个总体把握,接下来我们会结合源码了解流水线中各个部件的使用。

                                                          最新一次编辑在:12:03:30,2018-07-16

猜你喜欢

转载自www.cnblogs.com/zzy-tf/p/9317038.html