精析TensorFlow mnist手写识别之检测下载数据集

程序 检测下载数据集

##网站文件本地检测下载
#创建文件夹data
import....
...

WORK_DIRECTORY = 'data'
SOURCE_URL = 'http://yann.lecun.com/exdb/mnist/'

def maybe_download(filename):

  """Download the data from Yann's website, unless it's already here."""
#t.g.e 有，返回truth，无，返回false
  if not tf.gfile.Exists(WORK_DIRECTORY):
#创建/覆盖文件夹
    tf.gfile.MakeDirs(WORK_DIRECTORY)
#路径拼接
  filepath = os.path.join(WORK_DIRECTORY, filename)

  if not tf.gfile.Exists(filepath):
#将URL表示的网络对象复制到本地文件
    filepath, _ = urllib.request.urlretrieve(SOURCE_URL + filename, filepath)
#获取文本操作句柄，filename是要打开的文件名，mode是以何种方式去读写，将会返回一个文本操作句柄。
    with tf.gfile.GFile(filepath) as f:
      size = f.size()
    print('Successfully downloaded', filename, size, 'bytes.')

  return filepath

def main(_):
    # Get the data.
    train_data_filename = maybe_download('train-images-idx3-ubyte.gz')
    train_labels_filename = maybe_download('train-labels-idx1-ubyte.gz')
    test_data_filename = maybe_download('t10k-images-idx3-ubyte.gz')
    test_labels_filename = maybe_download('t10k-labels-idx1-ubyte.gz')

gfile API介绍
下面将分别介绍每一个gfile API！
2-1）tf.gfile.Copy(oldpath, newpath, overwrite=False)
拷贝源文件并创建目标文件，无返回，其形参说明如下：
oldpath：带路径名字的拷贝源文件；
newpath：带路径名字的拷贝目标文件；
overwrite：目标文件已经存在时是否要覆盖，默认为false，如果目标文件已经存在则会报错
2-2）tf.gfile.MkDir(dirname)
创建一个目录，dirname为目录名字，无返回。
2-3）tf.gfile.Remove(filename)
删除文件，filename即文件名，无返回。
2-4）tf.gfile.DeleteRecursively(dirname)
递归删除所有目录及其文件，dirname即目录名，无返回。
2-5）tf.gfile.Exists(filename)
判断目录或文件是否存在，filename可为目录路径或带文件名的路径，有该目录则返回True，否则False。
2-6）tf.gfile.Glob(filename)
查找匹配pattern的文件并以列表的形式返回，filename可以是一个具体的文件名，也可以是包含通配符的正则表达式。
2-7）tf.gfile.IsDirectory(dirname)
判断所给目录是否存在，如果存在则返回True，否则返回False，dirname是目录名。
2-8）tf.gfile.ListDirectory(dirname)
罗列dirname目录下的所有文件并以列表形式返回，dirname必须是目录名。
2-9）tf.gfile.MakeDirs(dirname)
以递归方式建立父目录及其子目录，如果目录已存在且是可覆盖则会创建成功，否则报错，无返回。
2-10）tf.gfile.Rename(oldname, newname, overwrite=False)
重命名或移动一个文件或目录，无返回，其形参说明如下：
oldname：旧目录或旧文件；
newname：新目录或新文件；
overwrite：默认为false，如果新目录或新文件已经存在则会报错，否则重命名或移动成功。
2-11）tf.gfile.Stat(filename)
返回目录的统计数据，该函数会返回FileStatistics数据结构，以dir(tf.gfile.Stat(filename))获取返回数据的属性如下：
2-12）tf.gfile.Walk(top, in_order=True)
递归获取目录信息生成器，top是目录名，in_order默认为True指示顺序遍历目录，否则将无序遍历，每次生成返回如下格式信息(dirname, [subdirname, subdirname, ...], [filename, filename, ...])。
2-13）tf.gfile.GFile(filename, mode)
获取文本操作句柄，类似于python提供的文本操作open()函数，filename是要打开的文件名，mode是以何种方式去读写，将会返回一个文本操作句柄。
tf.gfile.Open()是该接口的同名，可任意使用其中一个！
2-14）tf.gfile.FastGFile(filename, mode)
该函数与tf.gfile.GFile的差别仅仅在于“无阻塞”，即该函数会无阻赛以较快的方式获取文本操作句柄。

os.path API

1.os.path.abspath(path)
返回path规范化的绝对路径。

>>> os.path.abspath('test.csv')
'C:\\Python25\\test.csv'

>>> os.path.abspath('c:\\test.csv')
'c:\\test.csv'

>>> os.path.abspath('../csv\\test.csv')
'C:\\csv\\test.csv'

2.os.path.split(path)
将path分割成目录和文件名二元组返回。

>>> os.path.split('c:\\csv\\test.csv')
('c:\\csv', 'test.csv')
>>> os.path.split('c:\\csv\\')
('c:\\csv', '')

3.os.path.dirname(path)
返回path的目录。其实就是os.path.split(path)的第一个元素。

>>> os.path.dirname('c:\\csv\test.csv')
'c:\\'
>>> os.path.dirname('c:\\csv')
'c:\\'

4.os.path.basename(path)
返回path最后的文件名。如何path以／或\结尾，那么就会返回空值。即os.path.split(path)的第二个元素。

>>> os.path.basename('c:\\test.csv')
'test.csv'
>>> os.path.basename('c:\\csv')
'csv' （这里csv被当作文件名处理了）
>>> os.path.basename('c:\\csv\\')
''

5.os.path.commonprefix(list)
返回list中，所有path共有的最长的路径。

如：
>>> os.path.commonprefix(['/home/td','/home/td/ff','/home/td/fff'])
'/home/td'

6.os.path.exists(path)
如果path存在，返回True；如果path不存在，返回False。

>>> os.path.exists('c:\\')
True
>>> os.path.exists('c:\\csv\\test.csv')
False

7.os.path.isabs(path)
如果path是绝对路径，返回True。

8.os.path.isfile(path)
如果path是一个存在的文件，返回True。否则返回False。

>>> os.path.isfile('c:\\boot.ini')
True
>>> os.path.isfile('c:\\csv\\test.csv')
False
>>> os.path.isfile('c:\\csv\\')
False

9.os.path.isdir(path)
如果path是一个存在的目录，则返回True。否则返回False。

>>> os.path.isdir('c:\\')
True
>>> os.path.isdir('c:\\csv\\')
False
>>> os.path.isdir('c:\\windows\\test.csv')
False

10.os.path.join(path1[, path2[, ...]])
将多个路径组合后返回，第一个绝对路径之前的参数将被忽略。
>>> os.path.join('c:\\', 'csv', 'test.csv')
'c:\\csv\\test.csv'
>>> os.path.join('windows\temp', 'c:\\', 'csv', 'test.csv')
'c:\\csv\\test.csv'
>>> os.path.join('/home/aa','/home/aa/bb','/home/aa/bb/c')
'/home/aa/bb/c'

11.os.path.normcase(path)
在Linux和Mac平台上，该函数会原样返回path，在windows平台上会将路径中所有字符转换为小写，并将所有斜杠转换为饭斜杠。

>>> os.path.normcase('c:/windows\\system32\\')
'c:\\windows\\system32\\'

12.os.path.normpath(path)
规范化路径。

>>> os.path.normpath('c://windows\\System32\\../Temp/')
'c:\\windows\\Temp'

12.os.path.splitdrive(path)
返回（drivername，fpath）元组

>>> os.path.splitdrive('c:\\windows')
('c:', '\\windows')

13.os.path.splitext(path)
分离文件名与扩展名；默认返回(fname,fextension)元组，可做分片操作

>>> os.path.splitext('c:\\csv\\test.csv')
('c:\\csv\\test', '.csv')

14.os.path.getsize(path)
返回path的文件的大小（字节）。

>>> os.path.getsize('c:\\boot.ini')
299L

15.os.path.getatime(path)
返回path所指向的文件或者目录的最后存取时间。

16.os.path.getmtime(path)
返回path所指向的文件或者目录的最后修改时间

urllib.request.urlretrieve(url, filename=None, reporthook=None, data=None)

函数说明将URL表示的网络对象复制到本地文件。如果URL指向本地文件，则对象将不会被复制，除非提供文件名。

返回一个元组()(filename，header)，其中filename是可以找到对象的本地文件名，header是urlopen()返回的对象的info()方法(用于远程对象)。

第二个参数(如果存在)指定要复制到的文件位置(如果没有，该位置将是一个生成名称的tempfile)。

第三个参数，如果存在，则是一个回调函数，它将在建立网络连接时调用一次，并且在此后每个块读取后调用一次。这个回调函数将传递三个参数;到目前为止传输的块计数，以字节为单位的块大小，以及文件的总大小。第三个参数可能是-1，在旧的FTP服务器上，它不返回文件大小以响应检索请求。

参数说明

url：外部或者本地urlfilename：指定了保存到本地的路径（如果未指定该参数，urllib会生成一个临时文件来保存数据）；reporthook：是一个回调函数，当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调。我们可以利用这个回调函数来显示当前的下载进度。

data：指post到服务器的数据。该方法返回一个包含两个元素的元组(filename, headers)，filename表示保存到本地的路径，header表示服务器的响应头。

精析TensorFlow mnist手写识别 之 检测下载数据集

猜你喜欢

精析TensorFlow mnist手写识别之检测下载数据集