简介
文本文件和二进制文件
按文件中数据组织形式,我们把文件分为文本文件和二进制文件两大类:
1. 文本文件
文本文件存储的是普通“字符”文本,python默认为unicode字符集(两个字节表示 一个字符,
最多可以表示:65536 个),可以使用记事本程序打开。但是,像word软件编辑的文档不是文
本文件。
2. 二进制文件
二进制文件把数据内容用“字节”进行存储,无法用记事本打开。必须使用专用的软件 解码。
常见的有:MP4 视频文件、MP3 音频文件、JPG 图片、doc 文档等等。
文件操作相关模块概述
创建文件对象 open()
open()函数用于创建文件对象,基本语法格式如下:
open(文件名[,打开方式])
如果只是文件名,代表在当前目录下的文件。文件名可以录入全路径,比如:D:\a\b.txt。为了减
少“\”的输入,可以使用原始字符串:r“d:\b.txt”。示例如下: f = open(r"d:\b.txt","w")。
打开方式有如下几种:
文本文件对象和二进制文件对象的创建:
如果我们没有增加模式“b”,则默认创建的是文本文件对象,处理的基本单元是“字符”。如果是
二进制模式“b”,则创建的是二进制文件对象,处理的基本单元是“字节”。
一、文本文件的写入
1、基本的文件写入操作
文本文件的写入一般就是三个步骤:
1. 创建文件对象
2. 写入数据
3. 关闭文件对象
示例代码:
# 文本写入操作简单测试
# 文本写入操作简单测试
file = open(r"E:\PythonProject\File_Test\file01.txt", "a")
info = '二哈撒的欢!!!'
file.write(info)
file.flush()
file.close()
2、常用编码介绍
在操作文本文件时,经常会操作中文,这时候就经常会碰到乱码问题。为了解决中文乱码问题,
这里简单介绍一下各种编码之间的关系。
常用编码之间的关系如下:
1. ASCII
全称为American Standard Code for Information Interchange,美国信息交换标准代码,这是世界上
最早最通用的单字节编码系统,主要用来显示现代英语及其他西欧语言。 ASCII 码用7位表示,只能表
示 128 个字符。只定义了2^7=128个字符,用7bit即可完全编码,而一字节8bit的容量是256,所以一字
节ASCII 的编码最高位总是0。
0~31 表示控制字符如回车、退格、删除等;
32~126 表示打印字符即可以 通过键盘输入并且能显示出来的字符;
其中 48~57 为0到9十个阿拉伯数字;
65~90 为 26 个大写英文字母;
97~122 号为26个小写英文字母;
其余为一些标点符号、运算符号等,具体可以参考 ASCII 标准表。
2. ISO8859-1
ISO-8859-1又称Latin-1,是一个8位单字节字符集,它把ASCII的最高位也利用起来,并兼容了ASCII,
新增的空间是 128,但它并没有完全用完。 在 ASCII 编码之上又增加了西欧语言、希腊语、泰语、阿拉
伯语、希伯来语对应的文字符号,它是向下兼容 ASCII 编码。
3. GB2312,GBK,GB18030
3.1:GB2312
GB2312 全称为信息交换用汉字编码字符集,是中国于 1980 年发布,主要用于计算机系统中的汉字
处理。GB2312 主要收录了 6763 个汉字、682 个符号。 GB2312覆盖了汉字的大部分使用率,但不能
处理像古汉语等特殊的罕用字, 所以后来出现了像GBK、GB18030 这种编码。
**GB2312 完全兼容 ISO8859-1。**
3.2:GBK
全称为 Chinese Internal Code Specification,即汉字内码扩展规范,于 1995 年制定。 它主要是
扩展了 GB2312,在它的基础上又加了更多的汉字,它一共收录了 21003 个汉字
3.3:GB18030
现在最新的内码字集于 2000 年发布,并于 2001 年强制执行,包含了中国大部分少数 民族的语言
字符,收录汉字数超过 70000 余个。 它主要采用单字节、双字节、四字节对字符编码,它是向下兼
容 GB2312 和 GBK 的, 虽然是我国的强制使用标准,但在实际生产中很少用到,用得最多的反而是
GBK 和 GB2312
3.4:Unicode
Unicode 编码设计成了固定两个字节,所有的字符都用16 位(2^16=65536) 表示,包括之前只占8
位的英文字符等,所以会造成空间的浪费,UNICODE 在 很长的一段时间内都没有得到推广应用。
Unicode 完全重新设计,不兼容 iso8859-1,也不兼容任何其他编码。
3.4:UTF-8
对于英文字母,unicode 也需要两个字节来表示。所以 unicode 不便于传输和存储。因此而产生
了UTF编码,UTF-8 全称是(8-bit Unicode Transformation Format)。 UTF编码兼容iso8859-1编
码,同时也可以用来表示所有语言的字符, 不过,UTF 编码是不定长编码,每一个字符的长度从
1-4 个字节不等。其中, 英文字母都是用一个字节表示,而汉字使用三个字节。
【老鸟建议】
一般项目都会使用 UTF-8。unicode 中虽然汉字是两个字节, UTF-8 中汉字是 3 个字节。
但是互联网中一个网页也包含了大量的英文字母, 这些英文字母只占用 1 个字节,整体占用
空间,UTF-8 仍然由于 Unicode。
中文乱码问题
windows 操作系统默认的编码是 GBK,Linux操作系统默认的编码是UTF-8。当我们用open()时,
调用的是操作系统打开的文件,默认的编码是GBK。
3、write()/writelines()写入数据
write(a):把字符串 a 写入到文件中
writelines(b):把字符串列表写入文件中,不添加换行符
示例代码:
# 添加字符串列表数据到文件中
file = open(r"E:\PythonProject\File_Test\file01.txt", "a")
info = ['姓名\n', '年龄\n', '职业\n']
file.writelines(info)
file.flush()
file.close()
4、close()关闭文件流
由于文件底层是由操作系统控制,所以我们打开的文件对象必须显式调用close()方法关闭文件
对象。当调用close()方法时,首先会把缓冲区数据写入文件(也可以直接调用flush()方法),再关闭
文件,释放文件对象。 为了确保打开的文件对象正常关闭,一般结合异常机制的finally或者with关
键字实现无论何种情况都能关闭打开的文件对象。
示例代码:
# 结合异常机制 finally 确保关闭文件对象
try:
file = open(r"E:\PythonProject\File_Test\file01.txt", "a")
info = ['姓名\n', '年龄\n', '职业\n']
file.writelines(info)
except BaseException as e:
print('异常信息:', e)
finally:
file.flush()
file.close()
# with 语句(上下文管理器)
# with 关键字(上下文管理器)可以自动管理上下文资源,不论什么原因跳出with块,都能确保
# 文件正确的关闭,并且可以在代码块执行完毕后自动还原进入该代码块时的现场。
# 使用 with 管理文件写入操作
info2 = ['Jack\n', '20\n', 'IT\n']
with open(r"E:\PythonProject\File_Test\file01.txt", "a") as file2:
file2.writelines(info2)
二、文本文件的读取
文件的读取一般使用如下三个方法:
1. read([size])
从文件中读取 size 个字符,并作为结果返回。如果没有 size 参数,则读取整个文件。
读取到文件末尾,会返回空字符串。
2. readline()
读取一行内容作为结果返回。读取到文件末尾,会返回空字符串。
3. readlines()
文本文件中,每一行作为一个字符串存入列表中,返回该列表
示例代码:
'''源文件内容:
在Windows10系统右键点击屏幕左下角的开始按钮,在弹出菜单中选择“运行”的菜单项。
然后在打开的Windows10运行窗口中输入命令cmd后点击确定按钮
这时就会打开Windows10的命令提示符窗口,在这里可以输入Dos命令
首先在命令后面输入d:按下回后后就可以快速切换到D盘分区
然后可以使用cd bdjy的命令,回车后就可以进入bdjy的文件夹了。
'''
# 读取文件的前几个字符
with open(r"E:\PythonProject\File_Test\file01.txt", "r", encoding="GBK") as file:
print('读取文件前几个字符:', file.read(5))
# 文件较小,一次将文件内容读入到程序中
with open(r"E:\PythonProject\File_Test\file01.txt", "r", encoding="GBK") as file:
print('读取文件整个内容:\n', file.read())
# 按行读取一个文件
with open(r"E:\PythonProject\File_Test\file01.txt", "r", encoding="GBK") as file:
while True:
file_line = file.readline()
if not file_line:
break
else:
print('读取文件一行内容:', file_line, end="")
# 使用迭代器按行读取一个文件
with open(r"E:\PythonProject\File_Test\file01.txt", "r", encoding="GBK") as file:
print('\n')
for file_line in file:
print('迭代器读取文件一行内容:', file_line, end="")
# 为文本文件每一行的行首增加一个行号
with open(r"E:\PythonProject\File_Test\file01.txt", "r", encoding="GBK") as file:
file_lines = file.readlines()
file_lines = [str(index + 1) + '. ' + line for index, line in enumerate(file_lines)]
with open(r"E:\PythonProject\File_Test\file01.txt", "w", encoding="GBK") as file:
file.writelines(file_lines)
====================运行结果================================
读取文件前几个字符: 在Wind
读取文件整个内容:
在Windows10系统右键点击屏幕左下角的开始按钮,在弹出菜单中选择“运行”的菜单项。
然后在打开的Windows10运行窗口中输入命令cmd后点击确定按钮
这时就会打开Windows10的命令提示符窗口,在这里可以输入Dos命令
首先在命令后面输入d:按下回后后就可以快速切换到D盘分区
然后可以使用cd bdjy的命令,回车后就可以进入bdjy的文件夹了。
读取文件一行内容: 在Windows10系统右键点击屏幕左下角的开始按钮,在弹出菜单中选择“运行”的菜单项。
读取文件一行内容: 然后在打开的Windows10运行窗口中输入命令cmd后点击确定按钮
读取文件一行内容: 这时就会打开Windows10的命令提示符窗口,在这里可以输入Dos命令
读取文件一行内容: 首先在命令后面输入d:按下回后后就可以快速切换到D盘分区
读取文件一行内容: 然后可以使用cd bdjy的命令,回车后就可以进入bdjy的文件夹了。
迭代器读取文件一行内容: 在Windows10系统右键点击屏幕左下角的开始按钮,在弹出菜单中选择“运行”的菜单项。
迭代器读取文件一行内容: 然后在打开的Windows10运行窗口中输入命令cmd后点击确定按钮
迭代器读取文件一行内容: 这时就会打开Windows10的命令提示符窗口,在这里可以输入Dos命令
迭代器读取文件一行内容: 首先在命令后面输入d:按下回后后就可以快速切换到D盘分区
迭代器读取文件一行内容: 然后可以使用cd bdjy的命令,回车后就可以进入bdjy的文件夹了。
====================运行结果================================
三、二进制文件的读取和写入
二进制文件的处理流程和文本文件流程一致。首先还是要创建文件对象,不过,我们需要指
定二进制模式,从而创建出二进制文件对象。例如:
f = open(r"d:\a.txt", 'wb') #可写的、重写模式的二进制文件对象
f = open(r"d:\a.txt", 'ab') #可写的、追加模式的二进制文件对象
f = open(r"d:\a.txt", 'rb') #可读的二进制文件对象
创建好二进制文件对象后,仍然可以使用 write()、read()实现文件的读写操作。
示例代码:
# 读取文本文件,实现文件的拷贝
with open(r"E:\PythonProject\File_Test\file01.txt", "rb") as file:
with open(r"E:\PythonProject\File_Test\file01_bak.txt", "wb") as file2:
for line in file.readlines():
file2.write(line)
print('文件拷贝完成!!!')
四、文件对象的常用属性和方法
文件对象的属性
属性 | 说明 |
---|---|
name | 返回文件的名字 |
mode | 返回文件的打开模式 |
closed | 若文件被关闭则返回 True |
文件对象的打开模式
模式 | 说明 |
---|---|
r | 读模式 |
w | 写模式 |
a | 追加模式 |
b | 二进制模式(可与其他模式组合) |
+ | 读写模式(可以其他模式组合) |
文件对象的常用方法
五、文件任意位置操作
seek()移动文件指针示例
with open(r"E:\PythonProject\File_Test\file01.txt", "r", encoding="GBK") as file:
print('文件名称:{0}'.format(file.name))
print('文件指针的当前位置:', file.tell())
print('读取的文件内容:{0}'.format(file.readline()))
print('文件指针的当前位置:', file.tell())
file.seek(83, 0)
print('读取的内容:{0}'.format(file.readline()))
====================运行结果================================
文件名称:E:\PythonProject\File_Test\file01.txt
文件指针的当前位置: 0
读取的文件内容:1. 在Windows10系统右键点击屏幕左下角的开始按钮,在弹出菜单中选择“运行”的菜单项。
文件指针的当前位置: 83
读取的内容:2. 然后在打开的Windows10运行窗口中输入命令cmd后点击确定按钮
====================运行结果================================
六、使用 pickle 序列化
Python 中,一切皆对象,对象本质上就是一个“存储数据的内存块”。有时候,我们 需要将“内存
块的数据”保存到硬盘上,或者通过网络传输到其他的计算机上。这时候,就需要“对象的序列化和
反序列化”。 对象的序列化机制广泛的应用在分布式、并行系统上。
序列化指的是:将对象转化成“串行化”数据形式,存储到硬盘或通过网络传输到其他 地方。
反序列化是指相反的过程,将读取到的“串行化数据”转化成对象。
我们可以使用 pickle 模块中的函数,实现序列化和反序列操作。
**序列化使用:**
pickle.dump(obj, file) # obj 就是要被序列化的对象,file 指的是存储的文件
pickle.load(file) # 从 file 读取数据,反序列化成对象
示例代码:
import pickle
# 将对象序列化到文件中
file_path = "E:\PythonProject\File_Test\\file01.txt"
with open(r"{0}".format(file_path), "wb") as file:
msg1 = 'Jack'
msg2 = '29'
msg3 = 'IT'
pickle.dump(msg1, file)
pickle.dump(msg2, file)
pickle.dump(msg3, file)
# 将获得的数据反序列化成对象
with open(r"{0}".format(file_path), "rb") as file:
info1 = pickle.load(file)
info2 = pickle.load(file)
info3 = pickle.load(file)
print('{0} -- {1} -- {2}'.format(info1, info2, info3))
====================运行结果================================
Jack -- 29 -- IT
====================运行结果================================
七、CSV 文件的操作
csv(Comma Separated Values)是逗号分隔符文本格式,常用于数据交换、Excel 文件和数据库数据
的导入和导出。与 Excel 文件不同,CSV 文件中:
值没有类型,所有值都是字符串
不能指定字体颜色等样式
不能指定单元格的宽高,
不能合并单元格
没有多个工作表
不能嵌入图像图表
1、csv.reader 对象和 csv 文件读取
示例代码:
import csv
file_path = "E:\PythonProject\File_Test\\file02.csv"
with open(r"{0}".format(file_path)) as file:
csv_obj = csv.reader(file) # 创建csv对象,它是一个包含所有数据的列表,每一行为一个元素
headers = next(csv_obj) # 获得列表对象,包含标题行的信息
print("headers:", headers)
for row in csv_obj:
print("row:", row)
====================运行结果================================
headers: ['name', 'age', 'job', 'sex', 'salary']
row: ['Jack', '22', 'IT', '男', '8000']
row: ['Leo', '24', '销售', '女', '5000']
row: ['Marry', '28', '经理', '女', '16000']
====================运行结果================================
2、csv.writer 对象和 csv 文件写入
示例代码:
import csv
file_path = "E:\PythonProject\File_Test\\file02.csv"
header_info = ['id', 'name', 'class', 'score', 'sex']
row1 = ['001', '张三', '3班', '99', '男']
row2 = ['014', '李四', '6班', '70', '女']
row3 = ['023', 'Jack', '4班', '58', '男']
row4 = [('006', 'Leo', '2班', '83', '女'),
('008', 'Amy', '1班', '83', '女'),
('016', 'Seven', '3班', '83', '女')]
# 加上newline=''数据之间不会有空行
with open(r"{0}".format(file_path), "w", newline='') as file:
csv_obj = csv.writer(file) # 创建CSV对象
csv_obj.writerow(header_info)
csv_obj.writerow(row1)
csv_obj.writerow(row2)
csv_obj.writerow(row3)
csv_obj.writerows(row4) # 写入多行数据有加“s”的函数
八、os 和 os.path 模块
os 模块可以帮助我们直接对操作系统进行操作。我们可以直接调用操作系统的可执行 文件、命令,
直接操作文件、目录等等。是系统运维的核心基础。
1、os 模块-调用操作系统命令
os.system 可以帮助我们直接调用系统的命令
【注】Linux 是命令行操作更容易,我们可以通过 os.system 可以更加容易的调用相关的命 令;
2、os 模块-文件和目录操作
os 模块下常用操作文件的方法
os 模块下关于目录操作的相关方法,汇总如下:
3、os.path 模块
os.path 模块提供了目录相关(路径判断、路径切分、路径连接、文件夹遍历)的操作
4、walk()递归遍历所有文件和目录
os.walk()方法:
返回一个 3 个元素的元组:(dirpath, dirnames, filenames)
dirpath:要列出指定目录的路径
dirnames:目录下的所有文件夹
filenames:目录下的所有文件
5、shutil 模块(拷贝和压缩)
shutil模块是python标准库中提供的,主要用来做文件和文件夹的拷贝、移动、删除等;
还可以做 文件和文件夹的压缩、解压缩操作。
os模块提供了对目录或文件的一般操作。
shutil 模块作为补充,提供了移动、复制、压缩、解压等操作,这些os模块都没有提供。
示例代码:
import shutil
import zipfile
# copy文件内容
file_path = "E:\PythonProject\File_Test\\file02.csv"
file_path_bak = "E:\PythonProject\File_Test\\file02_bak.csv"
shutil.copy(file_path, file_path_bak)
# 实现递归的拷贝文件夹内容(使用 shutil 模块)
file_dir = "E:\PythonProject\File_Test\学习文件"
new_dir = "E:\PythonProject\File_Test\\new_move"
# 此时new_move文件夹不存在时才成能功
shutil.copytree(file_dir, new_dir, ignore=shutil.ignore_patterns("*.csv"))
# 实现将文件夹所有内容压缩(使用 shutil 模块)
# 把“学习文件”压缩到new_move文件夹下面(压缩文件名:move.zip)
shutil.make_archive(new_dir + '\move', "zip", file_dir) # 注意参数位置信息
# 压缩:将指定的多个文件压缩到一个 zip 文件
zip = zipfile.ZipFile(new_dir + "\\new.zip", "w")
file1 = "E:\PythonProject\File_Test\学习文件\\file01.txt"
file2 = "E:\PythonProject\File_Test\学习文件\\file02.csv"
zip.write(file1)
zip.write(file2)
zip.close()
# 解压缩
unzip = zipfile.ZipFile(new_dir + "\move.zip", "r")
unzip.extractall(new_dir + "\\new_zip") # 设置解压的地址
unzip.close()
6、递归算法
递归是一种常见的解决问题的方法,即把问题逐渐简单化。递归的基本思想就是“自己 调用自己”,
一个使用递归技术的方法将会直接或者间接的调用自己。 利用递归可以用简单的程序来解决一些复
杂的问题。比如:斐波那契数列的计算、汉诺 塔、快排等问题。
递归结构包括两个部分:
定义递归头:
解答:什么时候不调用自身方法。如果没有头,将陷入死循环,也就是递归的结束条件。
递归体:
解答:什么时候需要调用自身方法。
学习来自:北京尚学堂高琪老师 Python 400集