python文件操作知识

本篇目的：

博主为了更好的操作文件，避免每次都去找使用文件的相关操作，所以干脆总结一下，方便日后自己的查找！

1.文件的打开和关闭

open()函数

'''
open内置函数，open底层调用的是操作系统的接口
f1变量，又叫文件句柄
encoding :编码方式，windows默认gbk，linux和mac默认utf-8
mode:默认='r'
f1.close()关闭文件句柄
'''
f1 = open(r'd:\测试文件.txt', mode='r', encoding='utf-8')
content = f1.read()
print(content)
f1.close()

# or
# 使用with的好处：1.不用f1.close， 一个语句可以操作多个文件句柄
with open('文件操作的读', encoding='utf-8') as f1, \
        open('文件操作的写', encoding='utf-8', mode='w') as f2:
    print(f1.read())
    f2.write('hahaha')

绝对路径和相对路径
绝对路径：C:/Users/Python37/python.exe
相对路径：从当前文件所在的文件夹开始的路径

常用文件的访问模式
1、打开文件的模式有：


r 只读模式【默认模式，文件必须存在，不存在则抛出异常】
w 只写模式【不可读；不存在则创建；存在则清空内容在写入】
a 只追加写模式【不可读；不存在则创建；存在则只追加内容】

2、对于非文本文件，只能用b，读取到的内容是字节类型：


rb 以二进制读取
wb 以二进制写入
ab 以二进制追加

3、+模式


r+b 读写【可读，可写】
w+b 写读【可写，可读】
a+b 写读【可写，可读】

4、关于r+模式：打开一个文件用于读写，文件指针默认将会放在文件的开头。注意：如果在读写模式下，先写后读，那么文件就会出问题，因为默认光标是在文件的最开始，你要是先写，则写入的内容会将原内容覆盖掉，直到覆盖到你写完的内容，然后在从后面开始读取。

文件'其他模式'中的内容是：王副班最帅

#1. 先读后写
f1 = open('其他模式', encoding='utf-8', mode='r+')
content = f1.read()
print(content)
f1.write('Python开发者')
f1.close()

#2. 先写后读（错误实例）
f1 = open('其他模式', encoding='utf-8', mode='r+')
f1.write('Python开发者')
content = f1.read()
print(content)  # 最帅
f1.close()

2.文件的读取和写入

1.读取

read()全部读取出来:用rb模式打开，不用写encoding
readline() 读取一行。

f1 = open('文件操作的读', encoding='utf-8')
content = f1.read()
print(content, type(content))
f1.close()

f1 = open(r'C:\Users\lenovo\Desktop\编码进阶.png', mode='rb')
content = f1.read()
print(content)
f1.close()

f1 = open('文件操作的读', encoding='utf-8')
print(f1.readline().strip())  # lucy最帅
print(f1.readline())  # lucy很励志\n
f1.close()

readlines() 返回一个列表，列表中的每个元素是原文件的每一行。如果文件很大，占内存，容易崩盘。

f1 = open('文件操作的读', encoding='utf-8')
li = f1.readlines()
print(li)  # ['lucy最帅\n', 'lucy很励志\n', 'abcdef\n', '哈哈哈']
f1.close()

for 循环读取。文件句柄是一个迭代器。特点是每次循环只在内存中占一行的数据，非常节省内存。


f1 = open('文件操作的读', encoding='utf-8')
for line in f1:
    print(line.strip())
f1.close()

2.写入

w模式：没有文件，则创建文件，写入内容；如果文件存在，先清空原文件内容，在写入新内容。
wb模式

3.指针定位

tell()方法用来显示当前指针的位置


f = open('test.txt')
print(f.read(10))  # read 指定读取的字节数
print(f.tell())    # tell()方法显示当前文件指针所在的文字
f.close()
## seek(offset,whence)方法用来重新设定指针的位置
'''
offset:表示偏移量


whence:只能传入012中的一个数字。 


0表示从文件头开始


1表示从当前位置开始


2 表示从文件的末尾开始

'''

3.实现文件拷贝功能


import os

file_name = input('请输入一个文件路径:')
if os.path.isfile(file_name):
    old_file = open(file_name, 'rb')  # 以二进制的形式读取文件

    names = os.path.splitext(file_name)
    new_file_name = names[0] + '.bak' + names[1]

    new_file = open(new_file_name, 'wb')  # 以二进制的形式写入文件

    while True:
        content = old_file.read(1024)  # 读取出来的内容是二进制
        new_file.write(content)
        if not content:
            break

    new_file.close()
    old_file.close()
else:
    print('您输入的文件不存在')

4. CSV文件的读写

1.CSV文件的写入

import csv

# 以写入方式打开一个csv文件
file = open('test.csv','w')

# 调用writer方法，传入csv文件对象，得到的结果是一个CSVWriter对象
writer = csv.writer(file)

# 调用CSVWriter对象的writerow方法，一行行的写入数据
writer.writerow(['name', 'age', 'score'])

# 还可以调用writerows方法，一次性写入多行数据
writer.writerows([['zhangsan', '18', '98'],['lisi', '20', '99'], ['wangwu', '17', '90'], ['jerry', '19', '95']])
file.close()

2.CSV文件的读取

import csv

# 以读取方式打开一个csv文件
file = open('test.csv', 'r')

# 调用csv模块的reader方法，得到的结果是一个可迭代对象
reader = csv.reader(file)

# 对结果进行遍历，获取到结果里的每一行数据
for row in reader:
    print(row)

file.close()

5.将数据写入内存

除了将数据写入到一个文件以外，我们还可以使用代码，将数据暂时写入到内存里，可以理解为数据缓冲区。Python中提供了StringIO和BytesIO这两个类将字符串数据和二进制数据写入到内存里。

StringIO：StringIO可以将字符串写入到内存中，像操作文件一下操作字符串。


from io import StringIO

# 创建一个StringIO对象
f = StringIO()
# 可以像操作文件一下，将字符串写入到内存中
f.write('hello\r\n')
f.write('good')

# 使用文件的 readline和readlines方法，无法读取到数据
# print(f.readline())
# print(f.readlines())

# 需要调用getvalue()方法才能获取到写入到内存中的数据
print(f.getvalue())

f.close()

BytesIO：如果想要以二进制的形式写入数据，可以使用BytesIO类，它的用法和StringIO相似，只不过在调用write方法写入时，需要传入二进制数据。
```
from io import BytesIO

f = BytesIO()
f.write('你好\r\n'.encode('utf-8'))
f.write('中国'.encode('utf-8'))

print(f.getvalue())
f.close()
```

6.序列化和反序列化

序列化：将数据从内存持久化保存到硬盘的过程。
反序列化：将数据从硬盘加载到内存的过程。

Python中提供了JSON和pickle两个模块用来实现数据的序列化和反序列化。
json:将Python里的数据(str/list/tuple/dict)等转换成为对应的json。
pickle:将Python里任意的对象转换成为二进制。

JSON模块

使用JSON实现序列化

dumps方法的作用是把对象转换成为字符串，它本身不具备将数据写入到文件的功能。


import json
file = open('names.txt', 'w')
names = ['zhangsan', 'lisi', 'wangwu', 'jerry', 'henry', 'merry', 'chris']
# file.write(names)  出错，不能直接将列表写入到文件里

# 可以调用 json的dumps方法，传入一个对象参数
result = json.dumps(names)

# dumps 方法得到的结果是一个字符串
print(type(result))  # <class 'str'>

# 可以将字符串写入到文件里
file.write(result)

file.close()

dump方法可以在将对象转换成为字符串的同时，指定一个文件对象，把转换后的字符串写入到这个文件里。


import json

file = open('names.txt', 'w')
names = ['zhangsan', 'lisi', 'wangwu', 'jerry', 'henry', 'merry', 'chris']

# dump方法可以接收一个文件参数，在将对象转换成为字符串的同时写入到文件里
json.dump(names, file)
file.close()

使用JSON实现反序列化

loads方法需要一个字符串参数，用来将一个字符串加载成为Python对象。

import json

# 调用loads方法，传入一个字符串，可以将这个字符串加载成为Python对象
result = json.loads('["zhangsan", "lisi", "wangwu", "jerry", "henry", "merry", "chris"]')
print(type(result))  # <class 'list'>

load方法可以传入一个文件对象，用来将一个文件对象里的数据加载成为Python对象。


import json

# 以可读方式打开一个文件
file = open('names.txt', 'r')

# 调用load方法，将文件里的内容加载成为一个Python对象
result = json.load(file)

print(result)
file.close()

pickle模块

和json模块类似，pickle模块也有dump和dumps方法可以对数据进行序列化，同时也有load和loads方法进行反序列化。区别在于，json模块是将对象转换成为字符串，而pickle模块是将对象转换成为二进制。
使用pickle模块实现序列化

dumps方法将Python数据转换成为二进制


import pickle
names = ['张三', '李四', '杰克', '亨利']
b_names = pickle.dumps(names)
# print(b_names)
file = open('names.txt', 'wb')
file.write(b_names)  # 写入的是二进制，不是存文本
file.close()

dump方法将Python数据转换成为二进制，同时保存到指定文件

import pickle
names = ['张三', '李四', '杰克', '亨利']
file2 = open('names.txt', 'wb')
pickle.dump(names, file2)
file2.close()

使用pickle模块实现反序列化

loads方法，将二进制加载成为Python数据


import pickle
file1 = open('names.txt', 'rb')
x = file1.read()
y = pickle.loads(x)
print(y)
file1.close()

load方法，读取文件，并将文件的二进制内容加载成为Python数据


import pickle
file3 = open('names.txt', 'rb')
z = pickle.load(file3)
print(z)

JSON 和pickle的区别：
JSON

将对象转换成为字符串，不管是在哪种操作系统，哪种编程语言里，字符串都是可识别的。
json就是用来在不同平台间传递数据的
如果是一个自定义对象，默认无法装换成为json字符串，需要手动指定JSONEncoder。
pickle
pickle序列化是将对象按照一定的规则转换成为二进制保存，它不能跨平台传递数据。
pickle的序列化会将对象的所有数据都保存