学习如何存储你爬取的数据(2)

之前我写过学习如何存储你爬取的数据这一篇文章，学习如何使用sqlite3来读取数据库，用来操作.db文件，这种操作对比今天要学习的存取方式，略显复杂。在我们日常简单的数据爬取工作中，可能只需要把它存在excel文件里面即可，今天就来了解下如何把你爬取的数据存储在excel文件中

欢迎关注公众号：老白和他的爬虫

今天我就话不多说，直接跟着代码来学习吧！我帮你封装好了，你可以选择在你需要存储数据的时候拿来用

import xlrd
import xlwt
from xlutils.copy import copy
 
def write_excel_xls(path, sheet_name, value):
    index = len(value)  # 获取需要写入数据的行数
    workbook = xlwt.Workbook()  # 新建一个工作簿
    sheet = workbook.add_sheet(sheet_name)  # 在工作簿中新建一个表格
    for i in range(0, index):
        for j in range(0, len(value[i])):
            sheet.write(i, j, value[i][j])  # 像表格中写入数据（对应的行和列）
    workbook.save(path)  # 保存工作簿
    print("xls格式表格写入数据成功！")
 
 
def write_excel_xls_append(path, value):
    index = len(value)  # 获取需要写入数据的行数
    workbook = xlrd.open_workbook(path)  # 打开工作簿
    sheets = workbook.sheet_names()  # 获取工作簿中的所有表格
    worksheet = workbook.sheet_by_name(sheets[0])  # 获取工作簿中所有表格中的的第一个表格
    rows_old = worksheet.nrows  # 获取表格中已存在的数据的行数
    new_workbook = copy(workbook)  # 将xlrd对象拷贝转化为xlwt对象
    new_worksheet = new_workbook.get_sheet(0)  # 获取转化后工作簿中的第一个表格
    for i in range(0, index):
        for j in range(0, len(value[i])):
            new_worksheet.write(i+rows_old, j, value[i][j])  # 追加写入数据，注意是从i+rows_old行开始写入
    new_workbook.save(path)  # 保存工作簿
    print("xls格式表格【追加】写入数据成功！")
 
 
def read_excel_xls(path):
    workbook = xlrd.open_workbook(path)  # 打开工作簿
    sheets = workbook.sheet_names()  # 获取工作簿中的所有表格
    worksheet = workbook.sheet_by_name(sheets[0])  # 获取工作簿中所有表格中的的第一个表格
    for i in range(0, worksheet.nrows):
        for j in range(0, worksheet.ncols):
            print(worksheet.cell_value(i, j), "\t", end="")  # 逐行逐列读取数据
        print()
 
if __name__ == "__main__": 
    book_name_xls = '/Users/Desktop/python/weiboTest.xls'     #存放你的Excel地址，没有文件会自动创建
    sheet_name_xls = '微博数据精选'     #给sheet表格命名
    value_title = [["rid", "用户名称", "微博等级", "微博内容", "微博转发量","微博评论量","微博点赞","发布时间"],]
    write_excel_xls(book_name_xls, sheet_name_xls, value_title)    
    value1 = [["1", "Mix篮球", "微博个人认证","#NBA吐槽大会# 麦基：詹姆斯你这骗子～[doge]", "42", "32","562","3月30日 15:37 来自 iPhone X(银色)"],
              ["2", "Mix篮球", "微博个人认证","#NBA吐槽大会# 麦基：詹姆斯你这骗子～[doge]", "42", "32","562","3月30日 15:37 来自 iPhone X(银色)"],
              ["3", "Mix篮球", "微博个人认证","#NBA吐槽大会# 麦基：詹姆斯你这骗子～[doge]", "42", "32","562","3月30日 15:37 来自 iPhone X(银色)"],]     
    value2 = [["1", "考研动态", "微博官方认证", "为了考研太拼命了，不过好像努力错方向了吧。[二哈][二哈][允悲] ", "92","469","2619","3月31日 20:19 来自 iPhone客户端"],
              ["1", "考研动态", "微博官方认证", "为了考研太拼命了，不过好像努力错方向了吧。[二哈][二哈][允悲] ", "92","469","2619","3月31日 20:19 来自 iPhone客户端"],
              ["1", "考研动态", "微博官方认证", "为了考研太拼命了，不过好像努力错方向了吧。[二哈][二哈][允悲] ", "92","469","2619","3月31日 20:19 来自 iPhone客户端"],]    
    write_excel_xls(book_name_xls, sheet_name_xls, value_title)
    write_excel_xls_append(book_name_xls, value1)
    write_excel_xls_append(book_name_xls, value2)

你只需要变换存储地址和数据格式，就可以拿来存储你的数据

最后，关注一波吧

学习如何存储你爬取的数据(2)

猜你喜欢