数据存储之Python操作非关系型数据库MongoDB

原创不易，转载前请注明博主的链接地址：Blessy_Zhu https://blog.csdn.net/weixin_42555080
本次代码的环境：
运行平台： Windows
Python版本： Python3.x
IDE： PyCharm

一概述

前面这四篇博客数据存储之文件存储（一）-TXT文件存储，数据存储之文件存储（二）-JSON文件存储，数据存储之文件存储（三）-CSV文件存储，数据存储之Python操作关系型数据库MySQL讲了数据保存为文本格式的三个方法：JSON文件存储、TXT文件存储、CSV文件存储，Python如何操作如MySQL这样的关系型数据库。这篇文章主要讲的是如何对非关系型数据进行数据的CRUD操作。非关系型数据库有很多种，比较常见的有：Redis、MongoDB等。

非关系型数据库，又被称为NoSQL（Not Only SQL )，意为不仅仅是SQL（ Structured Query Language，结构化查询语言),NoSQL是基于键值对的关系，而且不需要经过SQL层的解析，数据之间没有耦合度，性能较高。

相比于关系型数据库，非关系型数据库更适合存取爬虫数据。因为对于爬虫数据而言，每条数据可能会存在一些属性字段的提取失败而缺失，另外，数据之间如果存在嵌套关系，需要进行序列化才能存储。这样使用非关系型数据库可以解决这样的问题。

二 Python操作MongoDB

非关系型数据库比较多，这里介绍比较常用的MongoDB数据库进行探究。首先，确保自己电脑上安装了MongoDB数据库，可参考博客MongoDB的可视化工具MongoBooter和MongoDB数据库的下载与安装
如果安装完毕，接下来，开始正式的学习Python操作MongoDB。

2.1 插入insert_one()和insert_many()

import pymongo
client = pymongo.MongoClient(host = 'localhost',port = 27017)
db = client.test
collection = db.students
student = {
    'id' : '001',
    'name':'Jordan',
    'age':20,
    'gender':'male'
}
result = collection.insert_one(student)
print(result)

结果：下图1是MongoDB中的数据存储，图2是Pycharm中的输出。
　

图1
　

图2

根据上面的代码，进行讲解：

首先第一步肯定是链接MongoDB数据库，这是需要连接MongoDB时，使用PyMongo库里面的MongoClient。一般来说，传人MongoDB的IP及端口即可，其中第一个参数为地址host,第二个参数为端口port (如果不给它传递参数，默认是27017):import pymongo client = pymiongo.MongoClient(host= ' localhost', port=27017)
这样就可以创建MongoDB的连接对象了。另外，MongoClient 的第一个参数host还可以直接传人MongoDB的连接字符串，它以mongodb开头，例如:client = pymongo.MongoClient('mongodb://localhost:27017/')
这也可以达到同样的连接效果。
接着开始指定数据库，也就是相当于在MySQL中建立数据库。db = client.test这里调用client的test属性即可返回test 数据库。也可以这样指定db = client['test']这两种方式是等价的。
然后，制定集合，所谓集合就是相当于关系型数据库中的数据表。这里定义的是students集合。它也有两种指定collection = db.students 和 collection = db['students']也是等价的。
最后插入数据：这里指定了学生的学号、姓名、年龄和性别。接下来，直接调用collection的insert_one()方法即可插人数据，代码如下:result = collection. insert_one(student)print(result)
在MongoDB中,每条数据其实都有一个id属性来唯一标识。如果没有显式指明该属性,MongoDB会自动产生一个InsertOneResult对象，可以调用器inserted_id属性获取id值,如上图2所示。其实以前的插入函数是insert()方法，返回的是一个ObjectId类型的id属性。insert()方法会在执行后返回 id值。
当然也可以插入多条数据，只需要以列表的形式传递即可：

......
student1 = {
    'id' : '001',
    'name':'Jordan',
    'age':20,
    'gender':'male'
}
student2 = {
    'id' : '002',
    'name':'Tom',
    'age':21,
    'gender':'male'
}
.......
result = collection.insert_many([student1,student2])
print(result)
print(result.inserted_ids)

输出结果是：
　

这里面需要注意的是，插入使用的是insert_many()方法，他的返回类型是InsertManyResult，调用inserted_ids属性可以获取插入数据的id列表。

2.2 删除delete_one()和delete_many()

result = collection.delete one({'name': .' Tom' })
print(result)
print(result. deleted_ count)
result = collection.delete_ many({'age': {'$lt': 20}})
print(result.deleted_ count)

delete_ one() 即删除第一条符合条件的数据，delete_ many()即删除所有符合条件的数据。它们的返回结果都是DeleteResult类型，可以调用deleted_count 属性获取删除的数据条数.
这里面涉及到{'age': {'$lt': 20}}的判断条件。比较符归纳如下：

符号	含义
$lt	小于
$gt	大于
$lte	小于等于
$gte	大于等于
$ne	不等于
$in	在范围内
$nin	不在范围内

2.3 查找find_one和find()

插人数据后，我们可以利用find one()或 find()方法进行查询，其中find one()查询得到的是单个结果，find()则返回一个生成器对象。示例如下:

import pymongo
client = pymongo.MongoClient(host = 'localhost',port = 27017)
db = client.test
collection = db.students
result = collection.find_one({'name':'Tom'})
print(type(result))
print('One is:',result)
results = collection.find({'gender':'male'})
print(results)
for res in results:
    print(res)

结果如图3是Pycharm中的输出，图4是MongoDB中已经存入的数据。：
　

图3
　

图4

从这里可以看出，其查询结果依然会死字典类型，对于多条数据的查询返回结果是Cursor类型，相当一个生成器，需要遍历取到所有的结果，每个结果都是字典类型。

2.4 修改update_one()和update_many()

更新也分为update_one()和update_many(),其用法更加严格，他们的第二个参数需要用$类型操作符作为字典的键名，示例：

import pymongo
client = pymongo.MongoClient(host = 'localhost',port = 27017)
db = client.test
collection = db.students
condition = {'name':'Tom'}
student = collection.find_one(condition)
student['age'] = 25
result = collection.update_one(condition,{'$set':student})
print(result)
print(result.matched_count,result.modified_count)

结果：如下图5是原来数据库中的数据，修改之后变为图6的数据，图7是Pycharm中的输出。
　

图5
　

图6

图7

这里调用了update_one()方法，第二个参数不能再直接传人修改后的字典，而是需要使用{’$set’:student}这样的形式，其返回结果是UpdateResult类型。然后分别调用matched_count 和modified _count属性，可以获得匹配的数据条数和影响的数据条数。update_many()方法，用法一样，它是更新所有的符合条件的数据。

2.5 count()、sort()、skip()

count():统计查询结果有多少条数据
sort():排序
skip():如果只想取某几个元素，利用skip()方法获得偏移位置，比如偏移为2，就忽略前两个元素，得到第三个及以后的数据。

三总结

这篇文章主要讲了Python操作非关系型数据库MongoDB，包括链接数据库、创建数据库数据表、往数据库里面插入数据、更新数据库、删除和查询数据库。以上内容参考资料：夏敏捷《Python程序设计-从基础到开发》，崔庆才《Python3 网络爬虫开发实战》，[挪]芒努斯·利·海特兰德(Magnus Lie Hetland)《Python基础教程第3版 Python编程从入门到实践》，并对以上作者表示感谢。这篇文章就到这里了，欢迎大佬们多批评指正，也欢迎大家积极评论多多交流。
　