Chapter08 | 使用Python库抽取
一、基础知识点
1、Xpath
- XML路径语言(XML Path Language,XPath)是一种用来确定XML文档中某部分位置的语言
- 基于XML的树形结构,提供在数据结构树中找寻节点的能力
- Xpath可以用来标记XML和HTML语言的某一部分
xml格式示例:
与正则表达式相同,Xpath拥有自己的语法规则
在Xpath语言中,XML/HTML文档被称为节点数
- HTML语言的标签可以看作树的节点
Xpath表达式可以用来检索标签内容:
获取标签的所有class属性: //div/@class
2、DOM树
- 基于DOM,会载入整个HTML文档,并解析整个DOM树
- HTML是分层的,由标签、属性、数据组成,这些元素整体构成一颗DOM树,如下图:
- DOM树中每个节点都是一个元素,一个元素可以有自己的属性,也可以包含若干个子元素
二、信息抽取
基于Xpath和Dom树两个基础知识,可以使用python库进行针对性的信息抽取 Python语言中处理XML和HTML的第三方库:
- Lxml
- Beautifulsoup4
1、lxml
lxml是Python语言中处理XML和HTML的第三方库
- 底层封装C语言编写的libxml2和libxslt包
- 提供简单有效的Python API
- 官方文档:https://lxml.de/
从网络爬虫的角度来看,我们关注的是lxml的文本解析功能
在iPython环境中,使用lxml:from lxml import etree
根据目标文本的类型,lxml提供不同的函数来去解析:
- fromstring():解析字符串
- HTML():解析HTML类型对象
- XML():解析XML类型对象
- parse():解析文件类型对象
1.1、使用HTML()函数进行文本读取
from lxml import etree
data = """
<!DOCTYPE html>
<html>
<head>
<meta charset = "UTF-8">
<meta http-equiv="X-UA-Compatible"content="IE = edge">
...
<script src = "/static/js/pageJs/courses-list.js"></script>
</body>
</html>
"""
page = etree.HTML(data.encode("utf-8"))
- lxml中使用Xpath来去匹配内容
- Xpath的功能与正则表达式类似
- Xpath是一种查看XML文档内容的路径语言,定位文档中的节点位置
获取网页标题中a标签的内容:
//div//li//a/text()
hrefs = page.xpath("//div//li//a/text()")
print()
for href in hrefs:
print(href)
1、获取网页中的所有链接(绝对链接和相对链接)
以百度百科为例:
import requests
from lxml import etree
s=requests.session()
s.headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:73.0) Gecko/20100101 Firefox/73.0'}
page=s.get('https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB').content.decode("utf-8")
html = etree.HTML(page)
hrefs = html.xpath("//a/@href")
for href in hrefs:
print(href)
上面取出了百度百科中的所有链接。
得出的链接包括绝对链接和相对链接。
2、获取网页内部所指向的链接
import requests
from lxml import etree
s=requests.session()
s.headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:73.0) Gecko/20100101 Firefox/73.0'}
page=s.get('https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB').content.decode("utf-8")
html = etree.HTML(page)
hrefs = html.xpath("//div[@class=\"para\"]/a/@href")
for href in hrefs:
print(href)
3、获取网页内的文字
import requests
from lxml import etree
s=requests.session()
s.headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:73.0) Gecko/20100101 Firefox/73.0'}
page=s.get('https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB').content.decode("utf-8")
html = etree.HTML(page)
hrefs = html.xpath("//div[@class=\"para\"]/text()")
for href in hrefs:
print(href)
2、BeautifulSoup
BeautifulSoup是Python语言中另一种解析XML/HTML的第三方解析库:
- 处理不规范标记并生成分析树(parse tree)
- 提供简单常用的导航,搜索以及修改分析树的操作功能
从网页中提取内容的方法:
正则表达式:
- 缺点:编写困难,难以调试,无法体现网页结构
BeautifulSoup:
- 优点:使用简单,调试方便,结构清晰
2.1、BeautifulSoup的好处
- 提供python式的函数用来处理导航、搜索、修改分析树等功能
- 自动将输入编码转换为Unicode,输出编码转换为utf-8
- 为用户提供不同的解析策略或强劲的速度
- 相比正则解析,降低学习成本
- 相比Xpath解析,节约时间成本
2.2、解析器
BeautifulSoup支持不同的解析器:
- HTMLParser:这是Python内置的HTML解析器,纯Python实现,效率较低
- lxml:用C语言实现的HTML和XML解析器,速度很快,容错能力强(强烈安利)
- html5lib:以浏览器的方式解析文档,生成HTML5格式的文档,容错性很好,但速度较慢
lxml作为bs4的一部分,是BeautifulSoup官方推荐的解析库
给BeautifulSoup的构造函数传递一个字符串或文件句柄,就可以解析HTML:
2.3、节点类型
BeautifulSoup将DOM树中每个节点都表示成一个对象
这些节点对象可以归纳为以下几种:
- Tag:HTML中的标签。一个Tag可以包含其他Tag或NavigableString
- NavigableString:BeautifulSoup用NavigableString类来包装Tag中的字符串,是一个特殊的节点,没有子节点
- Comment:NavigableString的子类,表示HTML文件中的注释
- BeautifulSoup:整个DOM树的类型
BeautifulSoup的关键是学习操作不同的节点对象
下面的代码展示不同的节点类型:
还是以百度百科为例:
1、获取类型
import requests
from bs4 import BeautifulSoup as bs
s=requests.session()
s.headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:73.0) Gecko/20100101 Firefox/73.0'}
page=s.get('https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB').content.decode("utf-8")
html = bs(page)
print(type(html))
print(type(html.html))
print(type(html.title.string))
2、获取网页
import requests
from bs4 import BeautifulSoup as bs
s=requests.session()
s.headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:73.0) Gecko/20100101 Firefox/73.0'}
page=s.get('https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB').content.decode("utf-8")
html = bs(page)
paras = html.find_all(class_="para")
for para in paras:
print(para)
3、获取网页相对链接
s=requests.session()
s.headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:73.0) Gecko/20100101 Firefox/73.0'}
page=s.get('https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB').content.decode("utf-8")
html = bs(page)
paras = html.find_all(class_="para")
for para in paras:
for a in para("a"):
if a.has_attr('href'):
print(a["href"])
2.4、标签定位
- 使用"soup."+标签名字定位标签的方法,只能选择第一个满足条件的节点
- Find_all()方法能返回所有满足条件的标签的列表
find_all(name,attrs,recursive,text,**kwargs)
标签定位的依据
- 按标签名称定位
- 按属性定位
- 按文本内容定位
- 用正则表达式和自定义函数定位
1、按标签名称定位
2、按属性定位
3、按文本内容定位
4、用正则表达式和自定义函数定位
2.5、数据提取
1、获取标签中的属性值
2、获取标签中的文本
eg:
import requests
from bs4 import BeautifulSoup as bs
s=requests.session()
s.headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:73.0) Gecko/20100101 Firefox/73.0'}
page=s.get('https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB').content.decode("utf-8")
html = bs(page)
paras = html.find_all(class_="para")
for para in paras:
print(para.text)
- 使用find(0函数来缩小匹配目标文本的范围,定位标签
- 使用find_all()函数来搜索div标签下所有li标签的内容