xpath:跟re,bs4,pyquery一样,都是页面数据提取方法。
xpath是根据元素的路径来查找页面元素。
安装lxml包:pip install lxml
HTML实例:
html = """ <div id='content'> <ul class='list'> <li class='one'>One</li> <li class='two'>Two</li> <li class='three'>Three</li> <li class='four four1 four2 four3'>Four</li> <div id='inner'> <a href='http://www.baidu.com'>百度一下</a> <p>第一段</p> <p>第2段</p> <p>第3段</p> <p> 第4段 <span>法大师傅大师傅</span> </p> <p>第5段</p> <p>第6段</p> </div> </ul> </div> """
将一个Html文件解析成为对象:
obj = etree.parse('index.html')
obj = etree.fromstring(html) # 将一个Html文件解析成为对象。 # obj = etree.parse('index.html') print(type(obj)) # //ul: 从obj中查找ul,不考虑ul所在的位置。 # /li: 找到ul下边的直接子元素li,不包含后代元素。 # [@class="one"]: 给标签设置属性,用于过滤和筛选 # xpath()返回的是一个列表 one_li = obj.xpath('//ul/li[@class="one"]')[0] # 获取one_li的文本内容 print(one_li.xpath('text()')[0]) # 上述写法的合写方式 print(obj.xpath('//ul/li[@class="one"]/text()')[0]) # 获取所有li的文本内容:all_li = obj.xpath('//ul/li/text()') # 获取所有li的文本内容以及class属性的值 all_li = obj.xpath('//ul/li') for li in all_li: class_value = li.xpath('@class')[0] text_value = li.xpath('text()')[0] print(class_value, text_value) # 获取div标签内部的所有文本 # //text():获取所有后代元素的文本内容 # /text():获取直接子元素的文本,不包含后代元素 print(obj.xpath('//div[@id="inner"]//text()')) # 获取ul中第一个li [1]: 位置 print(obj.xpath('//ul/li[1]/text()')) # 查找类名中包含four的li的文本内容 print(obj.xpath('//ul/li[contains(@class, "four")]/text()'))