every blog every motto: I’m gonna make him an offer he can’t refuse
前言：
使用Beautiful Soup 遇到的问题小结
环境： python3.7 + window专业版
库： bs4
所需知识： python基础语法、
状态： 本博文已完善。2019.7.27
一、使用Beautiful Soup
相较于正则表达式的繁琐，Beautiful Soup 更加简洁高效，可在使用过程中也遇到了一些小问题。
为了防止IP被封，我一般会先将网页源码保存下来，然后在尝试着匹配，等匹配函数写完后，在一并运行。这样可以降低IP被封的可能。
1. 问题：
我尝试将保存两页网页下来后，每次运行只能提取到 第一页 的信息。经过不断测试，最终发现原因。
2. 测试
2. 1使用Beautiful Soup测试代码如下：
html = """
<html>
<p class="vv">1</p>
<p class="vv">2</p>
</html>
<html>
<p class="vv">3</p>
<p class="vv">4</p>
</html>
"""
# 使用Beautiful Soup 提取
soup = BeautifulSoup(html,'lxml')
b = soup.find_all(attrs={'class':'vv'})
print(b)
print(len(b))
2.2 运行结果：
[<p class="vv">1</p>, <p class="vv">2</p>]
2
2.3 使用Xpath测试代码如下：
html = """
<html>
<p class="vv">1</p>
<p class="vv">2</p>
</html>
<html>
<p class="vv">3</p>
<p class="vv">4</p>
</html>
"""
# 使用xpath 提取
html = etree.HTML(html)
result = html.xpath('//*[@class="vv"]')
for i in result:
c = etree.tostring(i)
print(c.decode('utf-8'),end='')
2.5 运行结果如下：
<p class="vv">1</p>
<p class="vv">2</p>
<p class="vv">3</p>
<p class="vv">4</p>
3. 分析
通过以上对比，可以发现，使用xpath提取可以得到想要的结果，使用Beautiful Soup 只能提取前面两个。通过仔细对比网页源码，即html字符串，可以发现，Beautiful Soup 只能提取第一个html标签对的文字。
如果保存网页源码，那么只能提取第一页的信息，也就不难理解了。
参考文献
无
