首先,需要导入这两个库:
import requests
from bs4 import BeautifulSoup
然后,确定要爬取的网站的URL,并使用requests.get()
方法发送请求:
url = "https://www.example.com"
response = requests.get(url)
接下来,可以通过response.content
属性获取响应内容,并使用BeautifulSoup库将其解析为HTML:
python复制插入
soup = BeautifulSoup(response.content, 'html.parser')
现在,可以使用BeautifulSoup提供的方法从HTML中获取所需的数据。例如,可以使用find_all()
方法查找所有的链接:
links = soup.find_all('a')
for link in links:
print(link.get('href'))
此外,还可以使用find()
方法查找单个元素,以及使用CSS选择器语法查找元素。更多关于BeautifulSoup库的用法,请参考官方文档。
最后,别忘了添加异常处理以应对可能出现的网络错误:
try:
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
# 其他操作
except requests.exceptions.RequestException as e:
print(e)
完整代码示例:
import requests
from bs4 import BeautifulSoup
url = "https://www.example.com"
try:
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
links = soup.find_all('a')
for link in links:
print(link.get('href'))
except requests.exceptions.RequestException as e:
print(e)
复制插入