本部分参考:MOOC课程:嵩天
主要内容:爬虫获取html格式的简单方法
1.爬虫的基础
2.爬虫的最简单框架
import requests try: r = requests.get("https://baidu.com") r.encoding = r.apparent_encoding print(r.text) except: print("爬取失败")
但是,我们知道,有些网站是会查看你的user agent,如果你不是浏览器,就会阻止你访问。
解决方法:
import requests url = "某网址" try: kv = {"user-Agent":'Mozilla/5.0'} r = requests.get(url,headers=kv) r.raise_for_status() r.encoding = r.apparent_encoding print(r.text[1000:2000]) except: print("爬取失败")
3.爬虫的五个简单实例
1.模拟百度搜索
# 百度搜索 import requests keyword = input('输入搜索关键字:') try: kv = {'wd':keyword} r = requests.get("http://www.baidu.com/s",params=kv) print(r.request.url) r.raise_for_status() print(len(r.text)) r.encoding = r.apparent_encoding print(r.text[1000:2000]) except: print("爬取失败")
2.IP地址查询
# IP地址 import requests url = "http://m.ip138.com/ip.asp?ip=" adr = input('请输入类似202.205.80.112的地址:') try: r = requests.get(url+adr) r.raise_for_status() r.encoding = r.apparent_encoding print(r.text[-500: ]) except: print("爬取失败")
3.图片爬取
# 定向获取图片 import requests import os url = "http://zsw.bjtu.edu.cn/data/upload/ueditor/20160511/5732dd92e02cf.jpg" root = "E://markdown//" path = root+url.split('/')[-1] # 这里的path不能和root一样 if not os.path.exists(root): os.mkdir(root) r = requests.get(url) with open(path,'wb') as f: f.write(r.content) f.close() print('图片爬取成功')