一、爬取京东商品
话不多说直接上代码
import requests
url="https://item.jd.com/2967929.html"
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[:1000])#截取前1000个字符
except:
print("爬取异常")
运行结果如下
二、亚马逊商品页面爬取
这里不同于第一个例子的是,多了个headers参数,我们不伪装user-agent,爬取不到正确的亚马孙网页。,这个大家可以自己尝试下。
import requests
url = "http://www.amazon.cn/gp/product/B01M8L5Z3Y"
#Mozilla/5.0就是告诉服务器我用的正规的浏览器
hd={'user-agent':'Mozilla/5.0'}
try:
r=requests.get(url,headers = hd)
r.raise_for_status()
r.encoding = r.apparent_encoding
#print(r.request.headers)
print(r.text[1000:2000])
except:
print("爬取异常")
三、百度360搜索关键词提交
给出百度搜索的全代码(只打印了搜索内容的大小),360的和百度的类似只需要把wd改成q,把url改成360搜索对应的url就可以了
url="http://www.baidu.com"
keyword = "Python"
kv={'wd':keyword}
try:
r = requests.get(url,params=kv)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.request.url)
print(len(r.text))
except:
print("爬取异常")
四、网络图片的爬取与存储
简单版代码
import requests
#保存的位置
path = "D:\Python/a.jpg"
url = "http://image.nationalgeographic.com.cn/2017/0211/20170211061910157.jpg"
r = requests.get(url)
#将二进制格式保存为文件
with open(path,'wb') as f:
f.write(r.content)
f.close()
对代码进行优化
实现一个功能,方法有很多,但是代码的稳定性就很重要了
import requests
import os
#保存的根目录
root = "D://Python//"
url = "http://image.nationalgeographic.com.cn/2017/0211/20170211061910157.jpg"
#根目录加url里最后一个/后面的内容,其实就是图片的名字(-1就是最后一个的意思)
path = root + url.split('/')[-1]
try:
#判断当前根目录是否存在,如果不存在就创建这样的根目录
if not os.path.exists(root):
os.mkdir(root)
#判断文件是否存在,如果不存在,则通过requests.get方式从网上获取文件
if not os.path.exists(path):
r = requests.get(url)
#因为图片视频不是字符串方式能显示的,所以只能用b的方式来,b表示byte类型,w表示只写模式
with open(path,'wb') as f:
f.write(r.content)
f.close()
print('文件保存成功')
else:
print('文件已存在')
文件权限w,r,w+,r+,a,a+;如果有兴趣的,可以看一些这篇博客
https://blog.csdn.net/beifangdefengchuilai/article/details/79592454
五、IP地址归属地的自动查询
ip183网站,可以查询IP
import requests
url = "http://m.ip138.com/ip.asp?ip="
try:
r = requests.get(url+'202.204.80.112')
r.raise_for_status()
r.encoding=r.apparent_encoding
#[-500:]表示最后500个字符
print(r.text[-500:])
except:
print("爬取失败")