实战——制作文本爬虫
目标网站:http://www.jikexueyuan.com/
目标内容:课程图片
实现原理:
1.保存网页源代码
2.Python读文件加载源代码
3.正则表达式提取图片网址
4.下载图片
#-*-coding:utf8-*-
import re
import requests
#读取源代码文件
f = open('source.txt','r')
html = f.read()
f.close()
#匹配图片网址
pic_url = re.findall('img src="(.*?)" class="lessonimg"',html,re.S)
i = 0
for each in pic_url:
print 'now downloading:' + each
pic = requests.get(each)
fp = open('pic\\' + str(i) + '.jpg','wb')
fp.write(pic.content)
fp.close()
i += 1
从极客网主页的“审查元素”中复制包含图片的内容到source.txt中!!!