# -*- encoding:utf-8 -*-
# 方法一,使用urllib.urlretrieve() 方法直接将远程数据下载到本地
import requests
from bs4 import BeautifulSoup
import urllib
import os
#把豆瓣搜索,明星在地址栏,对应的那个数字,填入下面str()的括号内
address = str(1274477)
# 设置获取网页内容的函数
def getHtml(index,number):
# url = "https://movie.douban.com/celebrity/1004572/photos/?type=C&start="+str(index)
url = "https://movie.douban.com/celebrity/"+number+"/photos/?type=C&start=" + str(index)
r = requests.get(url,{"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"})
soup = BeautifulSoup(r.text,"html.parser")
return soup
# 设置全局images变量
images = []
# 获取首页的图片数量
imgLen = len(getHtml(0,address).find('ul', attrs={'class': "poster-col3 clearfix"}).find_all('img'))
# 设置处理网页内容的函数
def getImages(pageNum,name,number):
#创建文件夹
if os.path.exists(name):
os.rmdir("photos")
else:
os.mkdir(name)
os.chdir(name)
global address,images,imgLen
for k in range(pageNum):
# 1、存储soup对象
eachsoup = getHtml(k*imgLen,number)
# 2、获取图片列表父元素
imageList = eachsoup.find('ul', attrs={'class': "poster-col3 clearfix"})
# 3、获取所有image
# 通过extend方法,还是一个list,如果用append会是多个list,下面的循环的就要额外处理了
images.extend(imageList.find_all('img'))
#3、用循环处理所有li内的具体内容
for i in range(len(images)):
try:
#获取图片后缀名,防止真实网址图片为png,jpg,gif等格式
suffix = images[i]['src'][-3:]
image_name = str(i+1)+'.'+suffix
urllib.request.urlretrieve(images[i]['src'],image_name)
except Exception:
print('存储有异常')
return
# 在这里可以控制存储几页,只需要在下面的getImages(1,'liyifei',adress)的数字位置更改就行,1就是存一页图片,2就是存两页
#然后第二个位置填的是存储的文件夹的名字。注意,暂时你们就用拼音,并且用英文的引号引起来,不能有汉字,
# 再次运行,要用不同的文件夹名字,否则运行不了。
#当然这些问题,在后期都可以改善,咱们在这运行简单版的
getImages(1,'huge',address)
使用BeautifulSoup方法获取豆瓣网页图片并保存图片到本地
猜你喜欢
转载自blog.csdn.net/qq_42379006/article/details/80643634
今日推荐
周排行