你知道我们中国有多少个高校吗,你知道它的排名吗,你知道它在哪个地址吗,如果你不知道,那么下面Python爬虫教你知道!
获取网页
#这个只用到了requests 和 bs4
#爬取大学排名
import requests
from bs4 import BeautifulSoup as bs
import time
def grthtml(url):
demo=requests.get(url)
demo.encoding=demo.apparent_encoding#编码解码,常用方法
demo=demo.text#返回一个text文本信息
return(demo)
encoding是从http中的header中的charset字段中提取的编码方式,若header中没有charset字段则默认为ISO-8859-1编码模式,则无法解析中文,这是乱码的原因
apparent_encoding会从网页的内容中分析网页编码的方式,所以apparent_encoding比encoding更加准确。当网页出现乱码时可以把apparent_encoding的编码格式赋值给encoding。
解析网页
def listhtml(ulist,html):
soup=bs(html,"html.parser")
soup=soup.tbody
for tr in soup("tr"):
tds=tr("td")
ulist.append([tds[0].string,tds[1].string,tds[2].string])
打印信息
def pmhtml(ulist,num):
print("2020年中国大学排名")
print('{0:^10}\t{1:{3}^7}\t{2:^10}'.format("排名","校名","地址",chr(12288)))
for i in ulist[0:num]:
print("{0:^10}\t{1:{3}^10}\t{2:^10}".format(i[0],i[1],i[2],chr(12288)))
主函数
if __name__=="__main__":
time.sleep(3)
url="http://www.zuihaodaxue.cn/zuihaodaxuepaiming2020.html"
html=grthtml(url)
uinfo=[]
listhtml(uinfo,html)
num=int(input())
pmhtml(uinfo,num)
看看效果吧
代码进阶
可以思考一下,如果我把所有查找到的信息储存为一个字典,然后自己可以查找,学校,自动就出来它的一系列信息,这样才更方便!这个工作就留给大家了,你们做好了,可以来文章下面打卡留言哟!!!!