工作中需要用到3gpp,各个系列用到的文件比较多,一个一个找又很麻烦。
干脆一不做二不休,全部打包!
平台:
Python3.5
直接上代码:
'''
Python爬取3gpp协议R13版本所有文本
将爬取的.zip文件按照3gpp网站http://www.3gpp.org/ftp/Specs/latest/Rel-13/
内容进行自动分类。
'''
import urllib.request #获取URL文本
import re,os #正则表达式匹配URL及.zip文件
#设置起始URL.
start_url = 'http://www.3gpp.org/ftp/Specs/latest/Rel-13/'
#爬取网页内容保存到conentNet字符串中.
with urllib.request.urlopen(start_url) as f:
contentNet = f.read().decode('utf-8')
#解析R13协议的所有系列:['/21_series','/22_series'.....'/55_series']
list_Parser = re.findall(r'/[0-9]{2}.series',contentNet)
#解析得到所有.zip文件的URL绝对地址
list_path = []
list_File = []
list_Zip = []
list_URL = []
for i in list_Parser:
i2 = i.strip('/')
list_File.append(i2)
for i in list_Parser:
i2 = start_url+i.strip('/')
list_path.append(i2)
for i in list_path:
with urllib.request.urlopen(i) as f:
contentURL = f.read().decode('utf-8')
list_Zip = re.findall(r'/[0-9]{5}.*?\.zip',contentURL)
for m_zip in list_Zip:
i2 = i+m_zip
list_URL.append(i2)
#建立series文件夹,如果文件不存在的话。
for i in list_File:
if not os.path.exists(i):
os.makedirs(i)
#下载所有.zip文件到指定的文件夹...
for i in list_URL:
os.chdir('E:\\Code\\python\\3gppData\\' + i.split('/')[-2])
#支持断点续传;
if os.path.exists(i.split('/')[-1]):
continue
else:
urllib.request.urlretrieve(i, i.split('/')[-1])
#TODO 导入线程模块,开启多线程解决单线程下载慢问题。