【python54--爬虫2】

1、有道翻译

 
 
'''
|-- 代码思路解析:
|-- 1、拿到网址首先查看network内Headers的:Request URL;User-Agent;From Data,这几个就是代码所需要的url地址和接口所需要传入的参数
|-- 2、编写代码:url,参数data放到一个字典内:data={},把From Data内的数据都拷贝到代码中并变成参数数组格式:data['smartresult']= 'dict'
|-- 3、由于有道有反爬虫的机制,所以需要做进一步的处理:
|--     1)、未反爬虫处理前,报:{"errorcode":50}
|--     2)、打开network,发送两次请求,查看From Data,发现只有三个地方数据有变化:i,salt,sign(i:需要进行翻译的字符串如:尘封最帅;salt:加密
|--         用到的盐,这个是破解反爬虫的关键点;sign:签名字符串,也是破解反爬虫的关键点)
|--     3)、查看网页源代码,查找所有js文件,我们找到fanyi.js,然后点击这个文件,跳转到源文件中,全部复制此代码到http://tool.chinaz.com/Tools/jsformat.aspx中,点击格式化
|--         然后把格式化的代码复制出来,黏贴到subline内,然后搜索salt,找到相关代码:function(e, t) {
    var n = e("./jquery-1.7");
    e("./utils");
    e("./md5");
    var r = function(e) {
        var t = n.md5(navigator.appVersion),
        r = "" + (new Date).getTime(),
        i = r + parseInt(10 * Math.random(), 10);
        return {
            ts: r,
            bv: t,
            salt: i,
            sign: n.md5("fanyideskweb" + e + i + "p09@Bn{h02_BIEe]$P^nG")
        }
    };
|--     4)、分析这段代码发现:sign由四个字符串拼接而成:fanyideskweb e i p09@Bn{h02_BIEe]$P^nG;
            e :代表需要翻译的字符串
            r :代表获取系统的时间戳
            i :代表r的时间戳加上0-10的随机字符串
|--     5)、通过以上4步,就知道了salt和sign的生成原理,这样就可以写python打代码来对接他的接口了
|-- 4、对数据进行编码处理
|-- 5、创建一个request对象,把url和data传进去,并且使用POST请求
|-- 6、打开这个请求
|-- 7、读取返回来的数据
|-- 8、把返回的json字符串解析成字典
|-- 9、不采用['translateResult'][0][0]['tgt']这种格式来翻译结果:{'type': 'ZH_CN2EN', 'errorCode': 0, 'elapsedTime': 0, 'translateResult': [[{'src': '尘封最帅', 'tgt': 'Dusty the most handsome'}]]}
        [0] :代表去掉[[{'src': '尘封最帅', 'tgt': 'Dusty the most handsome'}]]}中第一个[]和第二个[0]
        ['tgt'] :代表直接打印输出:tgt的结果
|-- 10、采用['translateResult'][0][0]['tgt']这种格式翻译的结果:翻译的结果:Dusty the most handsome

'''


import
urllib.request import urllib.parse import json import random import time import hashlib #用户输入翻译的内容 content = input('请输入需要翻译的内容:') #连接url地址 url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule' #发送给服务器请求的数据 data = {} #破解反爬虫的参数 u = 'fanyideskweb' c = 'p09@Bn{h02_BIEe]$P^nG' e =content i =str(int(time.time()*1000)+random.randint(1,10)) sign = hashlib.md5((u+e+i+c).encode('utf-8')).hexdigest() #此部分数据来源于:FromData data['i']= content data['from']= 'AUTO' data['to']= 'AUTO' data['smartresult']= 'dict' data['client']= 'fanyideskweb' data['salt']= '15439012305959' data['sign']= 'ba81b8cb1c6dc64c253bf6d250cbc09b' data['ts']= '1543901230595' data['bv']= '6d37ec4625573a83fa9ca0cb1e144ce5' data['doctype']= 'json' data['version']= '2.1' data['keyfrom']= 'fanyi.web' data['action']= 'FY_BY_CLICKBUTTION' data['typoResult']= 'false' #对数据进行编码处理 data = urllib.parse.urlencode(data).encode('utf-8') #创建一个request对象,把url和data传进去,并且使用POS请求 request = urllib.request.Request(url = url,data=data,method='POST') #打开请求 reponsend =urllib.request.urlopen(request) #读取返回来的数据 html = reponsend.read().decode('utf-8') #把返回来的json字符串解析成字典 line = json.loads(html) #print(line) #获取翻译结果 print('翻译的结果:%s'%(line['translateResult'][0][0]['tgt']))
参考文档:https://blog.csdn.net/ISxiancai/article/details/79349184
     https://blog.csdn.net/nunchakushuang/article/details/75294947

猜你喜欢

转载自www.cnblogs.com/frankruby/p/10065926.html