通过session实现通用爬虫--爬取到开心网账户的首页界面

版权声明:本文为博主原创文章,未经博主允许不得转载 https://blog.csdn.net/g_optimistic/article/details/89543659

目录

1.点开开心网的登录界面

2.获取login_url 以及 账号和密码

第一种方法 :F12 找到form表单

第二种方法:Network

3.开始写代码


开心网的网址是http://www.kaixin001.com/

我们接下来的操作是为了直接用session登录开心网,爬取账户主页的代码

1.点开开心网的登录界面

我们发现这是用form表单实现账号登录的

2.获取login_url 以及 账号和密码

第一种方法 :F12 找到form表单

首先在form表单中找到action,即为要提交的url

form表单里面的内容是要提交的数据,找到id;没有id,就找name

第二种方法:Network

输入账号,密码 ,点击登录,此时htttp的请求方法是post

打开F12     找到network

formData 里面的数据即为要提交的数据

3.开始写代码

"""
开心网登陆,获取主页
"""
import requests
# 登录的url
login_url = 'https://security.kaixin001.com/login/login_auth.php'
data_dic = {
    "loginemail": "账号",
    "password": "密码",
}
session = requests.session()
response = session.post(url=login_url, data=data_dic)
response1 = session.get(url='http://www.kaixin001.com/home/?uid=181850221&s=39')
# url为登录进去之后主页的地址
with open('kaixin001_login_result.html', 'w', encoding=response1.encoding) as fp:
    fp.write(response1.text)

4.效果

已成功获取到账户登录成功界面的代码

要是不放心的话,在运行一下,在浏览器中查看一下

这就说明我们成功的爬取到了账户主页的代码!!

成功!!!

猜你喜欢

转载自blog.csdn.net/g_optimistic/article/details/89543659