前言:
最近迷上了一款游戏,但是作为一名程序员的我是不可能只玩游戏的,我必须把它的官网数据采集下来!
环境:
- windows
- python3.6.5
模块:
- requests
- jsonpath
- pygal
至于是什么game,从上图很多人已经知道了,我看了一下有很多种类的武器,我的第一想法是把所有的武器图片以及名字利用python爬虫采集下来,后来发现我能做更多的事情。
可以发现每一个li标签都包含了咱们一个数据的信息,但是别忘了我们在这里看到的是浏览器以及JS渲染过的源代码,我们必须看它的网页源码中是否包含我们想要的信息:
果然没有,那么开始抓包吧,应该是利用API实现的数据交互。果然数据都可以在API中被抓到
可以从下图就发现mc94标签保存的是咱们的武器名字,还有其它一些标签保存了一些介绍性能,但是最关键的在于79和f2标签保存了咱们的枪支数据!由zds(子弹数)40与30的差距得知,这个就是有没有装弹夹嘛。
那么我们就获取满配的数据ldt_79的数据
获取这个数据有什么用?你们见过雷达图嘛?
部分源码学习:
Python爬虫部分的源码我就不给了,自己慢慢琢磨