VIP创新课

第0周:网络爬虫之前奏

1.导读

2.python开发工具的选择

文本工具类:idle:包含交互式和文件式,适合少量代码(入门级)、Sublime Text:专门为程序员开发使用的第三方专用编程工具、Notpad++

集成工具类:Wing、Visual Studio & PTVS、Eclips、Canopy(收费)、Anaconda & Spyder

科学计算、数据分析 Canopy(收费)、Anaconda\

第1周 网络爬虫之规则

内容:介绍requests库、robots.txt协议、实例

1.requests

 

 (1)     

               get方法

(2)response

                

                

                 type(r)                   检测r的类型

                 r.headers               获得请求页面的头部信息

                备选编码方式可以解决乱码

 (3) 异常

                

(4)通用框架

 2.http协议(为了更好的理解requests库)

  (1)超文本传输协议

  (2) http协议采用URL作为定位网络资源的标识

              url格式

              url是通过http存取资源的internet路径,一个url对应一个数据资源

   (3)

猜你喜欢

转载自www.cnblogs.com/yyy999/p/12340282.html