你好，我是悦创。
互联网诞生之初，是为了让人们更容易的分享数据、交流通讯。互联网是桥梁，连接了世界各地的人们。网站的点击、浏览都是人为的，与你聊天的也是活生生的人。
然而，随着技术的发展，人们对数据的渴望，出现了各种网络机器人，这个时候，你不知道屏幕那端跟你聊天的是一个人还是一条狗，你也不知道你网站的浏览量是人点击出来的，还是机器爬出来的。
表面上看，互联网上是各种各样的人；暗地里，已经布满了形形色色的网络爬虫。
在讲什么是爬虫之前呢，我来讲讲爬虫的职位问题，这也是很多同学报名我的爬虫私教课的初心之一。
1. 大数据时代的爬虫岗位
上面的图片数据，就是为了提高大家对于学习网络爬虫兴趣。可见，爬虫工程师的工资不低鸭！
2. 网络爬虫概况
当今最大的网络是互联网，最大的爬虫就是各类搜索引擎，包括谷歌、百度等。网络爬虫就是按照一定规则去爬取人类所需要的信息的程序，主要通过对 URL 的请求来实现。
一般来说，从搜索引擎这类爬虫搜索到的信息是非常宽泛的，而且夹杂着各种广告，信息是不纯粹的