岗位职责:
1、负责爬虫各个系统核心代码搭建,性能方面的优化,解决相关的疑难问题;
2、负责研究各种网站、网页、链接的形态,发现它们的特点和规律;
3、设计各种策略和算法,提高数据抓取的效率和质量,解决数据的重复,垃圾数据识别;
4、提高系统的可运维,可测性,易用性。
职位要求:
1、熟悉Python高并发应用开发,了解爬虫框架Scrapy,pyspider等;
2、拥有良好的代码习惯,结构清晰,逻辑性强,有丰富的面向对象设计及编程能力;
3、熟悉TCP/IP网络协议,熟悉Linux操作系统;
4、掌握基本数据结构和算法,能够灵活使用编程技巧和设计模式等相关知识;
5、对新技术有强烈的探索欲望,能快速接受新事物的新理念,善于团队合作与管理,有强烈的责任心。
说明:每个公司对同一个职位的要求都会因为公司的实际情况而有所不同,高校俱乐部中所有职位职责和职位要求,仅代表该职位的普遍情况,若有偏差,请直接回帖"纠错"提出您的意见,我们将采纳每一个合理意见,感谢您对高校俱乐部的关注和支持!