爬虫开发工程师

职位描述

岗位职责

1、负责多平台信息爬取和页面内容的提取分析;

2、参与爬虫系统的架构设计和研发,独立进行抓取工作;

3、负责技术难点的攻克;

4、负责大规模数据爬虫的性能优化工作;

5、负责分布式爬虫平台构建。

任职资格

1、计算机相关专业,本科及以上学历;2年以上实际爬虫开发、内容提取工作经验;

2、熟悉Python/Java等语言的开发,熟悉Linux及其脚本相关技术;

3、深入了解Http协议,熟悉web项目原理;

4、了解多线程、多进程、网络通信编程相关知识,有过海量数据抓取及分布式存储经验;

5、掌握网页抓取原理及技术,熟悉基于正则表达式、XPath、CSS、pyquery等网页信息抽取技术;

6、掌握selenium,chorme等模拟浏览器行为技术;

7、有移动端爬取经验,了解APP模拟及接口签名破解技术,了解APP用户授权访问机制, 了解APP反编译技术;

8、有电商,旅游,新闻等热门网站数据抓取经验;

9、工作认真细致踏实,优秀的学习能力与抗压能力;

10、掌握机器学习、验证码识别技术、爬虫高并发技术,有web开发经验优先。

申请方式: 仔细阅读上面信息之后可以发送您的简历到以下邮箱,人力资源部会根据简历情况安排相关面试。 北京、成都、郑州 邮箱: hr-bj@idataway.com, 上海、武汉 邮箱: shhr@idataway.com , 广州、昆明、长沙 邮箱: gzhr@idataway.com 。
XML 地图