爬虫开发工程师
职位描述
岗位职责
1、负责多平台信息爬取和页面内容的提取分析;
2、参与爬虫系统的架构设计和研发,独立进行抓取工作;
3、负责技术难点的攻克;
4、负责大规模数据爬虫的性能优化工作;
5、负责分布式爬虫平台构建。
任职资格
1、计算机相关专业,本科及以上学历;2年以上实际爬虫开发、内容提取工作经验;
2、熟悉Python/Java等语言的开发,熟悉Linux及其脚本相关技术;
3、深入了解Http协议,熟悉web项目原理;
4、了解多线程、多进程、网络通信编程相关知识,有过海量数据抓取及分布式存储经验;
5、掌握网页抓取原理及技术,熟悉基于正则表达式、XPath、CSS、pyquery等网页信息抽取技术;
6、掌握selenium,chorme等模拟浏览器行为技术;
7、有移动端爬取经验,了解APP模拟及接口签名破解技术,了解APP用户授权访问机制, 了解APP反编译技术;
8、有电商,旅游,新闻等热门网站数据抓取经验;
9、工作认真细致踏实,优秀的学习能力与抗压能力;
10、掌握机器学习、验证码识别技术、爬虫高并发技术,有web开发经验优先。
申请方式:
仔细阅读上面信息之后可以发送您的简历到以下邮箱,人力资源部会根据简历情况安排相关面试。
北京、成都、郑州 邮箱: hr-bj@idataway.com,
上海、武汉 邮箱: shhr@idataway.com ,
广州、昆明、长沙 邮箱: gzhr@idataway.com 。
建设数据分析与决策智能业的中国典范
官方微博
官方微信
友情链接: