爬虫工程师

1、负责爬虫平台的架构改进以及各主要模块的开发与优化，如调度，链接分析，页面分析，结构化信息提取等
2、对相关技术进行探索与应用：如js渲染抓取，反爬攻破，暗网资源的抓取等
3、爬虫系统技术架构设计、重构、优化，不断增强爬虫系统的性能和功能
4、负责网页信息采集、数据清洗等研发和优化工作
精通网页抓取原理及技术
5、练使用正则表达式、css path、xpath等
6、日常工作为爬取网站、公众号、国外站点信息数据

1、本科以上，计算机或相关专业毕业，扎实的数据结构，算法和编码能力
2、1年以上爬虫开发经验，熟悉Java/Python编程，分布式系统，和大数据处理（如hadoop技术栈）
3、精通网页抓取原理及技术，熟练使用正则表达式、css path、xpath等
4、有搜索引擎和爬虫如nutch, webmagic, scrapy等或者NLP相关经验优先
5、有封装方法库、函数经验者优先
6、自我驱动，责任心强，执行力强，学习适应能力强，能挑战自我不断追求卓