泉州市 经验:不限 学历:大专
岗位职责： 1、负责分布式网络爬虫系统的架构设计与开发（如抓取调度，多样化抓取，页面解析和结构化抽取，海量数据存储和读取等）； 2、设计和优化爬虫策略与算法,提升数据抓取效果。 3、研究和分析目标网站，探索和研究高效的数据抓取解决方案； 4. 根据系统要求灵活设计数据抽取策略和算法，提升数据抽取效率和准确性。 5. 持续优化系统流程和实现、监控系统运行、提高系统性能及稳定性。 任职要求： 1、计算机及相关专业本科或以上学历，2年以上工作经验，有扎实的java开发基础优先； 2、熟悉python编程技术，编程能力强，熟练掌握至少一门爬虫框架，如scrapy、webmagic、nutch、heritrix等； 3、熟悉HTTP协议，熟练使用正则表达式，XPATH，CSS选择器等爬虫开发常用技能； 4、熟悉常见的反爬技术，有验证码识别优先； 5、熟悉应用Selenium，PhantomJs等实施动态抓取； 6、熟练使用http抓包工具 如charles fiddler等； 7、熟悉MySQL、PostgresSQL、MongoDB、Redis等数据库； 8、丰富的多线程、网络数据处理经验优先（如HTTP协议，AJAX，爬虫开发，浏览器内核开发，Web服务开发等）； 9、深入理解网络爬虫原理，有丰富巨量的数据爬取、解析、清洗、存储相关项目经验。 工资待遇： 底薪+餐补+工龄补贴+五险一金 丰富的零食饮料、每周一次的下午茶欢迎吃货的你~ 大小周，每年13薪加年底奖金 节假日红包，不定期聚餐和团建活动