草色在线-草综合-插插插日日日-插插插天天-插插天天

崗位職責:
1、負責多平臺信息爬取和頁面內容的提取分析，負責破解各類反爬機制;
2、負責網頁的數據抓取和爬取鏈路優化(包括逆向分析、脫殼、加密參數破解、抓取攻防等)，提升抓取能力;
3、負責日常業務系統運營支撐工作(bsp,vsim-cor e，web 網站，終端系統，業務應用監控系統等)，相關運營支撐工具的開發(python、go);
4、負責業務運營支撐系統的部署、發布、變更以及持續優化;針對各系統編寫并維護自動化運維腳本;

任職要求:
1、3年以上python爬蟲經驗，本科及以上學歷，計算機相關專業，有電商類數據經驗優先;
2、熟練掌握python語言或java語言，熟練掌握js語言、有app數據采集經驗者優先;
3、精通數據采集技術，熟悉httpclient/jsoup/xpath/c ss/正則表達式/驗證碼加密處理/代理池等網頁信息抽取技術，熟悉http底層協議;熟悉mysql、redis、elastic search、clickhouse等數據，熟悉linux，mysql，有一定的公有云經驗，了解sparksql，spark mllib，s park streaming以及spark graphx，hadoop、hive等大數據工具，amazon sagemaker;
4、精通各種反爬技術，并能夠通過多種應對策略(如代理池、模擬登錄、驗證碼與滑塊的處理、瀏覽器渲染等)來保證數據的持續交付;
5、熟悉網頁數據采集原理及技術，熟悉基于cookie的網站登錄原理;