险角电影国语完整版在线观看|ww好吊妞988gaocom|久久国产精品毛片|老婆的诱惑完整版电影在线观看,国产不卡视频在线,亚洲久久综合,天堂在线中文字幕

【保定總部工作】 1. 負(fù)責(zé)定向數(shù)據(jù)的采集與爬取、解析處理、入庫(kù)及備份等數(shù)據(jù)日常工作； 2. 研究主流網(wǎng)站的爬取方法及數(shù)據(jù)清洗處理，負(fù)責(zé)非定向數(shù)據(jù)的清洗、整理、整合及合并等工作； 3. 參與分布式爬蟲的框架的維護(hù)與開發(fā)；負(fù)責(zé)公司采集系統(tǒng)架構(gòu)開發(fā)和性能優(yōu)化；爬蟲框架工具化，使數(shù)據(jù)采集人員簡(jiǎn)單適用，高效采集數(shù)據(jù)； 4. 及時(shí)解決生產(chǎn)上的系統(tǒng)問題，并對(duì)用戶提供技術(shù)支持；并能根據(jù)項(xiàng)目安排采集指定站點(diǎn)數(shù)據(jù)； 5. 其他部門內(nèi)數(shù)據(jù)相關(guān)工作。 任職資格： 1. 本科以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)； 2. 5年以上Python開發(fā)經(jīng)驗(yàn)，至少2個(gè)以上完整的中大型爬蟲開發(fā)經(jīng)驗(yàn)； 3. 熟練掌握基于爬蟲框架Selenuim、Scrapy、PySpider、Crawley，puppeteer； 4. 熟悉瀏覽器運(yùn)行原理，懂得js逆向，熟悉web端常用反爬技術(shù)； 5. 熟悉抓包工具(Wireshark、Fiddler、charles等)； 6. 熟練使用一種以上數(shù)據(jù)庫(kù)(Doris/MySQL/mongodb)與消息中間件kafka；7. 具有反爬解決經(jīng)驗(yàn)，對(duì)Js逆向、封IP 、復(fù)雜驗(yàn)證碼、模擬Cookie 登錄等，有過實(shí)際經(jīng)驗(yàn)；