亚洲日韩AV中文无码专区_97人妻在线视频观看_丰满无码10p_午夜性色福利 在线视频

為了更好的為用戶服務(wù)以及公司的長遠(yuǎn)發(fā)展，通過日志信息的采集以及對數(shù)據(jù)多維度的分析， 分析網(wǎng)站中各個(gè)模塊的點(diǎn)擊、瀏覽、下載、安裝等行為，獲得用戶行為及價(jià)值取向等統(tǒng)計(jì)信息，例如批發(fā)商品在各個(gè)地區(qū) Top 排行、日活用戶、月活用戶等，為公司各部門提供需求報(bào)表以及公司決策提供數(shù)據(jù)支持。

抽取和地理信息相關(guān)行業(yè)新聞信息以及旅游景點(diǎn)新聞信息內(nèi)容來豐富公司素材庫，為司南的APP、公眾號做內(nèi)容推送提供精準(zhǔn)素材。此項(xiàng)目為一期項(xiàng)目，分布式高并發(fā)爬蟲框架配合 MySQL 數(shù)據(jù)庫，獲取相關(guān)網(wǎng)址信息。

數(shù)據(jù)結(jié)構(gòu)、地理數(shù)據(jù)庫、webGis等

通過獲取用戶下載 App 的行為和用戶喜好，基于對物品推薦算法進(jìn)行研究，根據(jù)物品的長尾性原理，分析出用戶點(diǎn)擊、下載、安裝等行為間的關(guān)聯(lián)性，通過 MapReduce 和后期用 Spark 優(yōu)化實(shí)現(xiàn)算法程序，對用戶流量進(jìn)行切分，找到最合適的廣告投放策略，為用戶有針對性地推薦喜歡的商品，從而 給用戶更好的體驗(yàn)以及給公司帶來更大的效益。

1. 參與研究基于物品的協(xié)同過濾相似度推薦算法 2 .負(fù)責(zé) MapReduce、Spark 程序?qū)崿F(xiàn)基本的算法以及后期的優(yōu)化 3. 制定離線測試，線上試驗(yàn)驗(yàn)證結(jié)果，以確認(rèn)是否達(dá)到與通投相比 CVR 提升到指定指標(biāo) 4. 負(fù)責(zé)導(dǎo)出 App 相似度數(shù)據(jù)集，供后續(xù)廣告部門使用

為了更好的為用戶服務(wù)以及公司的長遠(yuǎn)發(fā)展，通過日志信息的采集以及對數(shù)據(jù)多維度的分析， 分析網(wǎng)站中各個(gè)模塊的點(diǎn)擊、瀏覽、下載、安裝等行為，獲得用戶行為及價(jià)值取向等統(tǒng)計(jì)信息，例如批發(fā)商品在各個(gè)地區(qū) Top 排行、日活用戶、月活用戶等，為公司各部門提供需求報(bào)表以及公司決策提供數(shù)據(jù)支持。

1. 負(fù)責(zé)從數(shù)據(jù)集取、轉(zhuǎn)換、清洗數(shù)據(jù)到數(shù)據(jù)存儲(chǔ)，以及數(shù)據(jù)處理功能的開發(fā) 2. 負(fù)責(zé)編寫 MapReduce 進(jìn)行離線數(shù)據(jù)分析 3. 負(fù)責(zé)編寫通用任務(wù)工作鏈工具，作為統(tǒng)一的 Mapreduce 編寫標(biāo)準(zhǔn)。 4. 負(fù)責(zé)使用 Flume 歸集 Nginx 行為日志和 Tomcat 日志數(shù)據(jù) 5. 負(fù)責(zé)編寫 Shell 腳本及 Oozie 配置項(xiàng)目的調(diào)度與依賴

抽取和地理信息相關(guān)行業(yè)新聞信息以及旅游景點(diǎn)新聞信息內(nèi)容來豐富公司素材庫，為司南的APP、公眾號做內(nèi)容推送提供精準(zhǔn)素材。此項(xiàng)目為一期項(xiàng)目，分布式高并發(fā)爬蟲框架配合 MySQL 數(shù)據(jù)庫，獲取相關(guān)網(wǎng)址信息。

1. 參與分布式網(wǎng)絡(luò)爬蟲系統(tǒng)平臺(tái)的架構(gòu)設(shè)計(jì)與開發(fā) 2. 根據(jù)生產(chǎn)者消費(fèi)者模式的分布式并發(fā)框架,編寫程序?qū)崿F(xiàn)新聞頁面的下載,以 Python 語言實(shí)現(xiàn)過程 3. 研究反爬蟲策略，如封賬號、封 IP 等問題，提升網(wǎng)頁抓取的效率和質(zhì)量 4. 將爬取的數(shù)據(jù)推送到 Kafka 隊(duì)列并上傳到 Hadoop 集群，供其他人使用。 5. 項(xiàng)目后期的維護(hù)和優(yōu)化