在Web開發(fā)過程中,Web端數(shù)據(jù)采集主要通過三種方式實(shí)現(xiàn):服務(wù)器日志、URL解析及JS回傳。
1.服務(wù)器日志:指Web服務(wù)器軟件,例如Httpd、Nginx、Tomcat等自帶的日志,例如Nginx的日志等;2.URL解析:指訪問服務(wù)器時(shí),將URL信息及攜帶的參數(shù)進(jìn)行解析后,上傳服務(wù)器,例如在進(jìn)行數(shù)據(jù)搜索官網(wǎng)地址時(shí),我們可以獲得本次用戶搜索的內(nèi)容search為“iphone”;
3.JS回傳:指在Web頁(yè)面上添加的各類統(tǒng)計(jì)插件,通過在頁(yè)面嵌入自定義的Javascript代碼來獲取用戶的訪問行為(比如鼠標(biāo)懸停的位置,點(diǎn)擊的事件等),然后通過Ajax請(qǐng)求到后臺(tái)記錄日志。 前端埋點(diǎn)大致分為:代碼埋點(diǎn)、可視化埋點(diǎn)、無(wú)痕埋點(diǎn)三種,webfunny前端埋點(diǎn)主要是代碼埋點(diǎn)方案。前端埋點(diǎn)數(shù)據(jù)采集平臺(tái)報(bào)價(jià)
為什么需要埋點(diǎn)和前端監(jiān)控?當(dāng)我們?cè)诜治鰪?fù)盤一個(gè)產(chǎn)品是否成功的時(shí)候,產(chǎn)品、技術(shù)、業(yè)務(wù)運(yùn)營(yíng)方都會(huì)有自己對(duì)應(yīng)的分析層面,那不同的角色考慮的方向是不同的。
站在產(chǎn)品的視角,經(jīng)常會(huì)問如下幾個(gè)問題:1.產(chǎn)品有沒有用戶使用;2.用戶用得怎么樣;3.系統(tǒng)會(huì)不會(huì)經(jīng)常出現(xiàn)異常;4.如何更好地滿足用戶需求服務(wù)用戶;
當(dāng)站在技術(shù)視角時(shí),經(jīng)常會(huì)問如下幾個(gè)問題:1.系統(tǒng)出現(xiàn)異常的頻率如何;2.異常出現(xiàn)后如何快速進(jìn)行定位追蹤;3.如何分析解決問題;
而當(dāng)站在老板的視角時(shí),問題可能又會(huì)變?yōu)椋?.我的存量用戶多少,未來還有多少潛力;2.多少用戶在系統(tǒng)內(nèi)進(jìn)行了消費(fèi)。
當(dāng)在回答了上述問題之后,埋點(diǎn)和監(jiān)控兩者的作用便躍然紙上。因?yàn)橐卮鹨陨蠁栴},只有通過對(duì)系統(tǒng)進(jìn)行數(shù)據(jù)分析的方式才能弄清楚。其實(shí)無(wú)論是前端埋點(diǎn)還是前端監(jiān)控,二者并不是分開存在,而是相互依存的關(guān)系。 前端埋點(diǎn)頁(yè)面埋點(diǎn)方案如何搭建前端監(jiān)控和前端埋點(diǎn)sdk。
埋點(diǎn)本身現(xiàn)在已經(jīng)有太多的集成解決方案,如webfunny、神策、GIO等平臺(tái),但是在實(shí)踐的過程中仍然還是會(huì)碰都很多問題,給前端埋點(diǎn)同學(xué)分享下:埋點(diǎn)實(shí)踐過程中碰到的坑點(diǎn)。
①前后端埋點(diǎn)不一致的問題前端請(qǐng)求服務(wù)端的數(shù)據(jù)大多是存在binlog里面的,數(shù)據(jù)日志同步解析的過程里面可能會(huì)存在丟包的可能性,數(shù)倉(cāng)的穩(wěn)定性也會(huì)影響數(shù)據(jù)質(zhì)量;后端服務(wù)信息存儲(chǔ)的數(shù)據(jù)是存在mysql,表字段結(jié)構(gòu)化,分多表存儲(chǔ),需要靠主鍵進(jìn)行關(guān)聯(lián),有大量的ETL過程。兩者之間可能因?yàn)閿?shù)據(jù)清洗、處理、實(shí)時(shí)技術(shù)等原因,造成數(shù)據(jù)差異化;
②自埋點(diǎn)和第三方應(yīng)用統(tǒng)計(jì)口徑的問題自埋點(diǎn)一般都會(huì)定義一個(gè)id作為區(qū)分用戶的標(biāo)志,但是第三方是缺少用戶屬性信息的判斷,一般會(huì)以設(shè)備號(hào)uuid/imse,或者IP地址段、mac地址段作為區(qū)分標(biāo)志,從而造成統(tǒng)計(jì)數(shù)據(jù)上的差異化,對(duì)于留存分析、轉(zhuǎn)化分析、流失分析需要用到明細(xì)數(shù)據(jù)的場(chǎng)景,可兼容性不是很友好;
有不少開發(fā)人員認(rèn)為埋點(diǎn)不分前端和后端的,也不分客戶端,只要有需求要對(duì)某段代碼進(jìn)行分析或者性能上的要求就會(huì)有埋點(diǎn)。
埋點(diǎn)就是插入一段跟現(xiàn)在業(yè)務(wù)邏輯毫無(wú)相干的代碼進(jìn)行某些數(shù)據(jù)收集,通過對(duì)于這些數(shù)據(jù)進(jìn)行分析,我們可以得到很多有用的信息。前端埋點(diǎn)在性能要求很高的網(wǎng)站大量普及,比如說淘寶,京東等等日入訪問可達(dá)百萬(wàn)甚至千萬(wàn)級(jí)別的網(wǎng)站,對(duì)于這些網(wǎng)站進(jìn)行埋點(diǎn)是非常有必要的。
通常來說,埋點(diǎn)階段是在頁(yè)面onLoad階段即一旦頁(yè)面加載完所有內(nèi)容,就會(huì)執(zhí)行這段數(shù)據(jù)。也可以根據(jù)不同的業(yè)務(wù)邏輯進(jìn)行代碼處理。 前端埋點(diǎn)活躍用戶分析。
前端埋點(diǎn)和后端埋點(diǎn)的區(qū)別?
在實(shí)際過程中,有些埋點(diǎn)是不用特意區(qū)分前后端的,用戶的一個(gè)埋點(diǎn)事件在前端埋點(diǎn)或后端埋點(diǎn)都可以實(shí)現(xiàn),但是需要注意的是,在實(shí)際埋點(diǎn)上報(bào)、數(shù)據(jù)收集等過程中會(huì)有數(shù)據(jù)丟失的情況,從這個(gè)角度來看的話,其實(shí)后端埋點(diǎn)要比前端埋點(diǎn)更有優(yōu)勢(shì),前端埋點(diǎn)會(huì)因?yàn)橐恍┚W(wǎng)絡(luò)問題、適配問題等等容易出現(xiàn)上報(bào)異常造成數(shù)據(jù)丟失且丟失后排查困難,因?yàn)榍岸讼嚓P(guān)的是沒有記錄相關(guān)操作的,只負(fù)責(zé)上報(bào),上報(bào)成功與否沒有記錄。
而如果是后端埋點(diǎn),無(wú)論是自己的數(shù)據(jù)系統(tǒng)還是第三方數(shù)據(jù)系統(tǒng)都是可以通過自己系統(tǒng)本身相關(guān)的數(shù)據(jù)庫(kù)查詢或記錄日志等操作進(jìn)行埋點(diǎn)數(shù)據(jù)的校驗(yàn)排查,所以針對(duì)一些比較重要的埋點(diǎn),還是建議以后端埋點(diǎn)為主,必要時(shí)通過記錄日志或記入數(shù)據(jù)庫(kù)等方式對(duì)相關(guān)數(shù)據(jù)進(jìn)行二次記錄以便進(jìn)行數(shù)據(jù)核實(shí)。 可視化埋點(diǎn)即以業(yè)務(wù)代碼為輸入,通過可視化系統(tǒng)配置埋點(diǎn),以耦合的形式輸出業(yè)務(wù)代碼和埋點(diǎn)代碼。如何實(shí)現(xiàn)前端埋點(diǎn)和前端監(jiān)控平臺(tái)
大數(shù)據(jù)時(shí)代數(shù)據(jù)的重要性不言而喻,而其中關(guān)鍵重要的就是用戶信息的采集。前端埋點(diǎn)數(shù)據(jù)采集平臺(tái)報(bào)價(jià)
代碼埋點(diǎn)方案是通過使用第三方sdk埋點(diǎn),如:百度統(tǒng)計(jì)、webfunny、Analytics、觀縱科技等都提供了這一方案。使用相對(duì)簡(jiǎn)單,在APP或者界面初始化的時(shí)候,初始化第三方數(shù)據(jù)分析服務(wù)商的SDK,然后在某個(gè)事件發(fā)生時(shí)就調(diào)用SDK里面相應(yīng)的數(shù)據(jù)發(fā)送接口發(fā)送數(shù)據(jù)。
例如,我們想統(tǒng)計(jì)APP里面某個(gè)按鈕的點(diǎn)擊次數(shù),則在APP的某個(gè)按鈕被點(diǎn)擊時(shí),可以在這個(gè)按鈕對(duì)應(yīng)的OnClick函數(shù)里面調(diào)用SDK提供的數(shù)據(jù)發(fā)送接口來發(fā)送數(shù)據(jù)。除此針對(duì)特定需求也可以統(tǒng)一封裝數(shù)據(jù)上報(bào)通用sdk,各頁(yè)面各業(yè)務(wù)模塊按需調(diào)用,同時(shí)埋點(diǎn)的形式也是多種多樣的。 前端埋點(diǎn)數(shù)據(jù)采集平臺(tái)報(bào)價(jià)
上海觀縱科技有限公司致力于傳媒、廣電,以科技創(chuàng)新實(shí)現(xiàn)高質(zhì)量管理的追求。觀縱科技作為傳媒、廣電的企業(yè)之一,為客戶提供良好的webfunny前端監(jiān)控,webfunny前端埋點(diǎn),全鏈路應(yīng)用性能監(jiān)控,Argus-IT運(yùn)維監(jiān)控。觀縱科技致力于把技術(shù)上的創(chuàng)新展現(xiàn)成對(duì)用戶產(chǎn)品上的貼心,為用戶帶來良好體驗(yàn)。觀縱科技創(chuàng)始人姜應(yīng)偉,始終關(guān)注客戶,創(chuàng)新科技,竭誠(chéng)為客戶提供良好的服務(wù)。