可靠的IT運(yùn)維監(jiān)控方案

來(lái)源: 發(fā)布時(shí)間:2023-05-06

我們所講的運(yùn)維監(jiān)控不是視頻的監(jiān)控,也不是那種上網(wǎng)行為的監(jiān)控,確切的講我們可以叫他IT運(yùn)維監(jiān)控管理系統(tǒng),也就是專(zhuān)門(mén)針對(duì)一些有一定IT規(guī)模的有idc機(jī)房的一些企業(yè)提供的管理軟件,也就是我們所說(shuō)的網(wǎng)管軟件,網(wǎng)管軟件發(fā)展到不僅是提供監(jiān)控的功能了,而是更多的參與到了IT的管理,如果利用好收集來(lái)的數(shù)據(jù)能為其他部門(mén)甚至整個(gè)公司帶來(lái)很大的方便和效益。

我們習(xí)慣把監(jiān)控的IT設(shè)備叫做IT元素并且對(duì)他們進(jìn)行了分類(lèi),這樣做也是為了方便讓使用者梳理自己的資產(chǎn),我們把他們分成了6大元素分別是:網(wǎng)絡(luò)設(shè)備,系統(tǒng),數(shù)據(jù)庫(kù),中間件,存儲(chǔ),應(yīng)用,除了這常見(jiàn)的六大類(lèi)還可以監(jiān)控管理到虛擬化,云平臺(tái)還有物聯(lián)網(wǎng)的的一些設(shè)備。 不可錯(cuò)過(guò)的運(yùn)維監(jiān)控干貨!可靠的IT運(yùn)維監(jiān)控方案

Flow是一種數(shù)據(jù)交換方式,其工作原理是:

Flow利用標(biāo)準(zhǔn)的交換模式處理數(shù)據(jù)流的第1個(gè)IP包數(shù)據(jù),生成Flow緩存,隨后同樣的數(shù)據(jù)基于緩存信息在同一個(gè)數(shù)據(jù)流中進(jìn)行傳輸,不再匹配相關(guān)的訪(fǎng)問(wèn)控制等策略,F(xiàn)low緩存同時(shí)包含了隨后數(shù)據(jù)流的統(tǒng)計(jì)信息。

一個(gè)Flow流定義為在一個(gè)源IP地址和目的IP地址間傳輸?shù)膯蜗驍?shù)據(jù)包流,且所有數(shù)據(jù)包具有共同的傳輸層源、目的端口號(hào)。

相對(duì)于會(huì)話(huà)(“Session”)而言,“Flow”具備更細(xì)致的標(biāo)識(shí)特征,在傳統(tǒng)的TCP/IP五元組的基礎(chǔ)上增加了一些新的域值,至少包括以下幾個(gè)字段:

|源IP地址|目的IP地址|源端口|目的端口|IP層協(xié)議類(lèi)型|ToS服務(wù)類(lèi)型(dscp)|輸入物理端口(ifindex)|

以上七個(gè)字段可以唯1地確定任意一個(gè)數(shù)據(jù)包屬于哪個(gè)特定的Flow。

換而言之,任何一個(gè)字段出現(xiàn)了差異都意味著一個(gè)新Flow的發(fā)生。對(duì)于Flow的分析展示同樣也是要基于多維度的:

IP(目的與源)、port(目的與源)、業(yè)務(wù)、網(wǎng)絡(luò)架構(gòu)、城市、IDC等。

具體所需的維度依賴(lài)于自己的業(yè)務(wù)場(chǎng)景。Flow是廠商的私有協(xié)議,業(yè)界也有多種的Flow格式。例如CISCO、華為、juniper等等的主流廠商的Flow也是均有一定差異性與優(yōu)劣的,常用的有NetFlow與SFlow。所以這部分的后臺(tái)能力是需要有異構(gòu)。 國(guó)產(chǎn)運(yùn)維監(jiān)控產(chǎn)品排行榜Argus V3.4 重磅發(fā)布,打造完整的Iaas&Paas兼容感知,解耦Zabbix版本限制,生態(tài)無(wú)縫兼容。

Prometheus指標(biāo)采集和查詢(xún)存儲(chǔ)方案-2020年

我們分一級(jí)監(jiān)控平臺(tái)和二級(jí)集群Prometheus監(jiān)控采集組件。一級(jí)提供kafka集群和Prometheus聚合組件,二級(jí)各集群部署Prometheus和Prometheus-kafka-adapter組件,采集和遠(yuǎn)程送數(shù)據(jù)到一級(jí)的kafka集群。

該方案優(yōu)點(diǎn):

1.業(yè)務(wù)系統(tǒng)可以跨集群聚合數(shù)據(jù),如圖k8s集群-1和k8s集群-2數(shù)據(jù)聚合到Top-1的Prometheus上。

2.一級(jí)監(jiān)控平臺(tái)上只要有足夠的cpu、存儲(chǔ)資源,理論上可以水平擴(kuò)展接入更多集群。2020年底采集的指標(biāo)量每天3194億的量級(jí),吞吐量達(dá)370萬(wàn)/s。

3.采集端Prometheus可以保留極少數(shù)據(jù),比如6小時(shí)的數(shù)據(jù),減少資源消耗。而上層Prometheus由于落數(shù)據(jù)到時(shí)序數(shù)據(jù)庫(kù)influxdb中,可以保存一個(gè)月數(shù)據(jù)量甚至更多。

該方案沒(méi)做到什么:

1.采集端Prometheus擴(kuò)容問(wèn)題,單集群中數(shù)據(jù)規(guī)模受Prometheus原生的限制。

2.一級(jí)監(jiān)控平臺(tái)上時(shí)序數(shù)據(jù)庫(kù)influxdb有單點(diǎn)問(wèn)題,數(shù)據(jù)規(guī)模和數(shù)據(jù)安全性受其影響。

Argus搭建可觀測(cè)性監(jiān)控的原則客觀性、系統(tǒng)性、關(guān)聯(lián)性、預(yù)見(jiàn)性。低嵌入、無(wú)干擾的第三方視角觀測(cè)采集數(shù)據(jù);不單一的只看某個(gè)指標(biāo),注重各觀測(cè)角度之間的整體性關(guān)系,系統(tǒng)的涵蓋所需觀察的每個(gè)方面,體現(xiàn)出被觀測(cè)對(duì)象較為完整的觀測(cè)結(jié)果;每個(gè)監(jiān)控項(xiàng)或應(yīng)用既具單獨(dú)性,又具相關(guān)性,而各要素和體關(guān)聯(lián)性系之間同樣存在這種“相互關(guān)聯(lián)或相互作用”的關(guān)系;任何事物的觀察都是基于時(shí)間的動(dòng)態(tài)行為,監(jiān)控的目的是要提早發(fā)現(xiàn)風(fēng)險(xiǎn),避免發(fā)生故障,所以我們所有的監(jiān)控行為都要對(duì)將來(lái)可能發(fā)生事件實(shí)現(xiàn)預(yù)判。 IT運(yùn)維監(jiān)控所包含的產(chǎn)品功能強(qiáng)大、易于使用、解決方案齊全,可一站式滿(mǎn)足用戶(hù)的各種IT管理需求。

隨著數(shù)字化進(jìn)程的加深,企業(yè)在分治了很久以后,開(kāi)始進(jìn)入到統(tǒng)一運(yùn)維管理的階段。由于“分久”,出現(xiàn)了敏穩(wěn)兩態(tài)不同的專(zhuān)業(yè)領(lǐng)域,傳統(tǒng)企業(yè)運(yùn)維的歷史包袱很重,一些穩(wěn)態(tài)的重中之重應(yīng)用無(wú)法完全轉(zhuǎn)移到敏態(tài)環(huán)境中,因此導(dǎo)致了數(shù)據(jù)的多樣化、復(fù)雜程度極高等特點(diǎn),比如日志數(shù)據(jù)、告警數(shù)據(jù)、調(diào)用鏈數(shù)據(jù)、拓?fù)鋽?shù)據(jù)以及流程產(chǎn)生的信息數(shù)據(jù)等,導(dǎo)致分治變得十分麻煩。另外,這些繁冗復(fù)雜的數(shù)據(jù)視角各異,沒(méi)有可以從某一種業(yè)務(wù)視角或組件視角去看多樣化工具的能力,加之混合云的出現(xiàn),很多業(yè)務(wù)轉(zhuǎn)移到公有云或私有云上,使得數(shù)據(jù)孤島狀態(tài)加重,治理起來(lái)更加困難。

現(xiàn)狀需求:

1、監(jiān)控工具種類(lèi)繁多,缺乏全局視角,難以整合;

2、運(yùn)維監(jiān)控?cái)?shù)據(jù)快速增長(zhǎng),尚未有效整合;

3、缺少智能運(yùn)維分析手段,聯(lián)動(dòng)能力不足;

4、欠缺知識(shí)共享系統(tǒng),未能對(duì)運(yùn)維經(jīng)驗(yàn)有效積累。

需求總結(jié):

希望有一種手段能夠通過(guò)人機(jī)合作的方式來(lái)完成知識(shí)的共享,把人的能力逐漸地變成一種組織和平臺(tái)的能力。 Argus運(yùn)維監(jiān)控系統(tǒng)撥測(cè)分析模塊,從端口可用性等多個(gè)指標(biāo)、維度進(jìn)行撥測(cè)分析。國(guó)內(nèi)IT運(yùn)維監(jiān)控技術(shù)

Argus運(yùn)維監(jiān)控多通道, 多用戶(hù)的事件靈活推送機(jī)制。可靠的IT運(yùn)維監(jiān)控方案

觀縱在協(xié)調(diào)交付與研發(fā)做信創(chuàng)產(chǎn)品適配,幫助客戶(hù)在內(nèi)部搭建信創(chuàng)環(huán)境的時(shí)候發(fā)現(xiàn),如果想讓運(yùn)維行業(yè)的信創(chuàng)產(chǎn)業(yè)高質(zhì)量發(fā)展,是依靠自主創(chuàng)新研發(fā)產(chǎn)品是不夠的,還需要有領(lǐng)航者來(lái)為運(yùn)維行業(yè)發(fā)展做“規(guī)劃”,給予客戶(hù)足夠的安全感和信任感。

如今,觀縱的Argus運(yùn)維監(jiān)控系統(tǒng)目前已獲得部分信創(chuàng)適配證書(shū)。未來(lái)觀縱將繼續(xù)投入人力與物力,對(duì)產(chǎn)品進(jìn)行創(chuàng)新實(shí)踐,加快其在信創(chuàng)領(lǐng)域的運(yùn)維場(chǎng)景落地應(yīng)用,攜手上下游合作伙伴共建生態(tài),領(lǐng)導(dǎo)智能運(yùn)維行業(yè)向高質(zhì)量發(fā)展。 可靠的IT運(yùn)維監(jiān)控方案

上海觀縱科技有限公司致力于傳媒、廣電,以科技創(chuàng)新實(shí)現(xiàn)高質(zhì)量管理的追求。觀縱科技擁有一支經(jīng)驗(yàn)豐富、技術(shù)創(chuàng)新的專(zhuān)業(yè)研發(fā)團(tuán)隊(duì),以高度的專(zhuān)注和執(zhí)著為客戶(hù)提供webfunny前端監(jiān)控,webfunny前端埋點(diǎn),全鏈路應(yīng)用性能監(jiān)控,Argus-IT運(yùn)維監(jiān)控。觀縱科技繼續(xù)堅(jiān)定不移地走高質(zhì)量發(fā)展道路,既要實(shí)現(xiàn)基本面穩(wěn)定增長(zhǎng),又要聚焦關(guān)鍵領(lǐng)域,實(shí)現(xiàn)轉(zhuǎn)型再突破。觀縱科技始終關(guān)注傳媒、廣電行業(yè)。滿(mǎn)足市場(chǎng)需求,提高產(chǎn)品價(jià)值,是我們前行的力量。