前我國主要商業(yè)銀行均在推進(jìn) IT 架構(gòu)轉(zhuǎn)型，在大規(guī)模的分布式轉(zhuǎn)型過程中，相較于原集中式運(yùn)行環(huán)境內(nèi)存內(nèi)的構(gòu)件調(diào)用，分布式架構(gòu)下跨節(jié)點(diǎn)的 RPC 調(diào)用涉及節(jié)點(diǎn)數(shù)據(jù)多，運(yùn)維人員更為分散，如何在錯(cuò)綜復(fù)雜的分布式環(huán)境中快速的發(fā)現(xiàn)、定位、解決金融服務(wù)運(yùn)行問題，成為分布式運(yùn)維中的痛點(diǎn)與難點(diǎn)。

為此，一個(gè)功能完備、分析迅速的智能運(yùn)維平臺(tái)，成為商業(yè)銀行支撐銀行業(yè)務(wù)在開放平臺(tái)的快速迭代和升級(jí)創(chuàng)新的現(xiàn)實(shí)需求。

以下為分布式架構(gòu)下智能化生產(chǎn)運(yùn)維的信息采集、智能分析、可視觸達(dá)等方面的探索與實(shí)踐，希望能為商業(yè)銀行提供部分思路。

建立完善的生產(chǎn)智能維護(hù)平臺(tái)首先是要能安全高效地采集到生產(chǎn)運(yùn)行信息，而銀行金融產(chǎn)品均主要采取自研為主，技術(shù)棧及風(fēng)格難以統(tǒng)一，若均由各產(chǎn)品自行采集生產(chǎn)運(yùn)行信息，則過于復(fù)雜且低效，因此獨(dú)立的采集公用構(gòu)件成為智能運(yùn)維平臺(tái)建設(shè)的必選項(xiàng)。

同時(shí)，在實(shí)踐中可通過消息隊(duì)列等中間件能力，保證在采集的同時(shí)準(zhǔn)實(shí)時(shí)的進(jìn)行聚合分析，避免問題發(fā)現(xiàn)滯后而導(dǎo)致錯(cuò)過最佳處理時(shí)效的情況。

采用輕量級(jí)的SDK，記錄調(diào)用鏈路、異常、環(huán)境等信息，并準(zhǔn)實(shí)時(shí)推送轉(zhuǎn)發(fā)，于智能運(yùn)維平臺(tái)統(tǒng)一持久化并進(jìn)行分類聚合。

采集端經(jīng)由動(dòng)態(tài)代理技術(shù)實(shí)現(xiàn)了對(duì)原業(yè)務(wù)代碼的零侵入，可配置化的接入方式則讓接入人員簡(jiǎn)單配置即可直接接入，無需額外的學(xué)習(xí)成本。

智能運(yùn)維平臺(tái)針對(duì)不同的異常采用不同的處理策略：部分異常來自設(shè)計(jì)漏洞或編碼問題，借由展示堆棧信息可快速的定位問題根因；部分異常來自網(wǎng)絡(luò)抖動(dòng)，存儲(chǔ)介質(zhì)老化等環(huán)境相關(guān)問題，需要在統(tǒng)計(jì)層面上關(guān)注。

借由對(duì)異常信息進(jìn)行分類，準(zhǔn)實(shí)時(shí)的聚合具體錯(cuò)誤每天、小時(shí)、分鐘的出現(xiàn)頻次，可快速地獲得各類錯(cuò)誤在各個(gè)時(shí)間節(jié)點(diǎn)的分布情況。

采用孤立森林及時(shí)序分析等算法，將當(dāng)前時(shí)間段與上幾日、上幾分鐘，或前幾天同一時(shí)間段等分布情況進(jìn)行對(duì)比。

當(dāng)某類錯(cuò)誤的發(fā)生頻次在數(shù)據(jù)分布上出現(xiàn)驟增、突刺等情況時(shí)，與已配置的節(jié)假日、營銷活動(dòng)等進(jìn)行匹配，若不存在特定場(chǎng)景，快速進(jìn)入預(yù)警流程，通知運(yùn)維開發(fā)人員介入分析。

借由一體化采集、聚合、分析能力，從程序異常發(fā)生，到被定義為須預(yù)警場(chǎng)景，智能運(yùn)維平臺(tái)實(shí)現(xiàn)了秒級(jí)響應(yīng)，減少了問題發(fā)現(xiàn)滯后的可能。

分布式環(huán)境下的交易系統(tǒng)在帶來高可擴(kuò)展性及高可用性的同時(shí)，也兼具問題涉及節(jié)點(diǎn)多、環(huán)境影響復(fù)雜的特點(diǎn)。智能運(yùn)維平臺(tái)聚焦問題根因推測(cè)，并以此提供在線解決方案。

分布式框架中，歸屬不同開發(fā)團(tuán)隊(duì)的節(jié)點(diǎn)常存在自定義異常無法序列化，異常堆棧相互覆蓋，或是以統(tǒng)一錯(cuò)誤代碼直接替換原錯(cuò)誤信息等導(dǎo)致丟失錯(cuò)誤發(fā)生現(xiàn)場(chǎng)的情況。

智能運(yùn)維平臺(tái)聚合各個(gè)節(jié)點(diǎn)采集的異常信息，采用TraceId 及 SpanId 拼接調(diào)用鏈路，無論采用哪個(gè)節(jié)點(diǎn)的上下文信息進(jìn)行查詢，都可快速定位到問題發(fā)生根源。

分布式場(chǎng)景中的環(huán)境問題難以定位，在定位到單筆交易發(fā)生超時(shí)、連接池滿等場(chǎng)景時(shí)，往往難以進(jìn)一步定位是具體服務(wù)節(jié)點(diǎn)問題還是數(shù)據(jù)庫節(jié)點(diǎn)問題。

智能運(yùn)維平臺(tái)基于問題采集數(shù)據(jù)，針對(duì)相同錯(cuò)誤問題分布呈驟增、突刺等波動(dòng)的情況，分析同類問題關(guān)聯(lián)容器、宿主機(jī)、數(shù)據(jù)庫中 CPU、內(nèi)存、資源池等情況，并提出問題根因推測(cè)，協(xié)助分析人員快速定位問題。 

無論從哪個(gè)節(jié)點(diǎn)的信息接入，智能運(yùn)維平臺(tái)都能串接起這個(gè)異常鏈路，并追索至問題根源節(jié)點(diǎn)，暴露問題根本原因，減少了鏈路間各個(gè)節(jié)點(diǎn)維護(hù)人員的溝通成本。

平臺(tái)更進(jìn)一步的關(guān)聯(lián)當(dāng)前環(huán)境信息，統(tǒng)計(jì)并總結(jié)可能導(dǎo)致該問題的環(huán)境因素，減少環(huán)境導(dǎo)致的疑難問題的分析時(shí)效。

銀行系統(tǒng)生產(chǎn)運(yùn)維及開發(fā)人員在發(fā)現(xiàn)問題時(shí)，第一時(shí)間快速定位及獲取到問題的解決方案尤為重要。銀行生產(chǎn)交易日志的獲取因其涉敏性常涉及到運(yùn)維及開發(fā)人員的多次溝通及審批流程。

智能運(yùn)維平臺(tái)單獨(dú)推送異常信息，隔離了業(yè)務(wù)交易敏感信息及交易報(bào)錯(cuò)內(nèi)容，并借由可視化頁面，為分析人員還原異常發(fā)生現(xiàn)場(chǎng)，并初步提供解決方案。

可視化頁面除異常的基本信息外，也包含了此次問題的時(shí)間地點(diǎn)等基礎(chǔ)業(yè)務(wù)信息及容器信息，流量標(biāo)簽，調(diào)用鏈路等技術(shù)內(nèi)容。通過可視化頁面，可基于任意節(jié)點(diǎn)的部分業(yè)務(wù)信息或異常信息快速定位到問題根因，并快速了解此類錯(cuò)誤在近幾日，近幾周的分布情況，實(shí)時(shí)查看預(yù)測(cè)的頻次走向，觀察是否出現(xiàn)重大偏移，協(xié)助運(yùn)維開發(fā)人員快速判斷。

問題的解決時(shí)效通常依賴于運(yùn)維開發(fā)人員的個(gè)人水平及處理經(jīng)驗(yàn)。智能運(yùn)維平臺(tái)搭建運(yùn)維經(jīng)驗(yàn)知識(shí)庫，經(jīng)由專家系統(tǒng)邏輯推理能力，基于當(dāng)前異?，F(xiàn)場(chǎng)信息及問題根因推斷能力，提供問題可能性分析及相應(yīng)問題處理方案，減少運(yùn)維開發(fā)人員能力依賴，提高問題處理時(shí)效。 

可視化頁面及專家知識(shí)庫，幫助分析人員僅依靠部分交易信息即可觀察到整個(gè)鏈路情況、異常根因、分布規(guī)律并進(jìn)一步獲取到推薦的解決方案，減少了人員間反復(fù)溝通成本，一站式觸達(dá)問題核心。

分布式架構(gòu)下智能運(yùn)維平臺(tái)對(duì)生產(chǎn)運(yùn)維開發(fā)人員提供一體化采集分析、全鏈路根因推測(cè)、可視化的查詢及解決方案推薦能力，貫穿了問題處理中的發(fā)現(xiàn)、定位、解決流程，對(duì)推動(dòng)運(yùn)維時(shí)效縮減，保持金融服務(wù)穩(wěn)定運(yùn)行具有重要作用，將成為商業(yè)銀行架構(gòu)轉(zhuǎn)型過程中的一個(gè)重要的基礎(chǔ)設(shè)施建設(shè)選項(xiàng)。