銀行實(shí)時(shí)生產(chǎn)數(shù)據(jù)采集
時(shí)間：2018-10-28作者：杭州匠興科技有限公司瀏覽：65
隨著大數(shù)據(jù)時(shí)代的到來，銀行經(jīng)營(yíng)將會(huì)發(fā)生深刻變化，其中最根本的變化，就是銀行功能正在從過去的資金中介逐步向信息中介轉(zhuǎn)變，由過去單一的存貸匯服務(wù)向信息提供者、業(yè)務(wù)撮合者、財(cái)富管理者轉(zhuǎn)變，從而導(dǎo)致依靠“鼠標(biāo)+水泥”和存貸利差的傳統(tǒng)銀行經(jīng)營(yíng)模式消失，銀行既可以融資也可以融智，傳統(tǒng)銀行業(yè)的基本功能將會(huì)為新的金融服務(wù)所替代。
銀行實(shí)時(shí)生產(chǎn)數(shù)據(jù)采集系統(tǒng)
互聯(lián)網(wǎng)技術(shù)革命讓商業(yè)銀行進(jìn)入一個(gè)重要的轉(zhuǎn)折點(diǎn)，從過去的支付和融資中介向綜合化信息中介服務(wù)轉(zhuǎn)變，信息是銀行發(fā)展的深層基礎(chǔ)和根本，能不能在未來競(jìng)爭(zhēng)中保持優(yōu)勢(shì)，關(guān)鍵在于能不能成為信息掌握的強(qiáng)者，并采取措施通過大數(shù)據(jù)技術(shù)重新發(fā)展和鑄造新的金融經(jīng)濟(jì)關(guān)系。
有人曾把大數(shù)據(jù)比作“新時(shí)代的石油”大數(shù)據(jù)對(duì)于商業(yè)銀行尤其是中小商業(yè)銀行的價(jià)值是不言而喻的。但是對(duì)銀行的數(shù)據(jù)駕馭能力提出了全新的挑戰(zhàn)。銀行不僅要收集來自網(wǎng)點(diǎn)、信貸等傳統(tǒng)渠道的結(jié)構(gòu)化數(shù)據(jù)，還要收集來自物聯(lián)網(wǎng)、互聯(lián)網(wǎng)的各類非結(jié)構(gòu)化數(shù)據(jù)，甚至還要與歷史數(shù)據(jù)對(duì)照。在數(shù)據(jù)存儲(chǔ)方面，要達(dá)到低成本、低能耗、高可靠性目標(biāo)，要用到分布式和云計(jì)算技術(shù)，這是很多銀行所欠缺的。有的數(shù)據(jù)涉及上百個(gè)參數(shù)，難以用傳統(tǒng)的方法描述與度量，處理的復(fù)雜度相當(dāng)大，如客服錄音數(shù)據(jù)等。利用“大數(shù)據(jù)”的能力將成為決定銀行競(jìng)爭(zhēng)力的關(guān)鍵因素。
近年來，隨著直銷銀行與消費(fèi)金融這一新型業(yè)態(tài)在國(guó)內(nèi)的迅猛發(fā)展，互聯(lián)網(wǎng)金融客戶數(shù)與交易量呈幾何級(jí)數(shù)增長(zhǎng)。各家銀行紛紛建立自己的反欺詐風(fēng)控平臺(tái)。一個(gè)完善的風(fēng)控機(jī)制必須有足夠的數(shù)據(jù)源，全量數(shù)據(jù)采集為大數(shù)據(jù)分析提供了充足的數(shù)據(jù)樣本。所以數(shù)據(jù)采集的重要性日益凸顯。
銀行實(shí)時(shí)生產(chǎn)數(shù)據(jù)采集系統(tǒng)主要服務(wù)于銀行金融大數(shù)據(jù)分析平臺(tái)，對(duì)實(shí)時(shí)性要求高，需要提供自動(dòng)化的數(shù)據(jù)關(guān)聯(lián)與業(yè)務(wù)解析。整套系統(tǒng)分為探針實(shí)時(shí)數(shù)據(jù)采集和日志數(shù)據(jù)采集兩部分。其中日志采集系統(tǒng)，從安全設(shè)備收集相應(yīng)的日志和MIB信息，經(jīng)過簡(jiǎn)單處理后進(jìn)入到kafka緩存隊(duì)列中。探針系統(tǒng)則提供底層全量網(wǎng)絡(luò)數(shù)據(jù)采集，為流量分析、網(wǎng)絡(luò)安全、交易監(jiān)控提供素材：
銀行專用硬探針采用旁路采集數(shù)據(jù)，支持實(shí)時(shí)可擴(kuò)展功能分析：采用實(shí)時(shí)下載/更新業(yè)務(wù)規(guī)則，解析業(yè)務(wù)流程辨識(shí)規(guī)則更新及關(guān)聯(lián)，可產(chǎn)生各個(gè)業(yè)務(wù)流程及相關(guān)參數(shù)，對(duì)新業(yè)務(wù)及廣域業(yè)務(wù)DPI如手機(jī)銀行可以進(jìn)行深度DPI及業(yè)務(wù)解碼、分析及流程關(guān)聯(lián)。
硬探針具有多個(gè)千兆輸入端口，擴(kuò)展支持4-12個(gè)萬(wàn)兆Combo接口，可以同時(shí)兼顧網(wǎng)絡(luò)流量和交易生產(chǎn)數(shù)據(jù)的實(shí)時(shí)采集、解析與關(guān)聯(lián)。支持10Gbps~40Gbps（按配置）流量實(shí)時(shí)處理、輸出解析完的業(yè)務(wù)及流量信息及數(shù)據(jù)。
與過去在服務(wù)器安裝Agent的軟采集方式相比，探針硬采優(yōu)勢(shì)明顯：非侵入式的部署方式，無(wú)需在銀行服務(wù)器及交易主機(jī)部署監(jiān)測(cè)軟件；采用TAP流量復(fù)制或交換機(jī)數(shù)據(jù)端口鏡像，實(shí)時(shí)復(fù)制采集全部生產(chǎn)區(qū)域的數(shù)據(jù)流，匯聚到探針端口進(jìn)行交易及業(yè)務(wù)流轉(zhuǎn)解析及關(guān)聯(lián)。探針系統(tǒng)與生產(chǎn)主機(jī)采用并行的方式部署，探針可靠性不會(huì)對(duì)生產(chǎn)主機(jī)的可靠性造成影響。
非侵入式部署的優(yōu)勢(shì)：
1、全網(wǎng)采集、多層面數(shù)據(jù)采集、解析、對(duì)業(yè)務(wù)網(wǎng)絡(luò)無(wú)干擾；
2、快速適應(yīng)銀行不斷變化的業(yè)務(wù)需求，及時(shí)響應(yīng)；
3、未來擴(kuò)展到管理網(wǎng)效率高、成本低；
4、探針工作穩(wěn)定性和長(zhǎng)期運(yùn)行可靠性高， 輕松應(yīng)對(duì)系統(tǒng)后續(xù)擴(kuò)容；
5、大流量綜合分析（多層面Lay1~Lay7）可與大數(shù)據(jù)的結(jié)合進(jìn)行統(tǒng)一數(shù)據(jù)分析。
在交換機(jī)節(jié)點(diǎn)布置數(shù)據(jù)采集節(jié)點(diǎn)時(shí)，在交換機(jī)性能許可下，建議盡量采用交換機(jī)端口鏡像復(fù)制匯聚到采集端口，導(dǎo)引到信息采集匯聚交換機(jī)，所有信息經(jīng)匯聚到匯聚交換機(jī)輸出端口，輸出到硬探針設(shè)備。在少數(shù)交換機(jī)無(wú)法進(jìn)行端口鏡像復(fù)制，建議裝入TAP設(shè)備復(fù)制。一般采用1:2或者1:3 TAP復(fù)制分路，數(shù)據(jù)經(jīng)復(fù)制端口輸出后，接入信息采集匯聚交換機(jī)，再接入到探針的輸入口。
實(shí)時(shí) 生產(chǎn)數(shù)據(jù)采集系統(tǒng) 上線后，整體數(shù)據(jù)采集效率大大提升，大部分無(wú)效數(shù)據(jù)在探針解析關(guān)聯(lián)階段就被剔除。經(jīng)過清洗的數(shù)據(jù)通過專用消息接口存入銀行大數(shù)據(jù)平臺(tái)。平臺(tái)的分析展現(xiàn)層對(duì)數(shù)據(jù)進(jìn)行多維度的分析透視，根據(jù)客群分析、精準(zhǔn)營(yíng)銷、銀行反欺詐等不同業(yè)務(wù)類型建立分析模型。分析結(jié)果以圖表化、可定制的方式呈現(xiàn)在用戶終端或大屏幕上。實(shí)現(xiàn)銀行網(wǎng)絡(luò)流量分析、銀行設(shè)備可用性維護(hù)、交易性能監(jiān)控解析和分析。大數(shù)據(jù)平臺(tái)還對(duì)接銀行報(bào)警通道，對(duì)潛在風(fēng)險(xiǎn)通過報(bào)警通道提前預(yù)警。