銀行海量交易資料是怎麼儲存的?海量流水資料如何開放給客戶查甚至匯出?

時間 2021-05-31 12:24:27

1樓:zhen-liang

如果人人能購買DB2,自然沒有其他大資料軟體市場了,谷歌設計這個打敗IBM的,當然銀行還是在使用db2,其他行業使用其他軟體

2樓:地主

負責任地告訴LZ,幾大行基於hadoop技術開展的第乙個應用基本都是歷史資料查詢!目前已經有多個行投產上線(最早的13年底就已經投產了)。相比於原來的關係型資料庫,大資料平台可以支撐更多的資料(歷史明細在關係型資料庫看來的海量,對hadoop來說就很小了),基於hbase的查詢效率更高,另外擴充套件性非常好,還有成本非常低、三副本保障資料安全性和系統可用性。

除了歷史查詢之外,幾大行基於hadoop技術開展的第二個應用基本都是反洗錢,這一直是幾大行耿耿於懷的系統,hadoop為解決海量明細的彙總加工提供了良好的解決方案,這個系統有幾個行今年年底前就可以投產上線了。

再下一步一般來說就面臨非結構化資料的儲存了,比如檔案、報表等。

hadoop技術適用於非結構化資料的儲存和管理、結構化資料的簡單加工和查詢、結構化資料相對固定邏輯的邏輯分析處理等,對於結構化資料的多維度統計分析目前大多走的是MPP資料庫的路子,這個技術體系基本可以解決深度加工問題。

總結:目前各銀行對於資料的加工處理基本上走的都是hadoop+MPP資料庫的路子。

3樓:二進位制傻瓜

本人在某四大行資料倉儲部門工作一年多,對這個問題以自己的理解回答下,可能不太準確。對於流水資料(訂單,交易等),線上系統只會儲存幾個月,我們廠一般是三個月,每天的流水會進倉庫,資料倉儲一般儲存13個月的流水。對於更久的資料,歷史資料會歸檔到磁帶,儲存時間一般為20年。

現在我們廠資料倉儲主要是提供給業務部門做資料分析和挖掘,不開放給外部使用

4樓:XX Li

其實你要知道,對於銀行,你的信用卡,貸款,存款,都可以被歸結為兩個操作,借方餘額,貸方餘額的變化。至於你操作的是信用卡還是你的借記卡,對銀行來說,只是不同的系統賬戶。所以,你消費的時候,銀行可能回發這樣一條資料報文:

包括以下資訊日期時間,交易碼(描述交易型別),借方餘額,貸方餘額,科目(銀行對賬使用),系統賬號(明確你的卡號),還有一些其他引數比如說正常欠息其他相關的資訊,在銀行的核心交易系統裡會做相關處理,形成交易流水,同時會觸發餘額的修改,這是後話。從技術角度來看,流水的表的大小應該是最大的。但是,明確了業務型別之後,就像你說的,信用卡還款,交易碼就基本確定了,再用日期加以限制,就剩下幾千萬條資料了。

別擔心銀行的裝置效率問題,它資料不是只存一套。你的記錄會在很短的時間裡出來的!

5樓:Jamie往往

不同銀行的處理方式是不一樣的,看了上面很多回覆,大行或者是資料規劃比較好且落地執行比較銀行的一些處理經驗。對於我所在的銀行,資料儲存缺乏整體規劃,由於各個業務系統各自為政儲存資料,導致了部分資料重複儲存,且各個系統的資料不統一,很難快速獲取到使用者、交易行為的統一檢視,當前資料治理才是第一要務。引入的大資料平台,也僅是將非結構化的資料納入分析範疇,並未在資料儲存方面有多大的改進。

6樓:鄧昳軼

歷史資料查詢在很長時間內都是國內各大銀行的軟肋,特別是對客部分。直到大資料技術的出現,那些說大資料炒作的人睜開眼看看,至少大資料技術解決了實際問題不是嗎?

據我所知,各大行試水大資料都是從歷史資料查詢開始的,有些行已經建成了。我們行也在啟動了,差不多也是HBASE這一套,現在還不敢說效果,等建好了再來答您。

不過可以預見的是,效能不是問題,資料治理方面才是真正的難點。

7樓:du不知道

個人了解:

1、就儲存來說,一般會按照時間維度劃分,時間近的存當前庫,時間久的存資料倉儲。時間近的就是普通庫如主機db,時間遠得就資料倉儲。目前資料倉儲國內採用技術幾乎全是td,它可謂資料倉儲屆的老大,但成本較高。

2、按照政策要求,銀行是需要保留15年的資料供審計。資料儲存也是按照一年,三年,等時間劃分。目前幾大行建成資料倉儲的不多。

3、客戶的查詢一般簡單,銀行資料庫端行已經是做到了讀寫分離,支撐查詢沒有問題。

4、對於處理加工分析一般是在資料倉儲處理,如一些報表等。它一般供業務人員查詢,併發使用者較少。分析可用sas等建模進行分析。

5、由於銀行一般是非實時資料的分析處理,目前也可以採用Hadoop平台進行處理,但處理速度遠不如td。

8樓:爻艮兌

一般都是分級分檔分別儲存的。

比如當月資料存交易系統實時庫里,一年內的存在資料倉儲裡,三年內的存資料倉儲歷史庫里,三年以上的存帶庫里。

至於你說的交易對賬單這樣的給客戶看的東西一般都是加工好的成品資料,所以可以存很久很久的,那才佔多大點空間啊!

銀行的科技系統其實比絕大多數的網際網路科技企業要複雜而龐大得多。

9樓:detail lee

是不是都在用hbase技術架構?

20141206

總結以上各位專家觀點:

1目前銀行對海量歷史資料儲存查詢還是僅支援近期如近三年資料。更老的資料做歸檔到磁帶!那假設客戶要列印二十年前的對賬單呢?

2銀行的ods或是倉庫中對客戶資料進行分析畫像,如風險偏好,信用情況等!分析後的資料一般是吐給下游系統,如crm系統。

3銀行在大資料實踐,如hadoop hbase等方面的實踐都有哪些案例??當然我是看過有銀行利用hbase儲存整合開業以來的歷史流水資料,並對外提供準實時資料介面服務的案例。或是分析行為日誌等!

除此之外還做了哪些嘗試呢??

種子銀行 是怎麼蒐集和儲存種子的?

Meghan Norma 隨著地球歷史的變遷,地球上曾經有過的許多生物物種都逐漸滅絕了,其中也包括不少珍稀植物。目前,據世界環保聯盟 專門負責統計瀕危植物種類數字的官方機構 統計 1 有13 的植物物種可能會滅絕。但是美國科學家說,這個統計數字大大低估了實際情況,真實比例可能高達47 為了儲存地球上...

記憶體是如何儲存資料的?

Sanjay 記憶體是計算機的乙個重要部件,計算機內所有程式的執行都需依託於記憶體。記憶體中主要存放CPU的運算資料以及與外部儲存裝置互動的資料。首先需要了解一下記憶體的物理結構。記憶體由IC電路組成,內部有電源 位址訊號 資料訊號 控制訊號,這些訊號皆通過IC 引腳來實現資料的讀寫操作。圖中 VC...

銀行卡的密碼資料資訊是儲存在卡裡面還是銀行資料庫?

看的 白夜行 吧,以前可能是這樣的,但是現在密碼都是儲存在銀行的主機裡,而且是加密儲存的。每次取錢都會聯機認證密碼。複製銀行卡的,都是在取款機上裝個讀卡器,同時會偷偷裝乙個攝像頭,對準密碼鍵盤。通過按鍵來獲取密碼的。不過銀行也公升級了取款機,比如在插卡口安裝防複製裝置,鍵盤上方加乙個遮擋罩。而且咱們...