可以用通俗的語言解釋dw和ods的區別麼,城商行體量的銀行建立哪個更合適?

時間 2021-10-26 11:19:33

1樓:鄧昳軼

這個問題我先佔位了,過去幾年剛剛經歷了這個過程。

先說結論ods要建、dw慎行、資料標準化得在這個基礎上落地,越早越好。現在是爪機,有電腦再來更新。

----如約更新----

ods,所謂操作型資料儲存,其特點是面向應用、需求驅動、自頂向下建設的,沒有成熟的經驗模型可借鑑,完全是終端應用需要什麼建什麼。上下游不多的時候,資料容量不大的時候,絕對是小而美的選擇。

DW,資料倉儲,其特點是面向資料的、資料驅動、自底向上建設的,使用成熟的多年經驗積累的所謂金融資料模型把資料存下來,然後在此基礎上再按需建設彙總層和集市區。其價值主要體驗在遮蔽了上游變化,可以長期系統的儲存上了。

所以只要系統夠多、資料量夠大了就一定要從ODS過渡到DW了?

理論上是,但做架構很多時候要求看到之外,還需要評估現有資源能否做到:

1、錢夠不夠?

好吧,對銀行來說,這通常最不是問題,但投入產出比,你得讓領導有個意識吧?

2、人夠不夠?

不僅是人員的技術積累要夠,人數上也不能少,這麼關鍵的平台專案(資料的corebank),全部丟給外包,你領導不會打死你?

3、技術夠不夠成熟

看到這兒有人會笑了,數倉多少年了,還會不成熟?要是多年前,數倉沒什麼選擇,但是現在真的得好好想想了。

傳統數倉就那幾家MPP架構的一體機,賣的是裝置(其實配置不高)和成熟的金融資料模型。其中裝置已經毫無優勢可言,不僅貴,而且經常還面對擴充套件性不好的問題。另外乙個金融資料模型,現在對它的質疑也越來越多,它的三正規化建模給它帶來了兩大優勢:

一是更高的儲存價效比——相對於昂貴的擴容成本,此項優勢不明顯。二是遮蔽上下游變化帶來的影響——這原本是我們最寄予希望的地方,但實際使用效果卻很不理想。模型用了這麼多年,肯定有它的價值,但是否也慢慢跟不上時代了呢?

而且其中更關鍵的因素是否現在的所謂建模人員還有過去那些老手的能力嗎?是否因為只會翻手冊,而不知道如何演進模型了呢?

總之,以我有限的了解情況,用了MPP架構數倉的機構,要麼有強大的財力支援他們不斷擴容,要麼形成了實質上的多個資料倉儲,其價值,真的需要大大地打個問號

現在Hadoop這類大資料技術,帶來了更高的價效比,更優秀的擴充套件能力以及更加強大的處理能力,但關鍵是銀行這種骨子裡保守的機構,有魄力像網際網路公司一樣把它作為資料倉儲嗎?就算領導層敢,這項技術也還在不斷演進和成熟,你的人員儲備和應用壓力允許你不斷探索試錯嗎?

以上,根據目前城商行的普遍體量和資料狀況,個人建議是:

先建基於傳統關係型資料庫的ODS,數倉緩一緩,待大資料技術成熟易用易用以後,直接上基於大資料技術的資料倉儲。

然而,樓主現在面對的問題確實不是ODS或是DW能解決的。所以從現在開始就做資料質量管控吧,六西格瑪原則要落到實處,與績效掛鉤,越早做付出的代價越小,這真的是血的教訓,遠遠比建ODS還是DW重要多了。

當然,有乙個統一管控的地方會讓資料質量管控更容易,從乙個簡單可控的ODS開始吧。

以上,供題主參考。

用最通俗的語言解釋光錐?

半路殺出的辰妖精 過去光錐 和 未來光錐 以 現在 為點對稱,所以 過去光錐 內發生過的某事件一定會影響 未來光錐 內的某事件,也就是說 未來光錐 內的某事件一定有 過去光錐 內與之對應的某事件 是為 因果 所以有句話說 光錐之內都是命運 看圖意會太陽系運動,然後腦補剩下的 雲天明 以下敘述來自 時...

怎麼用通俗的語言解釋特高壓?

用最簡單的物理理論講特高壓的必要性。輸電要用電纜,電纜有電阻,所以輸電有損耗。中學物理電學部分的基礎公式之一,焦耳定律公式,Q I2Rt,此處2為平方。耗電量 電流的平方x電阻x通電時間。這個公式適用於純電阻電路,比如輸電網中那長長的電纜。此時引入第二個中學物理電學基礎公式,P UI。輸送電能P,等...

可以用通俗的話語解釋一下保理嗎?

鉤沉 保理合同是民法典新增的有名合同,本質上是非典型擔保合同,商事合同。最主要的區別有無追償權的問題,比如我對乙公司享有1000萬的應收賬款,但乙公司缺錢,我又找丙銀行簽署了乙份有追償權的保理合同,把我對乙公司享有的這1000萬質押給了丙銀行。然後丙銀行就給乙公司放款600萬,利息加在一起700萬。...