數(shù)據(jù)行業(yè)經(jīng)常會(huì)出現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)中臺(tái)、大數(shù)據(jù)平臺(tái)等概念,容易產(chǎn)生疑問(wèn),它們中間是相等,還是包含的關(guān)系?
|數(shù)據(jù)中臺(tái)
數(shù)據(jù)中臺(tái)是一個(gè)數(shù)據(jù)運(yùn)營(yíng)的概念,主要功能是將跨領(lǐng)域的數(shù)據(jù)集中聚合和治理,將其抽象為服務(wù),提供具有業(yè)務(wù)價(jià)值的邏輯概念。相較于傳統(tǒng)的大數(shù)據(jù)平臺(tái),數(shù)據(jù)中臺(tái)是升級(jí)版的概念,并不再簡(jiǎn)單地將各個(gè)功能混在一起。數(shù)據(jù)中臺(tái)在理念上有幾個(gè)顯著特點(diǎn),首先,更強(qiáng)調(diào)數(shù)據(jù)的集中存儲(chǔ)、統(tǒng)一管理和標(biāo)準(zhǔn)化服務(wù)的提供;其次,它幾乎涵蓋了所有相關(guān)的系統(tǒng),包括數(shù)據(jù)采集、同步、開(kāi)發(fā)、質(zhì)量管理、標(biāo)準(zhǔn)化、元數(shù)據(jù)、數(shù)據(jù)建模和開(kāi)發(fā)、數(shù)據(jù)服務(wù)、安全管理和運(yùn)維管理等方面,需要與后臺(tái)進(jìn)行對(duì)接,為前臺(tái)提供服務(wù);第三,數(shù)據(jù)中臺(tái)并非單純的產(chǎn)品或系統(tǒng),而是將數(shù)據(jù)管理的理念和制度轉(zhuǎn)化為系統(tǒng)和產(chǎn)品的形式進(jìn)行呈現(xiàn),以實(shí)現(xiàn)落地并產(chǎn)生業(yè)務(wù)價(jià)值。數(shù)據(jù)中臺(tái)的目標(biāo)是通過(guò)提供工具、流程和方法論,實(shí)現(xiàn)數(shù)據(jù)能力的抽象、復(fù)用和共享,以賦能業(yè)務(wù)部門(mén),提高實(shí)現(xiàn)數(shù)據(jù)價(jià)值的效率。阿里提出數(shù)據(jù)中臺(tái)的概念,強(qiáng)調(diào)與國(guó)內(nèi)現(xiàn)有大數(shù)據(jù)平臺(tái)的區(qū)別,并專(zhuān)注于解決數(shù)據(jù)孤島、重復(fù)開(kāi)發(fā)的問(wèn)題,強(qiáng)調(diào)數(shù)據(jù)共享和復(fù)用的概念。
|數(shù)據(jù)倉(cāng)庫(kù)
數(shù)據(jù)倉(cāng)庫(kù)是指存儲(chǔ)大量數(shù)據(jù)的一個(gè)系統(tǒng),數(shù)據(jù)倉(cāng)庫(kù)通常被用來(lái)收集、整合和存儲(chǔ)企業(yè)或組織的各類(lèi)數(shù)據(jù),以便進(jìn)行分析和決策。數(shù)據(jù)倉(cāng)庫(kù)具有以下特點(diǎn):
1. 統(tǒng)一性:數(shù)據(jù)倉(cāng)庫(kù)包括企業(yè)內(nèi)的各個(gè)業(yè)務(wù)領(lǐng)域,可將各種分散的數(shù)據(jù)整合起來(lái)。 2. 容錯(cuò)性:可以處理包含異常數(shù)據(jù)或數(shù)據(jù)失真的大型數(shù)據(jù)集。
3. 冗余性:數(shù)據(jù)倉(cāng)庫(kù)允許數(shù)據(jù)的冗余存儲(chǔ),以提高數(shù)據(jù)訪(fǎng)問(wèn)的速度和效率。
4. 支持大數(shù)據(jù)量:數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)可以處理大規(guī)模數(shù)據(jù)。
5. 面向主題:數(shù)據(jù)倉(cāng)庫(kù)是圍繞特定主題或業(yè)務(wù)問(wèn)題來(lái)設(shè)計(jì)和構(gòu)建。 通過(guò)數(shù)據(jù)倉(cāng)庫(kù),企業(yè)可以從海量的數(shù)據(jù)中提取有價(jià)值的信息,用于業(yè)務(wù)分析和決策制定。
大數(shù)據(jù)平臺(tái)作為一套基礎(chǔ)設(shè)施,主要用于處理海量數(shù)據(jù)存儲(chǔ)、計(jì)算以及流數(shù)據(jù)實(shí)時(shí)計(jì)算等場(chǎng)景,并以節(jié)約投資降低成本為出發(fā)點(diǎn)。然而,實(shí)際上從硬件投資到軟件開(kāi)發(fā)都比數(shù)據(jù)倉(cāng)庫(kù)建設(shè)要復(fù)雜得多。
它是一個(gè)集數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算分析、數(shù)據(jù)應(yīng)用與展示的綜合性系統(tǒng),對(duì)數(shù)據(jù)進(jìn)行集成、存儲(chǔ)、管理、分析和挖掘,用于實(shí)現(xiàn)信息的抽象、共享和再利用。大數(shù)據(jù)平臺(tái)能夠集成不同種類(lèi)和來(lái)源的數(shù)據(jù),如結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),并開(kāi)展各種數(shù)據(jù)處理和分析工作,以便獲取寶貴的業(yè)務(wù)洞察,并為組織提供支持業(yè)務(wù)決策的數(shù)據(jù)分析和挖掘服務(wù)。大數(shù)據(jù)平臺(tái)通常包括數(shù)據(jù)采集、傳輸、計(jì)算、存儲(chǔ)和可視化等多個(gè)環(huán)節(jié),以數(shù)據(jù)為核心,提供高效、可擴(kuò)展以及全面的數(shù)據(jù)處理服務(wù)。大數(shù)據(jù)平臺(tái)的建設(shè)可以幫助企業(yè)通過(guò)數(shù)據(jù)價(jià)值鏈的全面管理與醞釀,充分挖掘數(shù)據(jù)的潛值,使得企業(yè)智能化水平和戰(zhàn)略競(jìng)爭(zhēng)優(yōu)勢(shì)進(jìn)一步得以提升。
|數(shù)據(jù)中臺(tái)和數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別是什么?
數(shù)據(jù)中臺(tái)和數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別主要表現(xiàn)在以下幾個(gè)方面:
1、功能定位不同:數(shù)據(jù)中臺(tái)側(cè)重于數(shù)據(jù)的整合、管理、治理、交換和流轉(zhuǎn)等方面,是企業(yè)數(shù)字化轉(zhuǎn)型的關(guān)鍵支撐。而數(shù)據(jù)倉(cāng)庫(kù)主要用于數(shù)據(jù)的存儲(chǔ)、集成和分析,主要面向決策支持和業(yè)務(wù)分析。
2. 場(chǎng)景應(yīng)用不同:數(shù)據(jù)中臺(tái)適用于面向企業(yè)數(shù)字化轉(zhuǎn)型的各種組織形式,可以大規(guī)模地跨部門(mén)、跨系統(tǒng)地?cái)?shù)據(jù)整合,為業(yè)務(wù)研發(fā)提供數(shù)據(jù)支撐。而數(shù)據(jù)倉(cāng)庫(kù)主要面向特定的業(yè)務(wù)領(lǐng)域和業(yè)務(wù)問(wèn)題,提供數(shù)據(jù)分析、挖掘和報(bào)告等服務(wù)。
3. 數(shù)據(jù)處理方式不同:數(shù)據(jù)中臺(tái)采用了現(xiàn)代化的信息技術(shù),如云計(jì)算、大數(shù)據(jù)、人工智能和物聯(lián)網(wǎng)等,把數(shù)據(jù)打通、共享、流轉(zhuǎn)和運(yùn)營(yíng)起來(lái),以滿(mǎn)足企業(yè)數(shù)據(jù)資源共享和創(chuàng)新發(fā)展需要。為企業(yè)的數(shù)據(jù)治理,數(shù)據(jù)運(yùn)營(yíng),而數(shù)據(jù)倉(cāng)庫(kù)則更偏向于批量、離線(xiàn)、載入式、定期和固化的數(shù)據(jù)處理方式。數(shù)據(jù)倉(cāng)庫(kù),做的是數(shù)據(jù)的聚集,通過(guò)在一套數(shù)據(jù)建設(shè)方法論的指導(dǎo)下,構(gòu)建數(shù)據(jù)表,并將幾個(gè)數(shù)據(jù)孤島的數(shù)據(jù)匯總起來(lái),做一定維度上的聚集和提煉;
4. 數(shù)據(jù)管理方法不同:數(shù)據(jù)中臺(tái)融合了數(shù)據(jù)技術(shù)、數(shù)據(jù)治理和業(yè)務(wù)價(jià)值三者,實(shí)現(xiàn)對(duì)企業(yè)客觀數(shù)據(jù)和主觀數(shù)據(jù)的完整管理,從數(shù)據(jù)來(lái)源、數(shù)據(jù)歸檔、數(shù)據(jù)權(quán)限、數(shù)據(jù)合規(guī)、數(shù)據(jù)安全等一系列管理方面來(lái)對(duì)數(shù)據(jù)進(jìn)行全方位的管理與控制。而數(shù)據(jù)倉(cāng)庫(kù)則更強(qiáng)調(diào)數(shù)據(jù)質(zhì)量、數(shù)據(jù)規(guī)范、數(shù)據(jù)清洗、數(shù)據(jù)建模等技術(shù)方法,通過(guò)對(duì)數(shù)據(jù)的標(biāo)準(zhǔn)化和規(guī)范化來(lái)提高數(shù)據(jù)的使用價(jià)值。
5、數(shù)據(jù)的核心理念不同:數(shù)據(jù)倉(cāng)庫(kù)更多的是站在IT技術(shù)的角度,注重?cái)?shù)據(jù)的存儲(chǔ)、整合和分析等方面;而數(shù)據(jù)中臺(tái)則更多地以業(yè)務(wù)為導(dǎo)向,強(qiáng)調(diào)數(shù)據(jù)服務(wù)于業(yè)務(wù)的關(guān)鍵地位,從整合、管理、治理、交換和流轉(zhuǎn)等方面提供支撐,助力企業(yè)數(shù)字化轉(zhuǎn)型。
6、能夠處理的數(shù)據(jù)類(lèi)型不同:傳統(tǒng)數(shù)倉(cāng)的數(shù)據(jù)來(lái)源主要是業(yè)務(wù)數(shù)據(jù)庫(kù),數(shù)據(jù)格式以結(jié)構(gòu)化數(shù)據(jù)為主。而數(shù)據(jù)中臺(tái)的數(shù)據(jù)來(lái)源期望是全域數(shù)據(jù),包括業(yè)務(wù)數(shù)據(jù)庫(kù),日志數(shù)據(jù),埋點(diǎn)數(shù)據(jù),爬蟲(chóng)數(shù)據(jù),外部數(shù)據(jù)等。數(shù)據(jù)的來(lái)源可以是結(jié)構(gòu)化數(shù)據(jù)或者非結(jié)構(gòu)化的數(shù)據(jù)。
7、目標(biāo)不同:數(shù)據(jù)倉(cāng)庫(kù):面向主題、集成、不可更新、歷史數(shù)據(jù)(大)、源數(shù)據(jù)(以結(jié)構(gòu)化為主)、元數(shù)據(jù)(支持?jǐn)?shù)據(jù)建模等)、可擴(kuò)展等。數(shù)據(jù)中臺(tái):融合整個(gè)企業(yè)的全部數(shù)據(jù),打通數(shù)據(jù)之間的隔閡,消除數(shù)據(jù)標(biāo)準(zhǔn)和口徑不一致的問(wèn)題。
通過(guò)以上分析,數(shù)據(jù)中臺(tái)概念是包含數(shù)據(jù)倉(cāng)庫(kù)的,數(shù)據(jù)倉(cāng)庫(kù)是數(shù)據(jù)中臺(tái)中的一部分,包含數(shù)據(jù)存儲(chǔ)的技術(shù)實(shí)現(xiàn)和數(shù)據(jù)流向,而數(shù)據(jù)中臺(tái)除了數(shù)據(jù)倉(cāng)庫(kù)以外還包含數(shù)據(jù)治理的、數(shù)據(jù)運(yùn)營(yíng)的功能,同時(shí)根據(jù)企業(yè)需要的數(shù)據(jù),數(shù)據(jù)中臺(tái)是建立在數(shù)據(jù)倉(cāng)庫(kù)上,還是建立在大數(shù)據(jù)平臺(tái)的存儲(chǔ)結(jié)構(gòu)上。
|數(shù)據(jù)中臺(tái)和大數(shù)據(jù)平臺(tái)的區(qū)別是什么?
大數(shù)據(jù)平臺(tái)是數(shù)據(jù)平臺(tái),是多個(gè)產(chǎn)品的集合,數(shù)據(jù)中臺(tái)不是單純的產(chǎn)品,它是一種數(shù)據(jù)治理和數(shù)據(jù)運(yùn)營(yíng)的機(jī)制,包含業(yè)務(wù)服務(wù)的理念和數(shù)據(jù)治理、數(shù)據(jù)運(yùn)營(yíng)的功能、組織架構(gòu)。兩者的建設(shè)目的都是發(fā)掘數(shù)據(jù)價(jià)值,高效實(shí)現(xiàn)數(shù)字化運(yùn)營(yíng),區(qū)別則在于數(shù)據(jù)中臺(tái)是具備業(yè)務(wù)屬性的,輸入的是原始數(shù)據(jù),輸出的是業(yè)務(wù)部門(mén)可以直接使用的數(shù)據(jù)能力。如果必須要將數(shù)據(jù)中臺(tái)和大數(shù)據(jù)平臺(tái)區(qū)分開(kāi)來(lái),可以說(shuō)數(shù)據(jù)中臺(tái)是建立在大數(shù)據(jù)平臺(tái)的基礎(chǔ)層之上,強(qiáng)調(diào)提供相應(yīng)的工具和機(jī)制來(lái)實(shí)現(xiàn)數(shù)據(jù)能力的全局抽象、共享和復(fù)用。
文章圖片轉(zhuǎn)載于網(wǎng)絡(luò),僅供學(xué)習(xí)與交流,非商業(yè)用途,版權(quán)歸原作者所有,如有侵權(quán),請(qǐng)聯(lián)系我們立即整改刪除。
手機(jī):13609168199
郵件:jason.cui@launchinfo.cn