數(shù)倉建模全流程?
1.模型建立的過程
其實就是一個業(yè)務(wù)模型——gt概念模型——gt邏輯模型——gt物理模型的過程。讓讓我們詳細解釋在每個建模階段應(yīng)該做些什么。
業(yè)務(wù)建模(需求溝通)
根據(jù)業(yè)務(wù)部門的劃分,明確部門之間的關(guān)系,然后規(guī)劃各部門的具體業(yè)務(wù),與業(yè)務(wù)部門協(xié)商需求指標、存儲年限、維度等。
總的來說,就是知道自己需要什么指標,能提供什么數(shù)據(jù)。
業(yè)務(wù)建模耗時最長,與公司實際業(yè)務(wù)環(huán)境密切相關(guān),需要根據(jù)實際生產(chǎn)環(huán)境和業(yè)務(wù)需求來確認數(shù)據(jù)倉庫使用的工具和平臺。
主要解決業(yè)務(wù)層面的分解和程序化。明確系統(tǒng)邊界,確定學(xué)科領(lǐng)域。
一個
一個
所以業(yè)務(wù)建模階段其實就是一個業(yè)務(wù)與業(yè)務(wù)人員梳理的過程。在這個過程中,不僅可以幫助我們的技術(shù)人員更好地了解業(yè)務(wù),另一方面也可以發(fā)現(xiàn)業(yè)務(wù)流程中一些不合理的環(huán)節(jié),并加以改進。
概念建模|領(lǐng)域建模(繪制并思考如何做)
抽象出業(yè)務(wù)模型,將相似的概念分組合并,提煉概念,抽象出實體之間的關(guān)系,明確各組概念之間的關(guān)系。
說白了就是繪圖,把指標需要的哪些數(shù)據(jù)封裝成一個實體,實體之間的關(guān)聯(lián)用ER圖表示。
先畫一個局部ER圖,再綜合畫一個全局ER圖。
主要是抽象業(yè)務(wù)模型,生成領(lǐng)域概念模型。
一個
一個
在原始數(shù)據(jù)庫的基礎(chǔ)上,建立相對穩(wěn)定和完善的模型。由于數(shù)據(jù)倉庫是對原有數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)進行整合和重組而形成的數(shù)據(jù)集,所以數(shù)據(jù)倉庫的概念模型設(shè)計首先要對原有數(shù)據(jù)庫系統(tǒng)進行分析和理解,看看原有數(shù)據(jù)庫系統(tǒng)中有什么,如何組織,如何分布,然后再考慮如何建立數(shù)據(jù)倉庫系統(tǒng)的概念模型。
數(shù)據(jù)倉庫的概念模型是為整個企業(yè)建立的,它為集成來自各種面向應(yīng)用的數(shù)據(jù)庫的數(shù)據(jù)提供了統(tǒng)一的概念視圖。
概念模型是在更高的抽象層次上設(shè)計的,因此在建立概念模型時不必考慮具體技術(shù)條件的限制。
領(lǐng)域概念建模是使用實體建模的方法,從復(fù)雜的業(yè)務(wù)表示背后抽象出實體、事件、描述等抽象實體,從而找出業(yè)務(wù)表示后抽象實體之間的相互關(guān)聯(lián),根據(jù)數(shù)據(jù)模型保證我們的數(shù)據(jù)倉庫數(shù)據(jù)的一致性和相關(guān)性。
邏輯建模(表格設(shè)計)
物化概念模型,具體考慮概念對應(yīng)的屬性,考慮事件的事實屬性,考慮維度的維度屬性。
總的來說就是建表,前面已經(jīng)畫了關(guān)系圖。這里,只考慮表中有哪些字段,如果是事實表,就考慮事實字段和業(yè)務(wù)。主鍵,如果是維度表,考慮維度屬性,SCD策略等等。您需要在這里確定數(shù)據(jù)的粒度。如果多個指標使用一個字段,則選擇粒度最小的指標。如果指標的度量不確定,則以毫秒級作為粒度。
物理建模(表格構(gòu)建)
綜合現(xiàn)實的大數(shù)據(jù)平臺、采集工具、
怎樣才能成為數(shù)學(xué)建模工程師?
1.有扎實的數(shù)學(xué)基礎(chǔ),接受過嚴格的科學(xué)思維訓(xùn)練,初步掌握數(shù)學(xué)科學(xué)的思維方法;
2.具有應(yīng)用數(shù)學(xué)知識解決實際問題的能力,特別是建立數(shù)學(xué)模型的初步能力,了解某一應(yīng)用領(lǐng)域的基礎(chǔ)知識;
3.具備快速數(shù)學(xué)建模能力,對三維場景建模有一定了解,能夠完成數(shù)學(xué)公式的計算和推導(dǎo);
4.熟練使用計算機(包括常用語言、工具和一些數(shù)學(xué)軟件),并具有編寫簡單應(yīng)用程序的能力;
5、了解國家科技等相關(guān)政策法規(guī);
6.了解數(shù)學(xué)科學(xué)的一些新發(fā)展和應(yīng)用前景;
7.具有較強的語言表達能力,掌握信息查詢、文獻檢索和運用現(xiàn)代信息技術(shù)獲取相關(guān)信息的基本方法,具有一定的科研和教學(xué)能力。