直接使用數(shù)據(jù)庫實現(xiàn)統(tǒng)計分析嗎？
不直接使用數(shù)據(jù)庫進行分析，但數(shù)據(jù)庫存儲數(shù)據(jù)。每天公司產(chǎn)生的交易信息會被幾個倉庫同事整理成格式化的數(shù)據(jù)存儲在一個寬表中，而數(shù)據(jù)分析的同學(xué)需要根據(jù)實際業(yè)務(wù)情況以sql的形式檢索數(shù)據(jù)，然后通過exc利用數(shù)據(jù)庫技術(shù)分析大數(shù)據(jù)技術(shù)原理？
數(shù)據(jù)篩選中主要包括以下幾種。分類算法分析
分類數(shù)據(jù)挖掘就是找出常見事物的相同屬性，以及不同事物之間的差異。利用發(fā)現(xiàn)的相似或不同之處對事物進行分類。決策樹的優(yōu)點是描述簡單，在數(shù)據(jù)量較大的情況下仍然可以快速的對數(shù)據(jù)進行分類。分類算法通常基于決策樹來實現(xiàn)。設(shè)置的分類類別都是用葉子節(jié)點表示的，中間節(jié)點用來表示事物的屬性。在構(gòu)造決策樹的時候，決策樹不是完全不變的，而是不斷變化和完善的。通常，建立的決策樹會被實驗。如果決策樹對所有給定對象的分類結(jié)果可以不滿足預(yù)期要求，將通過添加一些特殊示例來改進。這個過程會在后續(xù)的實驗中繼續(xù)，直到?jīng)Q策樹能夠?qū)o定的事物進行準(zhǔn)確的分類，形成更完善的決策樹。
分類算法廣泛用于建立模型，并且經(jīng)常用于信用和客戶類別分析模型。在郵件營銷中，可以利用這種分類算法對現(xiàn)有客戶的過往消費信息進行分析，得到購買力高的客戶特征列表，從而對這類客戶進行精準(zhǔn)營銷，獲取更多客戶。在建立模型時，利用決策樹方法對前期信息進行分類，得到前期消費者的共同點，收集他們的共同特征，得到消費者的主要特征。最后得到一個可以判斷客戶的決策樹，這樣就可以判斷剩下的客戶，得到更有價值的潛在客戶列表。這種方法是在對現(xiàn)有信息進行分析和分類的基礎(chǔ)上，將現(xiàn)有信息分為不同的類別，使企業(yè)能夠更有針對性地為不同群體提供服務(wù)，從而提高企業(yè)決策的效率和準(zhǔn)確性。
聚類算法分析
聚類算法的作用是將具有相同特征的事物進行分組，也叫分組分析。聚類算法可以用來粗略判斷對象被分成多少組，并提供每組數(shù)據(jù)的特征值。在聚類分析中，給定的例子可以分為不同的類別，同一類別中的例子是相關(guān)的，但它們之間并不相關(guān)。聚類算法的重要部分是分類步驟。在對給定的例子進行分類時，需要先選擇一個樣本作為樣本的中心，然后選擇中心距離，將小于中心距離的例子歸入一個集合，其余大于中心距離的例子歸入另一個集合。然后從剩余的樣本中選擇一個新的中心，重復(fù)上述步驟，不斷形成新的類別，直到所有樣本都包含在集合中。
從以上步驟可以看出，聚類算法在分類速度上。度的速度受給定中心距的影響。如果給定的中心距離較小，類別會相對增加，從而降低分類速度。同樣，在聚類算法中，確定實例被劃分到的類別的數(shù)量也是非常重要的。如果分類很多，不僅會花費太多的分類時間，還會失去分類的意義。但是沒有最優(yōu)的方法來確定應(yīng)該劃分多少個類別，只能通過估算來計算。聚類算法處理的數(shù)據(jù)在同一類中非常接近，在不同類中差異很大。在聚類算法中，數(shù)據(jù)之間的間隔通常用距離來表示，也就是說，數(shù)據(jù)之間的任何距離都可以通過函數(shù)轉(zhuǎn)換成實數(shù)。通常實數(shù)越大，距離越遠。
關(guān)聯(lián)算法分析
關(guān)聯(lián)算法用于表達兩個事物之間的關(guān)系或依賴關(guān)系。事物之間的關(guān)聯(lián)通常有兩種，一種叫相關(guān)，一種叫關(guān)聯(lián)。兩者都是用來表示事物的關(guān)聯(lián)性，但前者通常是用來表示互聯(lián)網(wǎng)內(nèi)容和文檔的關(guān)聯(lián)性，后者通常是用來表示電子商務(wù)中各種網(wǎng)站的產(chǎn)品之間的關(guān)系，但兩者并無本質(zhì)區(qū)別。由于關(guān)聯(lián)算法是用來表達兩個事物之間的關(guān)系或依賴關(guān)系的，所以需要對相關(guān)性進行定量的度量。這個概念叫做支撐，即一種商品出現(xiàn)時，另一種商品伴隨出現(xiàn)的概率。
關(guān)聯(lián)算法的數(shù)據(jù)挖掘通常分為兩步。第一步，找到集合中出現(xiàn)頻率高的項目組，作為整個記錄必須達到一定的級別。一般認(rèn)為設(shè)置需要分析實體之間的支持。如果兩個實體之間的支持度大于設(shè)定值，則稱為高頻項目組。第二步，用第一步找到的高頻項目組來確定它們之間的關(guān)系，通常用它們之間的概率來表示。即計算A事件發(fā)生時B事件發(fā)生的概率，公式為(A和B同時發(fā)生的概率)/(A發(fā)生的概率)。只有當(dāng)比率滿足既定的概率時，才能解釋這兩個事件有關(guān)聯(lián)。關(guān)聯(lián)分析可以從數(shù)據(jù)庫中找出現(xiàn)有數(shù)據(jù)之間隱藏的關(guān)系，從而利用這些數(shù)據(jù)獲取潛在的價值。