資料分析的一般流程有哪些?

時間 2021-06-29 19:02:19

1樓:深海

通用型的資料分析可以參考:CRISP-DM (cross-industry standard process for data mining), 即為"跨行業資料探勘過程標準".

上圖的外圈象徵資料探勘自身的迴圈本質――在乙個解決方案發布之後乙個資料探勘的過程才可以繼續。在這個過程中得到的知識可以觸發新的,經常是更聚焦的商業問題。後續的過程可以從前乙個過程得到益處。

業務理解(Business Understanding)

最初的階段集中在理解專案目標和從業務的角度理解需求,同時將這個知識轉化為資料探勘問題的定義和完成目標的初步計畫。

資料理解(Data Understanding)

資料理解階段從初始的資料收集開始,通過一些活動的處理,目的是熟悉資料,識別資料的質量問題,首次發現資料的內部屬性,或是探測引起興趣的子集去形成隱含資訊的假設。

資料準備(Data Preparation)

資料準備階段包括從未處理資料中構造最終資料集的所有活動。這些資料將是模型工具的輸入值。這個階段的任務有個能執行多次,沒有任何規定的順序。

任務包括表、記錄和屬性的選擇,以及為模型工具轉換和清洗資料。

建模(Modeling)

在這個階段,可以選擇和應用不同的模型技術,模型引數被調整到最佳的數值。一般,有些技術可以解決一類相同的資料探勘問題。有些技術在資料形成上有特殊要求,因此需要經常跳回到資料準備階段。

評估(Evaluation)

到專案的這個階段,你已經從資料分析的角度建立了乙個高質量顯示的模型。在開始最後部署模型之前,重要的事情是徹底地評估模型,檢查構造模型的步驟,確保模型可以完成業務目標。這個階段的關鍵目的是確定是否有重要業務問題沒有被充分的考慮。

在這個階段結束後,乙個資料探勘結果使用的決定必須達成。

部署(Deployment)

通常,模型的建立不是專案的結束。模型的作用是從資料中找到知識,獲得的知識需要便於使用者使用的方式重新組織和展現。根據需求,這個階段可以產生簡單的報告,或是實現乙個比較複雜的、可重複的資料探勘過程。

在很多案例中,這個階段是由客戶而不是資料分析人員承擔部署的工作。

以上過程可以根據實際的情況刪減和簡化,建模部分可能是程式模型,也可以是分析模型

2樓:

1.發現需要解決的問題

2.判斷問題是否可以用量化分析方法解決

3.找到自變數與因變數

4.用合理的方法收集可靠的資料

5.對收集的一手或二手資料,進行必要的清洗6.用合適的方法對資料進行分析判斷

7.由分析結果給出需要解決問題的答案

資料分析有哪些難處?

從業資料相關的領域已逾5年,主要從事技術方面的工作,但也想從自身的角度來回應一下這個問題,也許身處邊緣地帶更能客觀理性地看待其中的 難處 首先,技能和工具。作為資料分析師,必然要熟悉各種工具的使用 SQL,分布式資料處理,資料視覺化等等。要跨過技能難關,無捷徑,要在實際工作中不斷積累經驗。第二,業務...

大資料分析中,有哪些常見的大資料分析模型?

牛博 模型其實就是一數學函式對映,從應用層角度來看,會有一些通俗的名字,簡單羅列一下 一 使用者模型 二 事件模型 三 漏斗模型 四 熱圖分析模型 五 自定義留存分析模型 六 粘性分析 七 全行為路徑分析 八 使用者分群模型 九 Session 分析 十 間隔分析 十一 分布分析 十二 營銷廣告投放...

你最常用的資料分析方法有哪些?

我是萬能小滑塊 osm理論作為核心指導 乙個核心指標 main measure 由此拆分成多個次級指標 submeasure 指標之間相互對比看差異,指標不同時間對比看趨勢,有異常現象的就著重指出並給予相應的優化策略 strategy 愛資料 小桔 資料分析過程的主要由識別資訊需求 收集資料 分析資...