隨著大數(shù)據(jù)分析的需求越來越旺盛，大數(shù)據(jù)分析工具也越來越琳瑯滿目，然而，絕大多數(shù)的分析工具都只具有單一用途，無法滿足企業(yè)的復(fù)雜的多樣化的全面的業(yè)務(wù)分析需求，因此分析工具的選擇成為了一個挑戰(zhàn)。
一個良好的分析工具必須滿足如下要求：
1） 易學(xué)易用易操作。
2） 分析效率要高。
3） 滿足業(yè)務(wù)分析需求。
如果要說前兩個要求，顯然類似于Excel/Power BI/Tableau等工具都是滿足要求的，但此類工具卻無法解決更復(fù)雜的業(yè)務(wù)問題，比如影響因素分析、客戶行為預(yù)測/精準營銷、客戶群劃分、產(chǎn)品交叉銷售、產(chǎn)品銷量預(yù)測等等，這些需求用Excel/PBI等工具就難以勝任了，需要用到更高級的數(shù)據(jù)挖掘工具，比如IBM SPSS工具。IBM SPSS工具是面向非專業(yè)人士的高級的分析工具（挖掘工具），它提供大量的分析方法和分析模型，能夠解決的業(yè)務(wù)問題更豐富，提供了更加強大的業(yè)務(wù)數(shù)據(jù)分析功能，并且它封裝了具體的分析算法，即使你沒有深厚的技能能力，也能夠勝任復(fù)雜的數(shù)據(jù)分析和挖掘。
本課程面向數(shù)據(jù)分析部等專門負責(zé)數(shù)據(jù)分析與挖掘的人士，專注大數(shù)據(jù)挖掘工具SPSS Statistics的培訓(xùn)。
本課程從實際的業(yè)務(wù)需求出發(fā)，對數(shù)據(jù)分析及數(shù)據(jù)挖掘技術(shù)進行了全面的介紹，將數(shù)據(jù)挖掘標準流程、分析思路、分析方法、分析模型，全部落地在SPSS工具中，通過大量的工具操作和演練，幫助學(xué)員熟練掌握SPSS工具的使用，并能夠?qū)PSS工具在實際的業(yè)務(wù)數(shù)據(jù)分析中滿地，實現(xiàn)“知行合一”。
通過本課程的學(xué)習(xí)，達到如下目的：
1、 了解大數(shù)據(jù)挖掘的標準過程和挖掘步驟。
2、 掌握基本的統(tǒng)計分析，常用的影響因素分析。
3、 理解數(shù)據(jù)挖掘的常見模型，原理及適用場景。
4、 熟練掌握SPSS基本操作，能利用SPSS解決實際的商業(yè)問題。
2~4天時間，或根據(jù)客戶需求選擇（每天6個小時）
知識點
知識點 | 2天 | 4天 |
數(shù)據(jù)挖掘標準流程 | √ | √ |
數(shù)據(jù)流預(yù)處理 | √ | √ |
數(shù)據(jù)可視化 | √ | √ |
影響因素分析 | √ | √ |
數(shù)值預(yù)測模型 | √回歸時序 | √季節(jié)模型 |
回歸模型優(yōu)化 | √ | |
分類預(yù)測模型 | √僅決策樹 | √ANN/SVM/… |
市場客戶劃分 | √ | |
客戶價值評估 | √ | |
假設(shè)檢驗 | √ | |
實戰(zhàn) | √ |
【學(xué)員要求】
1、 每個學(xué)員自備一臺便攜機(必須)。
2、 便攜機中事先安裝好Microsoft Office Excel 2013版本及以上。
3、 便攜機中事先安裝好SPSS Statistics v24版本及以上。
注：講師可以提供試用版本軟件及分析數(shù)據(jù)源。
【授課方式】
基礎(chǔ)知識精講 + 案例演練 + 實際業(yè)務(wù)問題分析 + 工具實際操作
本課程突出數(shù)據(jù)挖掘的實際應(yīng)用，結(jié)合行業(yè)的典型應(yīng)用特點，從實際問題入手，引出相關(guān)知識，進行大數(shù)據(jù)的收集與處理；引導(dǎo)學(xué)員思考，構(gòu)建分析模型，進行數(shù)據(jù)分析與挖掘，以及數(shù)據(jù)呈現(xiàn)與解讀，全過程演練操作，以達到提升學(xué)員的數(shù)據(jù)綜合分析能力，支撐運營決策的目的。
【課程大綱】
第一部分： 數(shù)據(jù)挖掘標準流程
1、 數(shù)據(jù)挖掘概述
2、 數(shù)據(jù)挖掘的標準流程（CRISP-DM）
Ø 商業(yè)理解
Ø 數(shù)據(jù)準備
Ø 數(shù)據(jù)理解
Ø 模型建立
Ø 模型評估
Ø 模型應(yīng)用
案例：客戶流失預(yù)測及客戶挽留
3、 數(shù)據(jù)集的基本知識
a) 存儲類型
b) 統(tǒng)計類型
c) 角度
4、 SPSS工具簡介
第二部分： 數(shù)據(jù)預(yù)處理過程
1、 數(shù)據(jù)預(yù)處理的基本步驟
Ø 數(shù)據(jù)讀取、數(shù)據(jù)理解、數(shù)據(jù)處理、變量處理、探索分析
2、 數(shù)據(jù)預(yù)處理的主要任務(wù)
Ø 數(shù)據(jù)集成：多個數(shù)據(jù)集的合并
Ø 數(shù)據(jù)清理：異常值的處理
Ø 數(shù)據(jù)處理：數(shù)據(jù)篩選、數(shù)據(jù)精簡、數(shù)據(jù)平衡
Ø 變量處理：變量變換、變量派生、變量精簡
Ø 數(shù)據(jù)歸約：實現(xiàn)降維，避免維災(zāi)難
3、 數(shù)據(jù)集成
Ø 外部數(shù)據(jù)讀入：Txt/Excel/SPSS/Database
Ø 數(shù)據(jù)追加（添加數(shù)據(jù)）
Ø 變量合并（添加變量）
4、 數(shù)據(jù)理解（異常數(shù)據(jù)處理）
Ø 取值范圍限定
Ø 重復(fù)值處理
Ø 無效值/錯誤值處理
Ø 缺失值處理
Ø 離群值/極端值處理
Ø 數(shù)據(jù)質(zhì)量評估
5、 數(shù)據(jù)準備：數(shù)據(jù)處理
Ø 數(shù)據(jù)篩選：數(shù)據(jù)抽樣/選擇（減少樣本數(shù)量）
Ø 數(shù)據(jù)精簡：數(shù)據(jù)分段/離散化（減少變量的取值個數(shù)）
Ø 數(shù)據(jù)平衡：正反樣本比例均衡
6、 數(shù)據(jù)準備：變量處理
Ø 變量變換：原變量取值更新，比如標準化
Ø 變量派生：根據(jù)舊變量生成新的變量
Ø 變量精簡：降維，減少變量個數(shù)
7、 數(shù)據(jù)降維
Ø 常用降維方法
Ø 如何確定變量個數(shù)
Ø 特征選擇：選擇重要變量，剔除不重要的變量
² 從變量本身考慮
² 從輸入變量與目標變量的相關(guān)性考慮
² 對輸入變量進行合并
Ø 因子分析（主成分分析）
² 因子分析的原理
² 因子個數(shù)如何選擇
² 如何解讀因子含義
案例：提取影響電信客戶流失的主成分分析
8、 數(shù)據(jù)探索性分析
Ø 常用統(tǒng)計指標分析
Ø 單變量：數(shù)值變量/分類變量
Ø 雙變量：交叉分析/相關(guān)性分析
Ø 多變量：特征選擇、因子分析
演練：描述性分析（頻數(shù)、描述、探索、分類匯總）
第三部分： 數(shù)據(jù)可視化篇
1、 數(shù)據(jù)可視化的原則
2、 常用可視化工具
3、 常用可視化圖形
Ø 柱狀圖、條形圖、餅圖、折線圖、箱圖、散點圖等
4、 圖形的表達及適用場景
演練：各種圖形繪制
第四部分： 影響因素分析篇
問題：如何判斷一個因素對另一個因素有影響？比如營銷費用是否會影響銷售額？產(chǎn)品價格是否會影響銷量？產(chǎn)品的陳列位置是否會影響銷量？
風(fēng)險控制的關(guān)鍵因素有哪些？如何判斷？
1、 影響因素分析的常見方法
2、 相關(guān)分析（衡量變量間的的相關(guān)性）
問題：這兩個屬性是否會相互影響？影響程度大嗎？營銷費用會影響銷售額嗎？
Ø 什么是相關(guān)關(guān)系
Ø 相關(guān)系數(shù)：衡量相關(guān)程度的指標
Ø 相關(guān)系數(shù)的三個計算公式
Ø 相關(guān)分析的假設(shè)檢驗
Ø 相關(guān)分析的基本步驟
Ø 相關(guān)分析應(yīng)用場景
演練：體重與腰圍的關(guān)系
演練：營銷費用會影響銷售額嗎
演練：哪些因素與汽車銷量有相關(guān)性
演練：通信費用與開通月數(shù)的相關(guān)分析
案例：酒樓生意好壞與報紙銷量的相關(guān)分析
Ø 偏相關(guān)分析
Ø 距離相關(guān)分析
3、 方差分析
問題：哪些才是影響銷量的關(guān)鍵因素？
Ø 方差分析解決什么問題
Ø 方差分析種類：單因素/雙因素可重復(fù)/雙因素?zé)o重復(fù)
Ø 方差分析的應(yīng)用場景
Ø 方差分析的原理與步驟
Ø 如何解決方差分析結(jié)果
演練：終端擺放位置與終端銷量有關(guān)嗎？
演練：開通月數(shù)驛客戶流失的影響分析
演練：客戶學(xué)歷對消費水平的影響分析
演練：廣告和價格是影響終端銷量的關(guān)鍵因素嗎
演練：營業(yè)員的性別、技能級別產(chǎn)品銷量有影響嗎？
案例：2015年大學(xué)生工資與父母職業(yè)的關(guān)系
案例：醫(yī)生洗手與嬰兒存活率的關(guān)系
演練：尋找影響產(chǎn)品銷量的關(guān)鍵因素
Ø 多因素方差分析原理
Ø 多因素方差結(jié)果的解讀
演練：廣告形式、地區(qū)對銷量的影響因素分析（多因素）
Ø 協(xié)方差分析原理
演練：飼料對生豬體重的影響分析（協(xié)方差分析）
4、 列聯(lián)分析（兩類別變量的相關(guān)性分析）
Ø 交叉表與列聯(lián)表
Ø 卡方檢驗的原理
Ø 卡方檢驗的幾個計算公式
Ø 列聯(lián)表分析的適用場景
案例：套餐類型對客戶流失的影響分析
案例：學(xué)歷對業(yè)務(wù)套餐偏好的影響分析
案例：行業(yè)/規(guī)模對風(fēng)控的影響分析
第五部分： 數(shù)據(jù)建模過程篇
1、 預(yù)測建模六步法
Ø 選擇模型：基于業(yè)務(wù)選擇恰當?shù)臄?shù)據(jù)模型
Ø 屬性篩選：選擇對目標變量有顯著影響的屬性來建模
Ø 訓(xùn)練模型：采用合適的算法對模型進行訓(xùn)練，尋找到最合適的模型參數(shù)
Ø 評估模型：進行評估模型的質(zhì)量，判斷模型是否可用
Ø 優(yōu)化模型：如果評估結(jié)果不理想，則需要對模型進行優(yōu)化
Ø 應(yīng)用模型：如果評估結(jié)果滿足要求，則可應(yīng)用模型于業(yè)務(wù)場景
2、 數(shù)據(jù)挖掘常用的模型
Ø 數(shù)值預(yù)測模型：回歸預(yù)測、時序預(yù)測等
Ø 分類預(yù)測模型：邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、支持向量機等
Ø 市場細分：聚類、RFM、PCA等
Ø 產(chǎn)品推薦：關(guān)聯(lián)分析、協(xié)同過濾等
Ø 產(chǎn)品優(yōu)化：回歸、隨機效用等
Ø 產(chǎn)品定價：定價策略/最優(yōu)定價等
3、 屬性篩選/特征選擇/變量降維
Ø 基于變量本身特征
Ø 基于相關(guān)性判斷
Ø 因子合并（PCA等）
Ø IV值篩選（評分卡使用）
Ø 基于信息增益判斷（決策樹使用）
4、 模型評估
Ø 模型質(zhì)量評估指標：R^2、正確率/查全率/查準率/特異性等
Ø 預(yù)測值評估指標：MAD、MSE/RMSE、MAPE、概率等
Ø 模型評估方法：留出法、K拆交叉驗證、自助法等
Ø 其它評估：過擬合評估
5、 模型優(yōu)化
Ø 優(yōu)化模型：選擇新模型/修改模型
Ø 優(yōu)化數(shù)據(jù)：新增顯著自變量
Ø 優(yōu)化公式：采用新的計算公式
6、 模型實現(xiàn)算法（暫略）
7、 好模型是優(yōu)化出來的
案例：通信客戶流失分析及預(yù)警模型
第六部分： 數(shù)值預(yù)測模型篇
問題：如何預(yù)測產(chǎn)品的銷量/銷售金額？如果產(chǎn)品跟隨季節(jié)性變動，該如何預(yù)測？新產(chǎn)品上市，如果評估銷量上限及銷售增速？
1、 銷量預(yù)測與市場預(yù)測——讓你看得更遠
2、 回歸預(yù)測/回歸分析
問題：如何預(yù)測未來的銷售量（定量分析）？
Ø 回歸分析的基本原理和應(yīng)用場景
Ø 回歸分析的種類（一元/多元、線性/曲線）
Ø 得到回歸方程的幾種常用方法
Ø 回歸分析的五個步驟與結(jié)果解讀
Ø 回歸預(yù)測結(jié)果評估（如何評估預(yù)測質(zhì)量，如何選擇最佳回歸模型）
演練：散點圖找推廣費用與銷售額的關(guān)系（一元線性回歸）
演練：推廣費用、辦公費用與銷售額的關(guān)系（多元線性回歸）
演練：讓你的營銷費用預(yù)算更準確
演練：如何選擇最佳的回歸預(yù)測模型（曲線回歸）
Ø 帶分類變量的回歸預(yù)測
演練：汽車季度銷量預(yù)測
演練：工齡、性別與終端銷量的關(guān)系
演練：如何評估銷售目標與資源配置（營業(yè)廳）
3、 時序預(yù)測
問題：隨著時間變化，未來的銷量變化趨勢如何？
Ø 時序分析的應(yīng)用場景（基于時間的變化規(guī)律）
Ø 移動平均MA的預(yù)測原理
Ø 指數(shù)平滑ES的預(yù)測原理
Ø 自回歸移動平均ARIMA模型
Ø 如何評估預(yù)測值的準確性？
案例：銷售額的時序預(yù)測及評估
演練：汽車銷量預(yù)測及評估
演練：電視機銷量預(yù)測分析
演練：上海證券交易所綜合指數(shù)收益率序列分析
演練：服裝銷售數(shù)據(jù)季節(jié)性趨勢預(yù)測分析
4、 季節(jié)性預(yù)測模型
Ø 季節(jié)性回歸模型的參數(shù)
Ø 常用季節(jié)性預(yù)測模型（相加、相乘）
案例：美國航空旅客里程的季節(jié)性趨勢分析
案例：產(chǎn)品銷售季節(jié)性趨勢預(yù)測分析
5、 新產(chǎn)品預(yù)測模型與S曲線
Ø 如何評估銷量增長的拐點
Ø 珀爾曲線與龔鉑茲曲線
案例：如何預(yù)測產(chǎn)品的銷售增長拐點，以及銷量上限
演戲：預(yù)測IPad產(chǎn)品的銷量
6、 自定義模型（如何利用規(guī)劃求解進行自定義模型）
案例：如何對餐廳客流量進行建模及模型優(yōu)化
第七部分： 回歸模型優(yōu)化篇
1、 回歸模型的基本原理
Ø 三個基本概念：總變差、回歸變差、剩余變差
Ø 方程的顯著性檢驗：是否可以做回歸分析？
Ø 擬合優(yōu)度檢驗：回歸模型的質(zhì)量評估？
Ø 因素的顯著性檢驗：自變量是否可用？
Ø 理解標準誤差的含義：預(yù)測的準確性？
2、 模型優(yōu)化思路：尋找最佳回歸擬合線
Ø 如何處理異常數(shù)據(jù)（殘差與異常值排除）
Ø 如何剔除非顯著因素（因素顯著性檢驗）
Ø 如何進行非線性關(guān)系檢驗
Ø 如何進行相互作用檢驗
Ø 如何進行多重共線性檢驗
Ø 如何檢驗誤差項
Ø 如何判斷模型過擬合
案例：模型優(yōu)化案例
第八部分： 分類預(yù)測模型篇
問題：如何評估客戶購買產(chǎn)品的可能性？如何預(yù)測客戶的購買行為？如何提取某類客戶的典型特征？如何向客戶精準推薦產(chǎn)品或業(yè)務(wù)？
1、 分類模型概述
2、 常見分類預(yù)測模型
3、 評估分類模型的常用指標
Ø 正確率、查全率/查準率、特異性等
4、 邏輯回歸模型（LR）
Ø 邏輯回歸模型原理及適用場景
Ø 邏輯回歸種類：二項/多項邏輯回歸
Ø 如何解讀邏輯回歸方程
案例：如何評估用戶是否會購買某產(chǎn)品（二項邏輯回歸）
Ø 消費者品牌選擇模型分析
案例：多品牌選擇模型分析（多項邏輯回歸）
5、 分類決策樹（DT）
問題：如何預(yù)測客戶行為？如何識別潛在客戶？
風(fēng)控：如何識別欠貸者的特征，以及預(yù)測欠貸概率？
客戶保有：如何識別流失客戶特征，以及預(yù)測客戶流失概率？
Ø 決策樹分類簡介
Ø 如何評估分類性能？
案例：美國零售商（Target）如何預(yù)測少女懷孕
演練：識別銀行欠貨風(fēng)險，提取欠貸者的特征
Ø 構(gòu)建決策樹的三個關(guān)鍵問題
² 如何選擇最佳屬性來構(gòu)建節(jié)點
² 如何分裂變量
² 修剪決策樹
Ø 選擇最優(yōu)屬性
² 熵、基尼索引、分類錯誤
² 屬性劃分增益
Ø 如何分裂變量
² 多元劃分與二元劃分
² 連續(xù)變量離散化（最優(yōu)劃分點）
Ø 修剪決策樹
² 剪枝原則
² 預(yù)剪枝與后剪枝
Ø 構(gòu)建決策樹的四個算法
² C5.0、CHAID、CART、QUEST
² 各種算法的比較
Ø 如何選擇最優(yōu)分類模型？
案例：商場酸奶購買用戶特征提取
案例：電信運營商客戶流失預(yù)警與客戶挽留
案例：識別拖欠銀行貨款者的特征，避免不良貨款
案例：識別電信詐騙者嘴臉，讓通信更安全
6、 人工神經(jīng)網(wǎng)絡(luò)（ANN）
Ø 神經(jīng)網(wǎng)絡(luò)概述
Ø 神經(jīng)網(wǎng)絡(luò)基本原理
Ø 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
Ø 神經(jīng)網(wǎng)絡(luò)的建立步驟
Ø 神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題
Ø BP反向傳播網(wǎng)絡(luò)（MLP）
Ø 徑向基網(wǎng)絡(luò)（RBF）
案例：評估銀行用戶拖欠貨款的概率
7、 判別分析（DA）
Ø 判別分析原理
Ø 距離判別法
Ø 典型判別法
Ø 貝葉斯判別法
案例：MBA學(xué)生錄取判別分析
案例：上市公司類別評估
8、 K近鄰分類（KNN）
Ø 基本原理
Ø 關(guān)鍵問題
9、 貝葉斯分類（NBN）
Ø 貝葉斯分類原理
Ø 計算類別屬性的條件概率
Ø 估計連續(xù)屬性的條件概率
Ø 貝葉斯網(wǎng)絡(luò)種類：TAN/馬爾科夫毯
Ø 預(yù)測分類概率（計算概率）
案例：評估銀行用戶拖欠貨款的概率
10、 支持向量機（SVM）
Ø SVM基本原理
Ø 線性可分問題：最大邊界超平面
Ø 線性不可分問題：特征空間的轉(zhuǎn)換
Ø 維空難與核函數(shù)
第九部分： 市場細分模型篇
問題：我們的客戶有幾類？各類特征是什么？如何實現(xiàn)客戶細分，開發(fā)符合細分市場的新產(chǎn)品？如何提取客戶特征，從而對產(chǎn)品進行市場定位？
1、 市場細分的常用方法
Ø 有指導(dǎo)細分
Ø 無指導(dǎo)細分
2、 聚類分析
Ø 如何更好的了解客戶群體和市場細分？
Ø 如何識別客戶群體特征？
Ø 如何確定客戶要分成多少適當?shù)念悇e？
Ø 聚類方法原理介紹
Ø 聚類方法作用及其適用場景
Ø 聚類分析的種類
Ø K均值聚類（快速聚類）
案例：移動三大品牌細分市場合適嗎？
演練：寶潔公司如何選擇新產(chǎn)品試銷區(qū)域？
演練：如何評選優(yōu)秀員工？
演練：中國各省份發(fā)達程度分析，讓數(shù)據(jù)自動聚類
Ø 層次聚類（系統(tǒng)聚類）：發(fā)現(xiàn)多個類別
Ø R型聚類與Q型聚類的區(qū)別
案例：中移動如何實現(xiàn)客戶細分及營銷策略
演練：中國省市經(jīng)濟發(fā)展情況分析（Q型聚類）
演練：裁判評分的標準衡量，避免“黑哨”（R型聚類）
Ø 兩步聚類
3、 主成分分析PCA分析
Ø 主成分分析原理
Ø 主成分分析基本步驟
Ø 主成分分析結(jié)果解讀
演練：PCA探索汽車購買者的細分市場
4、 RFM模型客戶細分框架
第十部分： 客戶價值評估
1、 客戶價值評估與RFM模型
問題：如何評估客戶的價值？如何針對不同客戶采取不同的營銷策略？
Ø RFM模型，更深入了解你的客戶價值
Ø RFM的客戶細分框架理解
Ø RFM模型與市場策略
Ø RFM模型與活躍度
演練：“雙11”淘寶商家如何選擇客戶進行促銷
演練：結(jié)合響應(yīng)模型，宜家IKE實現(xiàn)最大化營銷利潤
演練：重購用戶特征分析
第十一部分： 假設(shè)檢驗篇
1、 參數(shù)檢驗分析（樣本均值檢驗）
問題：如何驗證營銷效果的有效性？
Ø 假設(shè)檢驗概述
² 單樣本T檢驗
² 兩獨立樣本T檢驗
² 兩配對樣本T檢驗
Ø 假設(shè)檢驗適用場景
電信行業(yè)
案例：電信運營商ARPU值評估分析（單樣本）
案例：營銷活動前后分析（兩配對樣本）
金融行業(yè)
案例：信用卡消費金額評估分析（單樣本）
醫(yī)療行業(yè)
案例：吸煙與膽固醇升高的分析（兩獨立樣本）
案例：減肥效果評估（兩配對樣本）
2、 非參數(shù)檢驗分析（樣本分布檢驗）
問題：這些屬性數(shù)據(jù)的分布情況如何？如何從數(shù)據(jù)分布中看出問題？
Ø 非參數(shù)檢驗概述
² 單樣本檢驗
² 兩獨立樣本檢驗
² 兩相關(guān)樣本檢驗
² 兩配對樣本檢驗
Ø 非參數(shù)檢驗適用場景
案例：產(chǎn)品合格率檢驗（單樣本-二項分布）
案例：訓(xùn)練新方法有效性檢驗（兩配對樣本-符號/秩檢驗）
案例：促銷方式效果檢驗(多相關(guān)樣本-Friedman檢驗)
案例：客戶滿意度差異檢驗(多相關(guān)樣本-Cochran Q檢驗)
第十二部分： 實戰(zhàn)-數(shù)據(jù)挖掘項目
實戰(zhàn)1：客戶流失預(yù)警與客戶挽留之真實數(shù)據(jù)分析實踐
實戰(zhàn)2：銀行信用風(fēng)險分析
結(jié)束：課程總結(jié)與問題答疑。
市場部、業(yè)務(wù)支撐部、數(shù)據(jù)分析部、運營分析部等對業(yè)務(wù)數(shù)據(jù)分析有較高要求的相關(guān)人員。