Python機器學(xué)習算法實(shí)戰

【培訓對象】
IT系統部、大數據系統開(kāi)發(fā)部、大數據建模等IT技術(shù)人員。

【培訓收益】

第一部分：機器學(xué)習基礎
1、機器學(xué)習簡(jiǎn)介
2、機器學(xué)習的種類(lèi)
監督學(xué)習/無(wú)監督學(xué)習/半監督學(xué)習/強化學(xué)習
批量學(xué)習和在線(xiàn)學(xué)習
基于實(shí)例與基于模型
3、機器學(xué)習的主要戰挑
數據量不足
數據質(zhì)量差
無(wú)關(guān)特征
過(guò)擬合/擬合不足
4、機器學(xué)習任務(wù)
監督：分類(lèi)、回歸
無(wú)監督：聚類(lèi)、降維、關(guān)聯(lián)規則
5、機器學(xué)習基本過(guò)程
6、機器學(xué)習常用庫
第二部分：回歸算法實(shí)現
1、建模的本質(zhì)，其實(shí)是一個(gè)最優(yōu)化問(wèn)題
2、回歸模型的基礎
3、基本概念：損失函數
4、線(xiàn)性回歸常用算法
普通最小二乘法OLS
梯度下降算法
牛頓法/擬牛頓法
5、最小二乘法
a)數學(xué)推導
b)OLS存在的問(wèn)題
6、過(guò)擬合解決方法：正則化
嶺回歸（Ridge）
套索回歸Lasso
ElasticNet回歸
各種算法的適用場(chǎng)景
7、超大規模數據集的回歸模型：迭代算法
梯度概念
梯度下降/上升算法
批量梯度BGD/隨機梯度SGD/小批量梯度MBGD
學(xué)習率的影響
早期停止法
8、梯度算法的關(guān)鍵問(wèn)題
9、牛頓法/擬牛頓法
泰勒公式(Taylor)
牛頓法(Newton)
擬牛頓法(Quasi-Newton)的優(yōu)化
DFP/BFGS/L-BFGS
10、算法比較
第三部分：邏輯回歸算法
1、邏輯回歸基礎
2、LR的常用算法
最大似然估計法
梯度算法
牛頓法
3、最大似然估計法
似然函數/損失函數
數學(xué)推導
4、模型優(yōu)化
迭代樣本的隨機選擇
變化的學(xué)習率
5、邏輯回歸+正則項
6、求解算法與懲罰項的關(guān)系
7、多元邏輯回歸處理
ovo
ovr
優(yōu)缺點(diǎn)比較
8、邏輯回歸建模實(shí)戰
案例：用sklearn庫實(shí)現銀行貸款違約預測
案例：訂閱者用戶(hù)的典型特征（二元邏輯回歸）
案例：通信套餐的用戶(hù)畫(huà)像（多元邏輯回歸）
第四部分：決策樹(shù)算法
1、決策樹(shù)簡(jiǎn)介
演練：識別銀行欠貨風(fēng)險，提取欠貸者的特征
2、決策樹(shù)的三個(gè)關(guān)鍵問(wèn)題
最優(yōu)屬性選擇
熵、基尼系數
信息增益、信息增益率
屬性最佳劃分
多元劃分與二元劃分
連續變量最優(yōu)劃分
決策樹(shù)修剪
剪枝原則
預剪枝與后剪枝
3、構建決策樹(shù)的算法
ID3、C4.5、C5.0
CART
4、決策樹(shù)的超參優(yōu)化
5、決策樹(shù)的解讀
6、決策樹(shù)建模過(guò)程
案例：商場(chǎng)酸奶購買(mǎi)用戶(hù)特征提取
案例：客戶(hù)流失預警與客戶(hù)挽留
案例：識別拖欠銀行貨款者的特征，避免不良貨款
案例：識別電信詐騙者嘴臉，讓通信更安全
案例：電力竊漏用戶(hù)自動(dòng)識別
第五部分：神經(jīng)網(wǎng)絡(luò )算法
1、神經(jīng)網(wǎng)絡(luò )簡(jiǎn)介（ANN）
2、神經(jīng)元基本原理
加法器
激活函數
3、神經(jīng)網(wǎng)絡(luò )的結構
隱藏層數量
神經(jīng)元個(gè)數
4、神經(jīng)網(wǎng)絡(luò )的建立步驟
5、神經(jīng)網(wǎng)絡(luò )的關(guān)鍵問(wèn)題
6、BP算法實(shí)現
7、MLP多層神經(jīng)網(wǎng)絡(luò )
8、學(xué)習率的設置
案例：評估銀行用戶(hù)拖欠貨款的概率
案例：神經(jīng)網(wǎng)絡(luò )預測產(chǎn)品銷(xiāo)量
第六部分：線(xiàn)性判別算法
1、判別分析簡(jiǎn)介
2、判別分析算法
中心和方差
類(lèi)間散席Sb
類(lèi)內散席Sw
3、特征值和特征向量
4、多分類(lèi)LDA算法
5、算法實(shí)戰
案例：MBA學(xué)生錄取判別分析
案例：上市公司類(lèi)別評估
第七部分：最近鄰算法（KNN）
1、KNN的基本原理
2、K近鄰的關(guān)鍵問(wèn)題
距離公式
投票機制
3、KNN算法實(shí)現
Brute（蠻力計算）
Kd_tree（KD樹(shù)）
Ball_tre（球樹(shù)）
4、算法比較
第八部分：貝葉斯算法（NBN）
1、貝葉斯簡(jiǎn)介
2、貝葉斯分類(lèi)原理
先驗概率和后驗概率
條件概率和類(lèi)概率
3、常見(jiàn)貝葉斯網(wǎng)絡(luò )
4、計算類(lèi)別屬性的條件概率
5、估計連續屬性的條件概率
6、預測分類(lèi)概率（計算概率）
7、拉普拉斯修正
案例：評估銀行用戶(hù)拖欠貨款的概率
第九部分：支持向量機算法（SVM）
1、支持向量機簡(jiǎn)介
適用場(chǎng)景
2、支持向量機原理
支持向量
最大邊界超平面
3、線(xiàn)性不可分處理
松弛系數
4、非線(xiàn)性SVM分類(lèi)
5、常用核函數
線(xiàn)性核函數
多項式核
高斯RBF核
核函數的選擇原則
6、SMO算法
第十部分：模型集成優(yōu)化篇
1、模型的優(yōu)化思想
2、集成模型的框架
Bagging
Boosting
Stacking
3、集成算法的關(guān)鍵過(guò)程
弱分類(lèi)器如何構建
組合策略：多個(gè)弱學(xué)習器如何形成強學(xué)習器
4、Bagging集成算法
數據/屬性重抽樣
決策依據：少數服從多數
隨機森林RandomForest
5、Boosting集成算法
基于誤分數據建模
樣本選擇權重更新
決策依據：加權投票
AdaBoost模型
6、GBDT模型
7、XGBoost模型
8、LightGBM模型
第十一部分：聚類(lèi)分析（客戶(hù)細分）實(shí)戰
1、聚類(lèi)基本原理
2、K均值聚類(lèi)算法
K均值算法
3、距離計算公式
閔可夫斯基距離(Minkowski Distance)
曼哈頓距離(Manhattan Distance)
歐氏距離(Euclidean Distance)
切比雪夫距離(Chebyshev Distance)
余弦距離(Cosine)
Pearson相似距離
馬哈拉諾比斯距離（Mahalanobis）
漢明距離(Hamming distance)
杰卡德相似系數(Jaccard similarity coefficient)
相對熵（K-L距離）
4、K均值算法的關(guān)鍵問(wèn)題
初始中心的選取方式
最優(yōu)K值的選取
5、聚類(lèi)算法的評價(jià)方法
Elbow method（手肘法）
Calinski-Harabasz Index（CH準則法）
Silhouette Coefficient（輪廓系數法）
Gap Statistic（間隔統計量法）
Canopy算法
6、算法實(shí)戰
案例：使用SKLearn實(shí)現K均值聚類(lèi)
第十二部分：關(guān)聯(lián)規則算法
1、關(guān)聯(lián)規則基本原理
2、常用關(guān)聯(lián)規則算法
Apriori算法
發(fā)現頻繁集
生成關(guān)聯(lián)規則
FP-Growth算法
構建FP樹(shù)
提取規則
3、算法實(shí)戰
案例：使用apriori庫實(shí)現關(guān)聯(lián)分析
案例：中醫證型關(guān)聯(lián)規則挖掘
第十三部分：協(xié)同過(guò)濾算法
1、協(xié)同過(guò)濾基本原理
2、協(xié)同過(guò)濾的兩各類(lèi)型
基于用戶(hù)的協(xié)同過(guò)濾UserCF
基于物品的協(xié)同過(guò)濾ItemCF
3、相似度評估常用公式
4、UserCF算法實(shí)現
計算用戶(hù)間的興趣相似度
篩選前K個(gè)相似用戶(hù)
合并相似用戶(hù)購買(mǎi)過(guò)的物品集
剔除該用戶(hù)已經(jīng)購買(mǎi)過(guò)的產(chǎn)品，得到候選物品集
計算該用戶(hù)對物品的喜歡程度，物品集排序
優(yōu)先推薦前N個(gè)物品
5、ItemCF算法實(shí)現
計算物品間的相似度
篩選前K個(gè)喜歡的物品
合并與前K個(gè)物品相似的前L個(gè)物品集
剔除該用戶(hù)已經(jīng)購買(mǎi)過(guò)的物品，得到候選物品集
計算該用戶(hù)到候選物品的喜愛(ài)程度，物品排序
優(yōu)先推薦前N個(gè)物品
6、關(guān)于冷啟動(dòng)問(wèn)題
7、協(xié)同過(guò)濾算法比較

結束：課程總結與問(wèn)題答疑。