audrena / machine-learning Goto Github PK

1）凸二次规划、拉格朗日对偶性与KKT条件

2）硬间隔最大化

3）软间隔最大化

4）Kernel Trick

1）GBDT：GBDT理论详解

2）GBDT+LR：GBDT与LR的融合理论详解

• 代码：lightgbm_lr.py
• 代码：xgboost_lr.py
• 代码：gbdt_lr.py
• GBDT系列算法与LR融合与性能对比

3）XGBoost：XGBoost理论详解

• 自定义损失函数：

  • Jupyter：XGB自定义损失.ipynb
  • 代码：xgb_custom_lossfunc.py

  

• 通过early_stopping确定合理的基学习器个数：

  • Jupyter：early_stopping_rounds
  • 代码：xgb_early_stopping.py

4）AdaBoost：AdaBoost详解

5) LightGBM：LightGBM详解

1）Stacking：Stacking详解

2）二级Stacking的个人实现：stacking_models.py

3）个人实现与Mlxtend对比： stackingmodels_vs_mlxtend.py

1）Spectral Clustering详述

• 瑞利商的性质及其证明
• 拉普拉斯矩阵的最小特征值

2）密度聚类DBSCAN

3）K均值聚类KMeans

4）层次聚类BIRCH

1.1 综述：数据探索分析

1.2 对多个数据进行探索性分析

• 1）对Titanic数据集进行探索

• 2）回归问题中的相关系数矩阵与热力图(以Boston数据集为例)

• 3）对iris数据集进行数据探索

2.1 数据预处理综述

2.2 数据的标准化、归一化与正则化

2.3 One-Hot 编码

2.4 特征共线性问题

2.5 非正态分布数据的处理

1）三大特征选择理论综述

2）Filter：filter.py

3）Wrapper：wrapper.py

4）Embedded：embedded.py

1）PCA理论详解

• 奇异值分解(SVD)实现PCA：pca_svd.py
• 特征值分解(EVD)实现PCA：pca_evd.py

2）KernelPCA理论详解

• KernelPCA重构矩阵：KernelPCA重构矩阵理论分析
• KernelPCA异常检测：Recon_Error_KPCA.py

3）SVD理论详解

• 验证：sklearn采用SVD实现PCA.ipynb
• 运用TruncatedSVD进行图像处理：truncated_svd_cat

1）离散型特征

• 生成哑变量：OneHotEncoder + pandas.get_dummies

• 高基数类别特征的处理

  • 代码：high_categorical.py
  • 实例：处理150个不重复取值的邮政编码

2）时间型特征的处理

• 代码：create_time_feature.py
• 实例：根据时间戳生成时间型索引&透视分析.ipynb

3）连续型特征的处理

• 连续型特征的分箱处理.ipynb
• 长尾数据的处理.ipynb

出处：蚂蚁金服-风险大脑-支付风险识别大赛(第一赛季)

代码实现：coverage.py

定义：

出处： Addressing the Curse of Imbalanced Training Sets: One-Sided Selection [Miroslav Kubat, Stan Matwin; 1997]

代码实现： gmean.py

定义：

1）KS值定义： max(TPR-FPR)

2）KS值代码实现：ks_value.py

3）KS绘制曲线代码：ks_curve.py

1）ROC绘制代码：roc.py

2）PRC绘制代码：prc.py

3）综合：绘制KS、ROC、PRC曲线.ipynb

运用joblib序列化各反序列化机器学习模型： joblib.py

运用pickle序列化/反序列化机器学习模型： pickle.py

1.1 泰勒展开式与梯度下降法

1.2 牛顿法与拟牛顿法

1.3 梯度下降法 vs 牛顿法

2.1 六大损失函数

2.2 熵、KL散度、交叉熵

2.3 Huber Loss & Fair Loss

2.4 经验风险、期望风险、结构风险

3.1 Bias-Variance Tradeoff

3.2 生成模型与判别模型