nzc / tencent-contest Goto Github PK

运行环境: ubuntu 14.04, 256g以上的内存, 1T以上的磁盘，nvidia 1080 ti, python2.7 Python环境: sklearn, lightgbm, tensorflow-gpu, xgboost 文件说明: src文件夹包含converters文件夹 converters文件夹包含如下： （1）pre-csv.py 将原始的数据文件进行拼表 （2）combine_and_shuffle.py 将初赛数据与复赛数据拼一起，随机打乱 （3）pre-dnn.py 生成dnn的特征数据文件 （4）pre-gbdt.py 生成gbdt的特征数据文件 （5）lgb_analyze_importance.py 利用lgb分析特征重要性 （6）ensemble.py 对多个结果做加权组合 （7）norm_ensemble.py 对多个结果进行归一化后再做加权组合

data文件夹主要用于存在数据

models文件夹用于存放模型，文件夹包含模型如下：
（1）lgb.py 训练lgb模型
（2）tf_NFM.py 定义nffm模型
（3）run_tf_nfm.py 将全部数据一次加载进内存来训练nffm模型
（4）run_tf_nfm_by_part.py 将数据分批次加载进入内存来训练nffm模型
（5）xgb.py 训练xgb模型

utils文件夹用于存放参数文件和辅助函数类：
（1）args.py args2.py args3.py donal_args.py nzc_args.py 都是参数文件，用于用不同的参数来训练模型
（2）tencent_data_func.py 定义了大量的特征工程及其他数据操作相关的辅助函数，由于迭代太多，里面有点杂乱

gbdt_run.sh文件可生成gbdt的特征数据文件，训练lgb模型。值得注意的是，gbdt的特征数据文件的生成需要耗费大量的时间，
本人使用了5台服务器跑了接近4天才将特征完全完成生成完，而lgb模型对我的成绩提升其实很少，lgb的成绩为0.760左右，
只为我的最终成绩带来了万分位的提升。如果机器不足，不建议生成gbdt的特征。而且gbdt的特征占用了大概500g的磁盘空间。

run.sh文件可生成dnn的特征数据文件，并训练lgb模型。值得注意的是，该文件只会跑一次dnn模型。实际上，dnn模型一般一轮收敛，
十分吃数据的分布，在同样的参数下，使用打乱样本顺序，训练多次结果取平均都可以获得4-5个千分位的提升。而我的dnn模型的单次成绩为
0.770~0.771之间，跑5-10次，取平均分数可以接近b榜的0.774-0.775之间。将参数和对正样本加权等改动，跑多次结果取平均
，可以到达0.775以上。

运行说明： 将原始数据放进data文件，运行run.sh文件即可。 值得注意的是，初赛的数据要在前面加 "chusai_"的前缀标志。向量特征（比如interest1等）的特征生成如果使用一台服务器，可能需要两天左右。 dnn模型的训练时间大概是2.5-3个小时之间。 lgb模型训练时间大概为10个小时左右。 xgb的训练时间大概是30多个小时。 如果是xgb的loss function设置为pair rank，可能需要2天多的时间。

特征说明： dnn的特征主要包括6类特征： （1）原始onehot特征，比如aid，age，gender等。 （2）向量特征，比如interest1，interest2，topic1，kw1等 （3）向量长度统计特征：interest1，interest2，interest5的长度统计。 （4）uid类的统计特征，uid的出现次数，uid的正样本次数，以及uid与ad特征的组合出现次数，组合正样本次数。 （5）uid的序列特征，比如uid=1时，总共出现了5次，序列为[-1,1,-1,-1,-1]， 则第一次出现时，特征为【】 第二次出现时，特征为【-1】 第三次出现时，特征为【-1，1】 第四次出现时，特征为【-1，1，-1】 第五次出现时，特征为【-1，1，-1，-1】 （6）组合特征：age与aid的组合，gender与aid的组合，interest1与aid的组合，interest2与aid的组合。 值得注意的是，上面是总的类别介绍，但是实际上在模型运行中，本人构造了大量的特征，做了一个大的特征集合，每次训练的是小的特征集合，最后融合。 只是效果提升似乎也没有多明显。所以这里只选取了最优成绩的特征工程。

gbdt的特征主要包括：
（1）原始特征的转化率，如果是向量特征的话，则取转化率最大的作为表示
（2）原始特征的组合转化率，包括用户内部的特征组合，用户与广告的特征组合
（3）原始特征的出现次数，如果是向量特征的话，则取出现次数最大的作为表示
（4）原始特征的组合出现次数，包括用户内部的特征组合出现次数，用户与广告的特征组合出现次数
（6）uid的出现次数和转化率，uid与广告特征的组合出现次数和转化率
值得注意的是，gbdt的特征会进行用一个小的数据集进行遍历，对特征进行排序，最后分别取top200，top400的特征集合进行全集的训练。
在top200的情况下，线上的成绩为759左右。
top400的情况下，需要将数据分成两部分训练取平均，成绩为761左右。

模型说明： 本人的最优模型为去年冠军的nffm模型，但是设计了一些过滤交叉的条件，比如广告内部的特征不做交叉。本人也尝试过多种其他模型的方案， 但是单模型都比不过nffm模型。但本人在组合时尝试使用了其他dnn模型进行训练的结果来组合，由于没有控制变量对比（组合时同时加入了nffm不同参数 的训练结果，以及nffm对正样本加权后的训练结果），不知道组合后的效果的提升是多少，甚至有可能是降低的也说不定。