一一中文网

手机浏览器扫描二维码访问

第63章 kaggle初体验（第3页）

另一个专注于模型集成的Kernel更是让他大开眼界。

作者没有只用一个模型，而是构建了一个“投票分类器”

（Votingclassifier），融合了逻辑回归、随机森林、梯度提升、xGboost等多个模型的预测结果，并细致地调整了各模型的权重和超参数。

代码中还使用了更高级的交叉验证策略和评估指标（如AUc-Roc曲线）。

“原来差距在这里”

。

林晨深吸一口气，既有挫败感，更有一种豁然开朗的兴奋。

他之前的做法，就像一个只学会了步枪射击基础动作的新兵，而顶尖选手已经在熟练运用各种特战装备，研究地形，制定协同战术。

他不再急于提交自己那可怜的80.1%准确率的预测结果。

而是沉下心来，像一个贪婪的海绵，吸收着这些公开代码中的精华。

他新建了一个Notebook，开始模仿着进行更细致的数据探索可视化。

年龄分布与幸存率的关系图显示，儿童和老人存活率更高；性别与舱位等级的交叉分析揭示，头等舱的女性存活率极高；家庭规模与存活率呈现复杂的非线性关系……

基于这些洞察，他重新设计特征。

他借鉴思路，创建了“title”

（称呼）特征，将“稀有称呼”

如“Lady”

“countess”

等归为一类；根据客舱号首字母推断“deck”

（甲板），缺失的单独归类；结合年龄和性别创建“Ageclass”

“AgeSex”

等交互特征；甚至尝试对票价进行对数变换以缓解偏态分布。

模型方面，他开始尝试简单的堆叠（Stacking）。

用随机森林、Gbdt和SVm作为第一层模型，用逻辑回归作为第二层元模型进行融合。

调参过程更加小心，他学习了使用随机搜索（RandomizedSearchcV）在更大参数空间内高效寻优，并开始关注学习曲线来判断模型是否欠拟合或过拟合。

重新训练，验证集准确率缓缓爬升到81.3%、81.7%……

他将这个融合模型在完整的训练集上重新训练，然后对测试集进行预测，生成提交文件。

上传，等待系统评分。

页面刷新，结果出现：

publicScore（基于测试集部分数据的公开分数）——0.8132。

准确率约81.32%。

他立刻去看排行榜。

密密麻麻的名单，他按分数从高到低寻找自己的名字“dawncoder”

。

下滑，再下滑……终于在两千多名的位置找到了自己。