每年秋招季一过总有人来找我要往年的数据挖掘笔试题做参考其中被问得最多的就是网易2018校园招聘数据挖掘工程师笔试卷。说句实话虽然这份卷子是好几年前的了但它基本代表了国内一线互联网公司对数据挖掘岗位候选人的核心考察思路题型结构和考点分布至今仍然被很多公司的笔试题反复借鉴。今天我就以这份卷子为主线把数据挖掘笔试到底在考什么、怎么准备、哪些坑最容易踩一次性说清楚。这篇文章不是简单地给你背几道题的答案而是从出题人的视角拆解考察逻辑。不管你是正在准备校招的应届生还是想转行做数据挖掘的从业者只要你需要应对数据挖掘、机器学习相关岗位的笔试和面试这篇文章都值得你认真读完。我会结合当年实际做题的经验和后来带新人时总结的方法论尽量做到有体系、能落地。1. 笔试整体定调数据挖掘工程师到底在筛选什么样的人1.1 从岗位定位反推考察目标网易2018校园招聘数据挖掘工程师笔试卷首先要明确它是给“数据挖掘工程师”岗位用的不是通用后端的笔试题。数据挖掘工程师和纯算法研究员有个明显区别研究员更看重理论创新而数据挖掘工程师需要在真实业务场景里解决问题所以笔试卷必须兼顾数学基础、工程能力和业务敏感度。这几年我带过不少新人发现很多人对笔试的认知存在偏差。有人疯狂刷LeetCode以为算法题是全部有人只背机器学习公式结果遇到业务场景题完全不会转换。实际上数据挖掘岗位的笔试本质上是想在三小时内回答三个问题第一你的数学功底够不够扎实能不能理解模型背后的原理第二你的工程能力能不能支撑你落地一个方案包括写代码、处理数据、调参这些具体操作第三你面对一个模糊的业务问题时有没有结构化的分析思路能不能把问题转化为可量化的技术方案。1.2 这类卷子的典型题型结构网易这份卷子属于典型的互联网大厂数据挖掘笔试风格题量适中但覆盖面广。大致可以分成五个模块机器学习与数据挖掘基础考察LR、SVM、决策树、集成学习、聚类、降维等核心算法的原理、适用场景和优缺点。概率论与数理统计考察常见分布、期望方差、极大似然估计、假设检验、贝叶斯公式等这些是数据挖掘的理论地基。特征工程与业务场景题给出一个业务问题要求你设计方案比如用户流失预测、推荐系统排序、异常检测等。SQL与数据处理能力考察join、group by、窗口函数、去重计数等实际取数技能。编程与算法实现要求在限定时间内手写代码可能是实现一个算法也可能是常规的数据结构与算法题。这个结构很有意思它和纯算法岗笔试有重叠但更强调“处理数据”的能力。你会发现SQL和特征工程在数据挖掘岗笔试里出现的频率明显高于算法研究员岗这正是岗位定位的体现。2. 核心考点拆解机器学习基础题必须达到的条件反射级别2.1 经典模型的原理、推导与比较机器学习基础部分是数据挖掘笔试卷的绝对核心。2018年网易这份卷子里的机器学习题目放到今天来看仍然很有代表性。常见考察方式包括给一个场景选模型、对比两个模型的区别、推导某个算法的损失函数或更新公式、判断某个说法是否正确。先说逻辑回归LR这个模型在笔试中的出镜率极高。因为它既是线性模型的代表又是点击率预估等工业场景的基石。常考的点包括为什么LR的损失函数用交叉熵而不用均方误差、LR和线性回归的区别、LR处理非线性特征的方式、正则化项的作用等。有一个高频问题我几乎每次都会被问到LR为什么适合做大规模稀疏特征答案要点在于LR的预测函数是Sigmoid梯度更新时计算复杂度与特征维度线性相关加上L1正则天然能做特征选择这些特性组合起来使其非常适合工业界的海量稀疏场景。再看SVM它的考察重点往往在核函数和间隔最大化上面。硬间隔、软间隔、KKT条件、核技巧的原理这些概念需要能用自己的话讲清楚。有一类题我印象很深给出两个模型问你它们在某个数据集上分别会有什么表现。这种题考察的不是背公式而是对模型偏差方差权衡的理解。SVM对噪声敏感、树模型对特征尺度不敏感这些结论背后都是有原因的。决策树和集成学习GBDT、XGBoost、随机森林也是重头戏。信息熵和信息增益的计算题基本是送分题但很多人会栽在“决策树为什么容易过拟合”和“Bagging与Boosting的区别”这类理解题上。我建议把XGBoost列入必学清单因为面试官特别喜欢问它相比于GBDT做了哪些优化包括二阶泰勒展开、正则项、列采样、并行化等。你不需要能徒手实现XGBoost但至少要知道它的目标函数长什么样、为什么这样做能提升效果。2.2 无监督学习与评价指标的隐藏考点除了监督学习聚类和降维在数据挖掘笔试中也占有一席之地。K-Means的计算流程和K值选择、K-Means与层次聚类的对比、PCA的数学原理这些都属于基本功。有一个容易忽略的点是聚类结果的评估。数据挖掘工程师做业务时经常需要做用户分群所以笔试题可能会问“如何评估聚类效果”这时候你需要区分有标签情况下的外部指标如ARI、NMI和无标签情况下的内部指标如轮廓系数、DBI。评价指标本身也是一个高频出题点。准确率、精确率、召回率、F1、AUC、LogLoss这些必须滚瓜烂熟。尤其是AUC常考的问题包括AUC的物理意义是什么、AUC为什么对正负样本比例不敏感、ROC曲线怎么画。我遇到过一个很经典的变形题在正负样本比例严重失衡的情况下精确率和召回率会发生什么变化AUC又会发生什么变化。这类题没有标准计算公式可以套全靠你概念理解得深不深。一个备考上的建议是不要只记结论要能把每个指标的公式自己推导一遍。比如给你一个混淆矩阵你能不能当场写出精确率、召回率、F1的数值这些基本功看起来简单但在限时答题和紧张状态下很容易出现低级错误。3. 概率统计与SQL实操数据挖掘工程师的地基与工具3.1 概率统计题的实际题型与解题套路概率论与数理统计是数据挖掘笔试里很能拉开分差的部分。网易这份卷子里的统计题难度大致在考研数学一或稍高一点的水平但出题方式会更贴近数据场景。常考的分布包括二项分布、泊松分布、正态分布、指数分布等。你需要知道这些分布的期望、方差、概率密度函数以及它们之间的近似关系。比如泊松分布是二项分布当试验次数很大、概率很小时的极限形式期望为λ的泊松分布在λ较大时可以近似为正态分布这个知识链经常作为出题背景。极大似然估计也是必考内容。这里我强烈建议你把常见的似然函数推导练熟正态分布均值的MLE、伯努利分布参数的MLE、指数分布参数的MLE。解题套路其实是固定的写出联合概率/似然函数、取对数、对参数求导、令导数为零解方程。只要这个流程熟练大部分MLE题都能拿下来。贝叶斯公式更是数据挖掘笔试的宠儿因为它直接对应着朴素贝叶斯分类器。考题通常是已知某个事件发生的先验概率和条件概率求后验概率。我碰到过一个有趣的变形在医学检测场景里给出灵敏度和特异度问检测阳性的人真正患病的概率。很多人会脱口而出“99%”但实际上需要考虑患病率这个先验。这类题考察的就是基本的贝叶斯思维也是数据挖掘工程师在做分类任务时必须具备的直觉。还有一个容易忽略的点是假设检验。t检验、卡方检验、方差分析这些在笔试里不一定会直接考计算但会考察概念理解。比如给定一个A/B实验的结果问p值小于0.05是不是意味着实验组一定比对照组好。答案显然不是因为p值只是说明在原假设下观察到当前结果的概率很小统计显著不等于实际显著还要看效应量和业务意义。这种题考察的是数据分析师和数据挖掘工程师最核心的统计素养。3.2 SQL题型的准备方法与常见坑SQL部分在校招笔试题中基本是送分题但每年都有人因为不熟悉窗口函数或者join的逻辑而丢分。网易这类公司虽然不像纯数据仓库岗位那样考大段复杂SQL但基础的取数逻辑是必须掌握的。常见的SQL考察点包括group by配合聚合函数的使用、having与where的区别、left join与inner join的结果差异、distinct与group by去重的区别、窗口函数row_number、rank、dense_rank、sum over partition by的用法。有一类经典的题是“查每个部门工资最高的员工”如果不掌握窗口函数用子查询也能做但代码会很啰嗦。再比如“统计每个用户连续登录的天数”这种题被称为连续性问题如果用自连接做会非常痛苦但用row_number配合日期减序号就能优雅解决。对于这类题我的建议很简单把牛客网或者LeetCode上的SQL题库刷一遍重点练习窗口函数和日期处理相关题目。SQL是非常吃熟练度的工具笔试的时候你没有机会现场试错写错一个join方向可能整道题都废了。另外提醒一下有些公司的笔试平台是只给SQL编辑器不给本地执行的所以你在刷题时最好养成手写的习惯尽量不依赖IDE的自动补全提示。这样上考场心里才有底。4. 业务场景题与编程题从理论到实战的关键一跃4.1 业务场景题的分析框架与答题模板业务场景题是数据挖掘笔试里最灵活、也最能区分水平的部分。网易这类公司的考题经常是给出一个业务问题让你设计方案比如“预测用户未来7天内是否会流失”“为用户推荐可能感兴趣的商品”“识别平台上的异常行为”。这类题没有标准答案但有一个通用的分析框架我管它叫“目标-数据-特征-模型-评估”五段法。目标定义先把模糊的业务问题转化为清晰的机器学习问题明确是分类、回归还是排序问题。比如“预测流失”是一个二分类问题但要定义清楚正样本是什么是“未来7天没有登录”还是“未来30天没有产生购买行为”。数据准备列出可能用到的数据源包括用户基础信息、行为日志、历史订单、商品信息等说明数据的时间窗口怎么切分。特征工程围绕用户的静态属性、近期行为、历史统计、趋势变化来构建特征。比如RFM特征、最近一次行为距离现在的时间、行为频次的变化率等。模型选择说明你会用什么模型为什么选它。说到模型的时候要有理有据比如“训练集样本量大、特征维度高、需要可解释性所以优先考虑LR或GBDT”。评估方法说明用什么指标来衡量效果。类别不平衡情况下用AUC而不是准确率预测排序任务用GAUC这些都是能加分的细节。我在面试别人的时候发现很多候选人能说出特征和模型但讲不好目标定义和评估方法。结果就是方案听起来空泛落不了地。所以我建议你在笔试时哪怕时间紧张也要把这个框架先列出来再往里面填细节。4.2 编程题的备考重心与手写代码注意事项编程题在数据挖掘笔试里的比例因公司而异网易这份卷子中编程题占了一定的分量但难度不会像纯算法岗那样出hard级别的题目。常见的是leetcode中等难度题型比如数组操作、字符串处理、二叉树遍历、动态规划入门题。有一个非常重要的建议一定要养成手写代码的习惯。笔试平台虽然支持在线编译但很多人实际是在纸上或者文本编辑器里写写完没法本地跑测试用例。这导致的结果是你很可能因为一个分号或者一个边界条件写错而全盘皆输。我当年参加笔试时吃过一个亏写一道求最长回文子串的题思路是对的但循环边界写错导致结果差一位。这类错误在IDE里早被调试抓出来了但在笔试环境里就是致命的。所以备考时建议你直接用txt文件写代码不借助IDE的语法检查和调试功能然后自己一遍一遍地检查边界条件、循环变量、空值情况。另外数据挖掘岗的编程题偶尔会和算法结合比如“手动实现一下softmax函数的数值稳定版本”或者“写一个k-means聚类算法”。这类题考察的不仅是写代码还考察你对数值计算稳定性和算法流程的理解。例如softmax的数值稳定版本就是每个输入减去最大值防止指数运算溢出。这个细节不知道的人代码可能跑起来会报NaN错。5. 避坑指南与备考路线用正确姿势刷穿这份卷子5.1 高频失分点与典型错误汇总根据我自己的实战经验以及后来辅导过不少同学做题的观察数据挖掘笔试的失分点往往集中在下面几个地方。一个是概念混淆比如把精确率和召回率弄反把L1和L2正则的作用记错。L1正则使解稀疏、可以做特征选择L2正则使解更小、缓解过拟合它们的本质区别在于范数约束导致的解空间几何形状不同。笔试中的概念题大部分都是直接问区分如果这个都答不对后面的题很难拿分。一个是边界条件处理不当这在编程题里尤其明显。数组为空、链表只有一个节点、输入为负数等情况都要考虑。面试官和机判系统都特别喜欢针对边界条件设计测试用例你踩了一个就白丢一个测试点的分。还有一个是业务题只给方案不落地。比如问“如何做异常检测”有人从头到尾只说“用孤立森林”“用DBSCAN”完全不提具体的特征和阈值。其实这类题的考察重点不是你能不能说出高级算法的名字而是你有没有一套可执行的分析思路。我把这些常见失分点整理成了表格方便你对照自检失分点类型典型表现应对策略概念混淆精确率与召回率、L1与L2正则、bagging与boosting分不清建立对比型知识卡片别孤立记忆数学推导不熟MLE推导到一半卡壳贝叶斯公式用错先验每天手推一遍常见模型的损失函数与梯度编程边界问题空数组、索引越界、数值溢出没考虑手写代码后专门列边界测试用例逐项检查业务题空洞只列算法名词不涉及目标定义和评估方案用“目标-数据-特征-模型-评估”框架练习SQL语法不熟join方向写反窗口函数all见不会用刷题时多写分组topN和连续性问题时间分配失衡卡在难题上导致后面简单题没时间做按分值分配时间先易后难不会就跳5.2 一个可复制的三个月备考计划如果你距离笔试还有三到四个月我建议按照下面的节奏来准备。这个计划是按我辅导过的同学中效果较好的路线总结的你可以根据自己的基础灵活调整。第一个月主攻基础理论。把西瓜书《机器学习》前几个章节过一遍重点覆盖线性模型、决策树、神经网络、支持向量机、聚类、降维。配合统计学习方法李航做补充每个模型都要能讲出三个东西核心思想、损失函数、优缺点。我的建议是用费曼学习法每学完一个模型就假装给别人讲解一遍讲不清楚的地方就是理解薄弱的地方。第二个月主攻刷题和编程。数据结构与算法保持每天一两道leetcode顺序从数组、字符串、链表、二叉树到动态规划。SQL建议集中用一两周快速刷完高频题型。机器学习基础题可以找牛客网上的数据挖掘题库来做主要目的是检验第一阶段的复习效果。第三个月主攻真题模拟和业务题。找近三年来各家公司的数据挖掘笔试题严格按照三小时时限来做不要翻书、不要中途查资料。做完后花大量时间复盘尤其是业务场景题不要满足于“我看了一眼答案觉得有道理”要在不参考答案的情况下自己重新写一遍完整的分析框架。最后一周用来查漏补缺和调整心态。重点是回归概念和公式因为越临近考试你越会发现真正卡住你的不是难题而是一些基础知识在紧张状态下想不起来。这时候再做新题的意义不大把错题集和知识卡片翻烂才是效率最高的策略。6. 笔记里的隐藏收获从一份笔试卷到完整知识体系很多人把笔试理解成“闯关”觉得过了就万事大吉。但以我这些年做数据挖掘工作的体会准备笔试的过程本身就是在构建知识体系。你为了应付考试背的那些公式到实际做项目时会发现全部用得着。AUC不只是在笔试卷上出现你在给业务方汇报模型效果时要用它解释模型为什么值得信任贝叶斯也不只是解题工具你做垃圾邮件识别、欺诈检测时的核心框架就是贝叶斯思想。所以我在复盘这类往年试卷时最大的收获反而不是某几道题的答案而是明白了数据挖掘这个岗位需要什么样的知识结构。它是一种T字型结构横向上你要懂统计、懂机器学习、懂SQL、懂编程、懂业务纵向上你在某一个方向比如树模型、深度学习或推荐系统要足够深入能解决复杂的实际问题。最后分享一个我自己的小习惯。每做完一套题不要急着做下一套而是花一小时把错题对应的知识点写成一篇简短笔记格式就是“考点是什么、我当时为什么错、正确解法是什么、这类题还有什么变形”。这个习惯我坚持了整个求职季回头翻看这些笔记它们比任何市面上的刷题书都更有价值。建议你也试一试这套方法不管对笔试还是对后续的面试都帮助很大。