算法工程师必须要知道的面试技能雷达图



转载请注明 AIQ - 最专业的机器学习大数据社区  http://www.6aiq.com

AIQ 机器学习大数据 知乎专栏 点击关注

原文地址: https://zhuanlan.zhihu.com/p/54089811

今年是我作为算法工程师工作的第七个年头,期间拿到过 hulu,阿里巴巴,腾讯,美团以及一些 startup 的算法工程师 offer,也作为面试官面试过清北,海外,北邮,以及一些二本学校等不同背景的百余位 candidates,作为面试者和面试官的经验还比较丰富。所以希望自己的经验能对你有所帮助,也非常欢迎其他面试官能够多留言探讨自己的面试经验。

那我们直入主题,到底什么技能才是一名合格的算法工程师应该具备的技能呢面试官又会如何验证你的这些技能呢

虽然每个一个岗位都有 JD,但抛开具体的岗位要求,从稍高的角度角度看待这个问题,一名算法工程师的技术素质基本可以拆解成下面四个方面:知识、工具、逻辑、业务。当然广义来讲,这四项素质也适用于所有 IT 工程师。

我非常喜欢用雷达图来表示一个人的能力范围,可能小时候看圣斗士看多了,当时研究官方出的黄金圣斗士能力雷达图研究了半天,现在也没好到哪去,只不过变成了喜欢研究候选人的能力雷达图了。。下面画出了大数据行业几个相关职位的能力雷达图,大家可以初步体会一下。

不同岗位的技能雷达图

简单来说,任何工程师都应该满足四项技能的最小要求,比如我曾经面试过一位计算广告算法工程师 candidate,这位同学发过一些计算广告相关的 paper 和专利,从 research 的角度是不错的人选,但当我想稍微验证一下他 coding 的能力时,他明确告诉我说他不愿意写代码。这就是不满足“工具”这项技能的最小要求,自然是不能通过面试的。

在最小要求的基础上,算法工程师的能力要求是相对全面的。其实所谓算法工程师,就是因为你不仅应该是一位合格的“工程师”,还应该再次基础上有算法的改进和实现的能力。除此之外,大数据工程师更注重大数据工具和平台的改进,研究员则在知识和逻辑层面相对突出。有些临时抱佛脚的同学喜欢恶补知识,不注重理解业务和模型本身的内在逻辑,是我经常见到的面试“悲剧”情况。

当然,只用四个词描述四个方面的能力还是过于形而上了,这里我们用一些具体的内容来描述一下算法工程师的四个技能点:

  • 知识:主要是指你对 machine learning 相关知识和理论的储备
  • 工具:将你的 machine learning 知识应用于实际业务的工具
  • 逻辑:你的举一反三的能力,你解决问题的条理性,你发散思维的能力,你的聪明程度
  • 业务:深入理解所在行业的商业模式,从业务中发现 motivation 并进而改进模型算法的能力

也许还不够具体,那我们再从一个实际例子中体会一下,比如我去面试“计算广告算法工程师”的职位,上面四项对应着哪些具体的能力呢?

  • 知识:主流 CTR 模型以及预算控制,流量预估,bidding 策略等模型算法的原理和技术细节
  • 工具:coding 能力,spark、flink、tensorflow、ps-lite 等模型训练、serving 相关工具
  • 逻辑:算法题,模型之间的演化关系
  • 业务:展示广告和搜索广告在构建模型时的区别联系,如何根据公司的 business model 制定模型的 objective

当然,上面只是让大家体会一下什么是这四项素质,真实的计算广告算法工程师面试中,你不一定要都掌握,也不一定局限于这些内容。如果你遇到一位资深的面试官,他不会预设一个框架往面试者身上套,而会从面试者简历出发检验面试者能不能达到这四项素质的标准。

那么问题又来了,面试官会如何在 "限定的时间内" 检验你这四项素质能不能达到 "技术合格" 的标准呢

既然是限定的时间,面试官就不可能拿出一本西瓜书,从头问到尾,也不可能拿出一本葫芦书,从 100 道面试题中抽出 50 道给你来个马拉松问答。面试官要做的是在 1 个小时的时间内确认你能力的 "深度“和”广度"。 所以在这里面试官就像一个采样算法,要从你脑子里采几个点,把你的能力雷达图描绘出来。

重点再重复一边,面试官会从“深度”和“广度”两个维度构建你的能力雷达图

对于 "深度" 方面,有经验的面试官会从你已经做过的项目中挑出你最擅长的部分做层次式的递进。比如我在之前的回答(如何准备机器学习工程师的面试 ?)中举过的例子,

一位面试同学介绍自己实习时候用过 XGBoost 预测股票涨跌,那面试官可能会由浅入深依次考察下列问题:

  • GBDT 的原理(知识
  • 决策树节点分裂时是如何选择特征的?(知识
  • 写出 Gini Index 和 Information Gain 的公式并举例说明(知识
  • 分类树和回归树的区别是什么?(知识
  • 与 Random Forest 作比较,并以此介绍什么是模型的 Bias 和 Variance(知识
  • XGBoost 的参数调优有哪些经验(工具
  • XGBoost 的正则化是如何实现的(工具
  • XGBoost 的并行化部分是如何实现的(工具
  • 为什么预测股票涨跌一般都会出现严重的过拟合现象(业务
  • 如果选用一种其他的模型替代 XGBoost 或者改进 XGBoost 你会怎么做,为什么?(业务 + 逻辑 + 知识

这是一条由简历出发,由“知识”为切入点,不仅考察了“知识”的深度,而且还考察了“工具”、“业务”、“逻辑”深度的面试路径。

当然,如果你介绍的项目是实现了一种类似阿里 DIN 的 CTR 预估模型。那么问题路径可能是这样的:

  • softmax 函数的定义是什么?(知识
  • 神经网络为什么会产生梯度消失现象?(知识
  • 常见的激活函数有哪些?都有什么特点?(知识
  • 挑一种激活函数推导梯度下降的过程。(知识 + 逻辑
  • Attention 机制什么?(知识
  • 阿里是如何将 attention 机制引入推荐模型的?(知识 + 业务
  • DIN 是基于什么业务逻辑引入 attention 机制的?(业务
  • DIN 中将用户和商品进行了 embedding,请讲清楚两项你知道的 embedding 方法。(知识
  • 你如何 serving 类似 DIN 这样的深度学习模型 (工具 + 业务)

这条路径侧重于考查“知识”深度的路径。为了弥补其他方向考察的不足,面试官肯定还会问一个从工具或者业务出发的问题来确定你其他方面的深度。

因为面试官选择的是你最熟悉的领域深入下去,我们可以假设,如果一位面试者在最擅长的项目中都答不上一些细节性的问题,那几乎可以肯定你在任何其他领域的钻研都不够深入,你的技能雷达图的面积肯定是一个很小的面积。也有像我之前所提到的一些临时抱佛脚的面试者,也许知识方面达到了要求,但经不起面试官对“工具”和“逻辑”的考察,这也毫无疑问会“悲剧”。

如果面试者的能力深度达到了最低的要求,下一步面试官会确定你能力的广度,对于任何算法工程师,我都会随机 check 以下几个知识点:

  • NN,RNN,个别聚类算法,模型评估等知识的理解程度
  • spark 的调优经验,model serving 的主要方法,parameter server 的原理
  • GAN,LSTM,online learning 的基本理解
  • embedding 方法,attention 机制,multi task,reinforcement learning,online learning 的基本理解

对于广度的检查是比较随意的,个别答不上来无伤大雅,但如果超过一半以上的知识点都 miss 了,可能有点说不过去。因为我要知道你是一个关注前沿,喜欢学习的人,试想除了你自己做过的项目,其他知识了了,那我可以肯定你不是一个对技术有热情的人。很多面试官很看重“热情”这个属性,因为正是对技术的热情支撑你今后的学习,有些问题你可能不知道,你也要尽量用自己的理解去推导,去讨论。

好了,关于算法工程师面试中的能力雷达图讲完了,如果你嫌我太啰嗦,没关系,甩给你一张思维框图,你发给任何没看过这篇文章的人,也都会对我说的内容一目了然。

俗话说,面试是一门玄学,这句话有没有道理?面试到底“玄”在哪里?为什么“强”如作者(脸皮太厚了。。)参加了 10 余场大中小公司面试,也有一场没拿到 offer,原因是什么,是因为玄学吗?有时间再给大家分解分解。。。

北京的这个冬天有点“冷”,在文章结束之前给身在寒冬的同学几点建议:

  1. 寒冬就应该广积粮,缓称王,猛攻自己的技能弱点,让自己更有实力迎接春天;
  2. 中高端职位永远不缺,真正合格的算法工程师永远是稀有物种,努力做金字塔中上部的那块砖;
  3. 好的 offer 永远是为平时注重积累的人准备的,突击准备也许会增加你的知识广度,但增加各方面技能的深度需要你无时无刻的积累和钻研,遇到问题多问为什么,多注重问题的细节。

好了,这里是 王喆的机器学习笔记 的第五篇文章,水平有限,特别是关于面试的内容仁者见仁,欢迎有建议的同学批评、吐槽、指正,也欢迎觉得内容有帮助的同学点赞鼓励。


更多高质资源 尽在AIQ 机器学习大数据 知乎专栏 点击关注

转载请注明 AIQ - 最专业的机器学习大数据社区  http://www.6aiq.com