|
本文由峰瑞资本（微信ID:freesvc）授权i黑马发布，来源Stitch Data，编辑张潇冉。 美国数据工程概况 目前，LinkedIn 上有 6500 人称自己是数据工程师。而仅在旧金山，就有 6600 个这样的工作机会虚位以待。去年，数据工程师的数量翻了一倍，但工程主管们却仍觉得人才匮乏。 数据人才的旺盛需求源自一个根本性的变化：科技公司现如今都成了数据公司。 像 Uber、Airbnb、Spotify 这些公司都在大力发展数据产品，结果便造成数据系统开发和维护人才的激烈争夺。 Josh Wills 是 Slack 的数据工程师，在 2016 数据工程大会（DataEngConf 2016）上半开玩笑地说：“我的数据工程师都在会场了，请你们别挖墙角。” 即使 Slack 这样当红的硅谷企业，也在担忧如何留住这些宝贵人才。 我们的研究着重于说明以下几个方面： 目前市场上数据工程师的数量； 数据工程师的背景和核心技能 —— 这些信息对于主管们研究如何将软件工程转换至数据工程特别有用（编者按：以缓解招聘数据工程师的压力）； 数据工程师的就业信息 —— 帮助你说明为什么要投资（时间/精力/金钱）到这项昂贵的技能中来。 从 Stripe、MIT、Looker 的工程主管对数据人才的发现、留任和对数据工程师团队项目的开发等一系列策略的分享中，我们找到了这些问题的答案，使得这份报告清晰地呈现出数据工程的现状。 关键指标： 人数：6500 人在 LinkedIn （领英）上称自己是数据工程师。 发展：2013 到 2015 年，数据工程师的数量至少翻了一倍。 分布：50% 的数据工程师都在美国。 之前的职务：42% 的数据工程师都是软件工程出身。 产业：数据工程师主要供职于信息科技与服务产业。 技能：数据工程师前 5 项主要技能是：SQL, Java, Python, Hadoop, 和Linux。R语言甚至都没进前 20。 分析方法： 本报告基于 Linkedin 上的用户资料，包括所有公开可见的个人及公司档案、技能与工作经验，数据以 2016 年 3 月份的统计为准。 我们根据档案上的职业标题和头衔识别出数据工程师，这里只纳入了那些可确认公司的数据工程师档案。 【图表：LinkedIn 个人档案总结】
▲ 截止 2016 年 3 月 1 日，Linkedin 上的个人档案大约 4.3 亿，此次参考了 2.6 亿例档案，其中列有至少一项经历的近 1.9 亿， 有一项已认证经历的超过 1 亿，当前经历已认证的近 8000 多万。 在这些数据工程师中，我们分析了： 3 万项工作经验 8.2 万条个人经历 3400 个公司 分析工具： 分析采用 Python, SQL 和 Jupyter。 HighCharts 和 HighMaps 中的交互式可视化效果采用 Python 的制图包和 Python-highchairs 实现。 数据采用 AWS Redshift 进行存储和处理。 1、数据工程师有多少 “数据工程师”（所有以某种方式与数据打交道的软件工程师）的定义仍有很大的模糊性，目前并没有一个完美答案，我们觉得由这些从业者自己来解读是最好的方式。 我们发现在 Linkedin 上有 6500 人称自己是“数据工程师”。 6500，这个数目并不大。 实际上，我们有些惊讶“数据工程师”竟如此之少。而在写这篇报道的时候，Indeed 上有 6600 个 数据工程师的招聘启事，这还仅仅是在旧金山和湾区。 薪酬数据也证实了数据工程师很受欢迎。据说，在 Facebook, Amazon 和 Google 这样的巨头公司工作的顶级数据工程师工资超 50 万美金。Indeed 的数据分布更保守一些，尽管如此，薪资也达到了 6 位数。 【图表： 旧金山地区数据工程师的数量和薪酬比】
▲ 截止从上图可以看出，薪酬在 10 万美元以上的职位超过 80%, 其中 110k-120k， 120k-130k 和 130k+ 的职位都很多，均超过了 20%。数据工程师成为当下的黄金职业！ 专家洞见 Jonathan Coveney，Stripe 数据工程师：“对数据工程师型人才的需求”。 近十年来，Jonathan 都在数据领域深耕，曾在 Twitter、Spotify 等公司建立数据系统。在他看来，有三种主要趋势在推动着对数据工程师类人才的需求： 公司在对数据和管理数据的人的思考上更加精深。“数据不再是副产品，而是一个公司运作的核心”。 对机器学习愈加倚重。由于机器学习的进步，对专有数据的掌握逐渐成为各个领域的公司最重要的竞争优势。 （责任编辑：晨鸿） |
