购买过程的一个关键部分是研究。接受调查的 800 多名全球工程师中有77%认为数据表是这个过程中最有用的内容形式。一些受访者还表示，CAD 图纸（45%）、产品演示视频（42%）和白皮书（38%）是在研究为工作进行重大购买时最有用的内容类型。

在花时间和提供联系方式以访问数据时，两种重要的内容类型名列前茅，即受访者将白皮书（37%）和CAD 图纸（35%）列为最有可能吸引他们提供信息的内容类型。这也是受访者最有可能在去年填写简短表格的前两种内容形式。尽管如此，仍有大约1/5的工程师（17%）表示他们从不愿意填写网络表格以换取内容。

在研究为工作而购买的产品或服务时，工程师主要从供应商或供应商网站寻找信息。其他人则关注供应商电子邮件或电子通讯，超过一半的受访者（55%）订阅了至少 3 份与工作相关的电子通讯。这些时事通讯中最受欢迎的元素是深入的技术信息。

当工程师最终与供应商的销售人员联系时，如果销售团队表现出技术专长、响应迅速、良好客户服务并且拥有创新技术，工程师最容易选择这家供应商。另一方面，因缺乏技术专长、反应迟钝和过于频繁的联系会让工程师感到厌烦。

PDF版本将分享到199IT知识星球，扫描下面二维码即可！

工作环境

65%的工程师在五人或更小的设计团队中工作。

平均而言，工程师同时从事3-5个项目。

绩效评估

产品质量和客户服务/满意度是衡量绩效时最常引用的两个指标。

客户服务作为一项绩效目标变得越来越重要。而工程师最有可能达到产品质量性能目标。

挑战和竞争

受访者表示，工程步伐不断加快，要求他们事半功倍，技术则在提高生产力。

绝大多数工程师报告说，设计更复杂、上市时间压力更大、设计周期正在缩短。

在许多国家，人员和资源的限制，以及人才和专业知识的短缺正在危及生产力、创新和产品质量。

知识管理

40%的受访者表示，退休的高级员工流失率有所增长。

知识和信息流失是工程界日益关注的问题。近一半的受访者表示，他们的公司没有正式的政策来保存知识。

职业生涯管理

有趣的工作、生活和工作的良好平衡和学习是工程师最重要的职业因素。

比起过去，预计五年后会有更少的工程师在目前的位置上工作。最主要的原因包括退休、转到另一家公司，以及晋升到高级职位。

工程师利用同事、书籍、在线培训课程、网络研讨会和供应商提供的培训来维护和提高其专业技能。

千禧一代

与经验丰富的工程师相比，千禧一代在小公司工作的比例更高，而且千禧一代往往在较小的设计团队中工作。

千禧一代工程师更多地受到良好的工作和生活平衡、学习和增长潜力的推动。

千禧一代更有可能报告公司增加预算和新员工，并且不太可能报告成本削减压力。

千禧一代表示，如果没有导师或内部关系网，很难获得知识。

千禧一代更有可能相信所有内容都应该是免费和开放的。

PDF版本将分享到199IT交流群，支持我们发展可加入！

未来，对熟练的大数据工程师的需求将急速增长。现实的情况是这样的，无论公司属于哪个行业，要想在当今竞争激烈的市场环境中取得成功，需要一个强大的软件架构用来存储和访问公司数据，最好从公司创立一开始就要搭建它。

在如今有时候有数据的地方就叫大数据，这未免有些夸张，在本文中统称为数据工程师和数据科学家。

先了解一下，数据工程师究竟做什么事？一个人怎么样成为数据工程师？我们将讨论这个有趣的领域以及如何成为数据工程师。

数据工程师都做什么？

数据工程师负责创建和维护分析基础架构，该基础架构几乎可以支持数据世界中的所有其他功能。他们负责大数据架构的开发、构建、维护和测试，例如数据库和大数据处理系统。大数据工程师还负责创建用于建模，挖掘，获取和验证数据集合等流程。

因此，数据工程师需要掌握通用脚本语言和工具，利用和改进数据分析系统，不断提高数据数量和质量。

数据工程师与数据科学家有何区别

虽然在技能和角色方面存在一定程度的重叠，但这两个职位正日益分化为不同的角色。

数据科学家更关注与数据基础设施的互动，而不是去创建和维护数据基础设施。通常负责进行市场和业务运营研究，以确定趋势和关系，数据科学家用各种复杂的机器和方法与数据进行交互并对其采取行动。

数据科学家通常精通机器学习和高级数据建模，因为他们希望借助高级数学模型和算法将原始数据转化为可操作的，可理解的内容。这些信息通常用作分析来源，以告诉决策者“更大的图景”。

那么是什么让数据科学家与数据工程师不同呢？两者主要区别在目标焦点。数据工程师更专注于构建用于数据生成和数据基础架构; 数据科学家专注于对生成的数据进行数学和统计分析。

数据工程师的关键技能

下面介绍数据工程师所需的几项关键技能。

1.大数据架构的工具与组件

数据工程师更关注分析基础架构，因此所需的大部分技能都是以架构为中心的。

2.深入了解SQL和其它数据库解决方案

数据工程师需要熟悉数据库管理系统，深入了解SQL至关重要。同样其它数据库解决方案，例如Cassandra或BigTable也须熟悉，因为不是每个数据库都是由可识别的标准来构建。

3.数据仓库和ETL工具

数据仓库和ETL经验对于数据工程师至关重要。像Redshift或Panoply这样的数据仓库解决方案，以及ETL工具，比如StitchData或Segment都非常有用。此外，数据存储和数据检索经验同样重要，因为处理的数据量是个天文数字。

4.基于Hadoop的分析（HBase，Hive，MapReduce等）

对基于Apache Hadoop的分析有深刻理解是这个领域的一个非常必要的需求，一般情况下HBase，Hive和MapReduce的知识存储是必需的。

5.编码

说到解决方案，编码与开发能力是一个重要的优点（这也是许多职位的要求），你要熟悉Python，C/C++，Java，Perl，Golang或其它语言，这会非常有价值。

6.机器学习

虽然数据工程师主要关注的是数据科学，但对数据处理技术的理解会加分，比如一些统计分析知识和基础数据建模。

机器学习已经成为标准数据科学，该领域的知识可以帮我们构建同类产品的解决方案。这种知识还有一个好处，就是让你在这个领域极具市场价值，因为在这种情况下能够“戴上两顶帽子”会让你成为一个更强大的工具。

7.多种操作系统

最后，需要我们对Unix，Linux和Solaris系统有深入了解，许多数学工具基于这些操作系统，因为它们有Windows和Mac系统功能没有的访问权限和特殊硬件需求。

如何成为数据工程师？

与其他职业相比，数据工程师需要用更复杂的学习方法。数据工程师通常有计算机科学技术相关学位会更好，然后再进一步学习供应商特定的认证计划和培训课程。

计算机相关学位虽然重要，但只是故事的一部分，获得适合的认证可能非常有价值，市场上也有一些大数据工程师专门认证，如下：

Google认证专家 – 数据工程。该认证表明学生熟悉数据工程原理，可以作为该领域的助理或专业人员。

IBM认证数据工程师  – 大数据。此认证更侧重于数据工程技能集的大数据特定应用，而不是一般技能，这被许多人视为黄金标准。

Cloudera的CCP数据工程师：该认证针对Cloudera解决方案，体现学生在ETL工具和分析方面的经验。

二级技能认证，例如MCSE（微软认证解决方案专家），涵盖更广泛的主题，但具有特定的子认证，如MCSE：数据管理与分析。

当然，在线教育平台提供该领域的重要培训，Udemy提供了数据工程众多的课程和数据科学，其他如EDX和Memrise也提供了类似课程，DataCamp专注于数据科学和工程，Galvanize的品类则更为广泛。

小结

虽然这些数据解决方案可以帮助您踏进大数据工程领域，虽然它们有分发或授予认证，但只是提供证书或文凭。虽然一般学习够了，但它们不能被认视为实际认证或实践的替代品。

希望本文能够给大家阐明数据工程师所需的特定知识，技能和要求。这个领域正在迅速发展，但它也充满了挑战与险阻。在工作中通过适当的认证填补技能组合的空白，实现最好学习的关键一步。

编译：勇哥

来源：https://dzone.com/articles/how-to-become-a-data-engineer

根据市场招募平台Scout Exchange报告，网络安全工程师将成为2019年美国收入最高、需求最多的技术工作岗位。这并不奇怪，因为所有公司中有50-90%在2018年经历了网络攻击，而数据泄露等后果会让组织面临着巨大的声誉、法律和财务风险。同时，GDPR于5月在欧盟生效，要求任何在那里开展业务的公司遵守新的隐私法规。

该报告指出，科技市场目前也正在经历网络安全专业人员的短缺，到2021年，该行业估计有350万个空缺的职位，千禧一代并未对进入该领域表现出兴趣。这导致对具有合适技能的人的需求量和薪酬水平不断增加。

Scout Exchange首席执行官Ken Lazarus在一份新闻稿中表示：“网络安全变得至关重要，雇主正在寻找具备最新技能的人才。他们希望候选人具有网络安全、终端安全、恶意软件分析和加密技术方面的经验。由于目前人才短缺，企业正在寻求在职培训和认证等解决方案，同时聘请专业招聘人员帮助他们满足今天的的需求。”

根据平均工资、年薪增长率和招聘职位总数，以下是2019年最受欢迎且薪酬最高的五个技术职位：

1．网络安全工程师，平均工资：140，000美元；
2．系统管理员，平均工资：131，000美元；
3．IT审计员，平均工资：130，000美元；

4．软件工程师，平均工资：127，000美元；

5．软件架构师，平均工资：126，000美元。

报告指出，这些技术职位在Scout Exchange上发布的频率是平均工作的两倍多。这些岗位的平均工资增长速度比IT类别中的其他职位更快，而网络安全工程师的工资增长率最高。

来自：手机中国

在实际的工作中，数据科学家们不仅要学会如何实用工具，还要懂得如何与同事合作。The Yhat Blog这篇文章探讨了在实际的数据建模和数据处理的过程中数据科学家和数据工程师应该如何处理好关系顺利地完成项目的问题。它引用“摩西十诫”的典故，提出了给数据处理者的五个“诫律”。我们一起来参考一下！

从表面上看，数据科学与工程科学就像是天作之合——数据科学家为商业问题创造全新的解决方案，而他们的同行工程师负责构建网络程序环境和集成来将这些“创造”变成现实。这种合作看起来是如此天衣无缝。 但事实上不幸的是，数据科学家和数据工程师之间现存的是一种普遍被认为脆弱的关系。对于大多数团队来说，两者之间的关系“正介于不存在和无法作用之间”。这对于大部分过于乐观的人无疑是一记痛击吧！

那么，为什么会产生这种不和谐的关系，如何能避免这种不和谐？在这篇简短的文章中，我们将介绍五个“诫律”用于使数据科学家和工程师之间更合拍。快拿本本记下来。

1、了解你的数据

好的模型依赖于好的数据。要建立真正具有生产力的模型，数据科学家需要知道他们基于创造和存储产品的数据库是否可靠，以及数据库更新的频率。这些信息在项目开始之前就应该被收集并且分享给工程团队，以避免项目进程之中可能产生的阻碍。

在一个理想的世界里，科学家和工程师都应该提前做好应对即将发生的变化的准备（例如，多种变量类型之间的变化），使他们能够据此共同创建，测试和部署相应的新版本。即使不能够保证避免每一个程序中的事故，共享资源和尽早发现缺陷也可以使工程师们降低风险和预见解决可能出现问题的部分。

2、熟悉合作伙伴使用的工具

数据科学家运用的主要编程语言是R或Python，这种语言便于数据的清洁，探索和建模。而工程师，却需要使用多种不同的工具集来构建可扩展的网络和移动应用程序（例如，NET、Ruby on Rails、Node.js 或 JVM）。虽然期望一个人完全懂得使用这两套工具是不切合实际的，但是跨过技术“藩篱”的限制对对方使用的语言和流程有一个基本的了解将大大有助于合作的开展。

将统计代码手动重新编写为另一种语言是一项费时费力又极其容易犯错的工程，所以当出现问题的担忧增加的时候，建立良好的沟通机制（面对面和网络数字化的）绝对是至关重要的。

3、了解技术的局限

当数据科学家和工程师运用不同的工具包工作的时候必然会遇到技术的限制。这常常使他们发狂，因为没有人喜欢被要求返工，或者看着自己辛勤劳作创造出来的产品不理想，甚至更糟糕，看到自己的辛勤劳动付诸东流。

一旦你清楚了模型开发和部署所需要使用的语言（见诫条2），就应该花时间研究一下使用这种语言做什么是可能的，什么是完全不能够实现的。然后就应该设定定期的跨职能讨论会的时间表，科学家和工程师双方要经常沟通例如：你考虑在哪些方面做一些突破？双方在哪些地方可以做出让步？哪些又是技术完全实现不了的？有没有其他选择？要实施需要付出多少努力？这些努力符合商业价值的考量吗？

在实际工作中，假设你是一个数据科学家正在为一个Ruby编写的APP编写一段使用R语言的反欺诈算法，那么你应该知道的是R的GLM功能（用于构建广义线性模型的函数），在Ruby（或Java，对这个问题来说）中并没有相对应的本地功能。这时候就需要大家一起来一场头脑风暴来找寻出路啦。

4、互相尊重

在任何时候，一个数据科学家的工作总是需要大家共同的努力才能够完成，在这个过程中充满了产生误解的可能。那我们的建议是什么呢？就是像老话讲的，己所不欲，勿施于人。

对于数据科学家来说，你要做的就是写出便于维护和使用的高质量的代码，积极听取工程师关于重构模型和采取更好替代方法的建议，询问他们怎样才是一个现实的可实行的时间表，你还能提供哪些帮助等。

对于工程师来说，与数据科学家合作，需要明确必须的职责，并且共同商讨达成一份书面的处理问题的优先次序文件，遵循一个不断更新的和现实的路线图，并根据项目的进程不断检验、细化和落实科学的数据模型。

5、履行你的责任和义务

有人认为一个模型一旦创造出来，并且投入了实际的商业运用，无论是创造它的数据科学团队，还是实现了它的工程师们就可以自由地着手下一个大项目，不需要再管理这个项目了。这种想法是非常危险的。事实上，这只是分析的生命周期的另一阶段的开始。

因为，数据科学家和工程师建立生产过程中的监控和管理模型的计划是非常重要的。谁将会监督模型和服务器的稳定性？如何将输入和输出数据存储和共享？升级版本，再培训和重新测试的路线图是什么？还要为解决可能出现的问题制作一个行动计划。如果模型吞吐量增加怎么办？扩展需要花费多少时间和金钱？由此确定共同承认的公平的前期职责划分，相应地分配团队成员的工作时间。

6、总结

数据科学家和数据工程师都在朝着同一个目标努力：运用代码建造程序来解决实际的商业问题。不幸的是，误解和技术效率低下常常导致人们忽略了这一目标。当我们在工作中处理和他人的关系的时候，虽然没有万能的神奇公式，但是这五个诫律应该可以在消除数据工程师和数据科学家之间的鸿沟上产生深远的影响。

      译者：赵晨，沈浩老师门下硕士研究生

原文网址：http://blog.yhat.com/posts/five-commandments.html

能在加州硅谷高科技产业工作一直是许多拥有计算机背景的人所梦寐以求的，尤其是一些知名企业，如：谷歌（Google）、苹果（Apple）以及脸书（Facebook）等。今天就让我们一起来看看，在脸书工作的各类职务薪资一览。

途经北加州门罗帕克（Menlo Park）的脸书总部时，常常看到在公司外的正字标志“赞”（Like）牌旁，总会有游客停下来和它一起拍照。脸书已成为现今多数个人、社团、企业甚至政府的一个重要分享平台与宣传管道，它不仅创造了新一代的人际互动方式，也影响着人们的离线生活。

脸书是目前全球最大的社交媒体平台，每个月有13.5亿活跃用户，这个数字超过2015年1月印度全国总人口数，这等于是全世界每100人当中就有18.5人是脸书使用者，而这个数字还不断增加。

用户量庞大、企业成长快速，脸书付给员工的薪资也不差，是许多社会新鲜人所向往上班的公司。在脸书工作的工程师薪资报酬几乎等同于投资银行家的收入。《商业内幕》1月14日援引求职网站Glassdoor的数据，列出脸书给工程相关职务的薪资一览，其中以工程部经理的年薪最高，达38万美元，远远高出第2名的软件工程师（第5级）12万美元之谱。

以下是脸书工程师的年薪排名，所列收入除年薪之外，还包括红利。

1. 工程部经理（Engineering Manager）：$380,861（美元，下同）
2. 软件工程师 第5级（Software Engineer V）：$259,349
3. 资深软件工程师（Senior Software Engineer）：$211,647
4. 软件工程师 第4级（Software Engineer IV）：$209,988
5. 产品经理（Product Manager）：$194,907
6. 数据科学家（Data Scientist）：$185,743
7. 软件工程师（Software Engineer）：$183,397
8. 技术项目经理（Technical Program Manager）：$175,589
9. 科学研究员（Research Scientist）：$172,705
10. 软件工程师 第3级（Software Engineer III）：$171,076
11. 网路工程师（Network Engineer）：$160,172
12. 数据工程师（Data Engineer）：$146,949
13. 用户界面工程师（User Interface Engineer）：$146,708
14. 生产工程师（Production Engineer）: $132,534
15. 产品分析师（Product Analyst）：$118,864

Glassdoor建议，想进入脸书当工程师的人，最好是斯坦福大学（Stanford University）、加州大学系统（University of California）、加州大学柏克莱分校，或是德州大学奥斯汀分校（University of Texas, Austin）毕业。

Universum研究和咨询部门主管罗维萨·奥内尔（Lovisa Ohnel）表示：“在过去三年，我们一直都看到谷歌排名第一，其他公司需要具备清楚的人才战略才能抢占谷歌的榜首位置。”

IBM超过微软成为工程公司榜单第二名，英特尔和苹果的排名均有进步。苹果今年排名第7，英特尔排名第5。索尼也跻身前10名，排在榜单第6位。惠普和思科分别12和13名。

谷歌继续排名商务榜单第一名，其他科技公司取得一些进步。苹果从第9名上升至第8名，微软从第7名上升一位至第6名，索尼排名11。

列入榜单的不仅有科技公司，宝马、保洁和通用电气均跻身工程公司榜单的前十名，摩根大通、安永会计事务所和普华永道均跻身商务榜单前列。但是Universum表示，科技公司在榜单上的表现非常好，因为求职者越来越钟情于谷歌等公司内存在的初创公司一般的感觉。

Universum 全球业务主管卡罗·杜兰托（Carlo Duranto）表示：“软件行业非常依赖于人力资本，因而这些公司都努力吸引和挽留全球最优秀的人才。现在出现了一种新的工作文化范例——放松和创造性 的办公室氛围，这种文化形成的原因部分源自于行业特色。Y世代(Generation Y)工作者在这个新环境工作时感到非常舒服。”