数据工程师是做什么工作的？

  数据工程师的概念实际上是非常模糊的，不同的人和公司赋予它的含义也非常不同。如果您有兴趣，可以阅读智慧时代的相关文章。 在这里，我们大概讨论一下数据工程师在工作中会做什么？

  集群运维：各种大数据组件的安装，测试，运维

  数据开发：如果您进行一些细分，将会有ETL工程师，数据仓库工程师等。

  数据系统开发：专注于Web系统开发，例如报表系统，推荐系统等。

  有很多内容非常重叠。让我们下面谈谈需要了解的一部分内容和要点。

  1.集群运维

  数据工程师基本上与集群构建密不可分，例如hadoop，Spark和Kafka。不要指望特殊的操作和维护来帮助您。 新组件的引入通常必须由您自己完成。

  因此，这需要数据工程师了解各种大数据组件。

  由于必须自己安装各种开源组件，因此需要数据工程师的能力：Linux。 您必须熟悉Linux，并且能够自己使用Linux。

  由于当前的大数据生态系统基本上是JVM系统，所以请不要犹豫就使用语言。JVM系统中的Java和Scala基本上无法逃脱。基本上，您必须深入学习Java，Scala取决于情况。  

  2.ETL

  ETL主要体现在大数据领域中各种数据流的处理上。一方面，这一部分反映在对某些组件的理解上，例如Sqoop，Flume，Kafka，Spark和MapReduce。另一方面，它需要编程语言，Java，Shell和Sql是基本技能。

  3.系统开发

  我们的大部分价值最终将由系统反映出来，例如报告系统和推荐系统。因此，需要一定的系统开发能力。最常用的一种是JavaWeb。当然，Python也很方便。

  应该注意的是，通用数据开发无法摆脱各种数据需求，其中许多是临时性的和定制的需求。在这种情况下，Sql无法逃脱，必须诚实地学习Sql。