数据工程师是做什么工作的?
作者:广州电脑培训刘发布时间:2020-12-21分类:韶关电脑学校浏览:599
数据工程师的概念实际上是非常模糊的,不同的人和公司赋予它的含义也非常不同。如果您有兴趣,可以阅读智慧时代的相关文章。 在这里,我们大概讨论一下数据工程师在工作中会做什么?
集群运维:各种大数据组件的安装,测试,运维
数据开发:如果您进行一些细分,将会有ETL工程师,数据仓库工程师等。
数据系统开发:专注于Web系统开发,例如报表系统,推荐系统等。
有很多内容非常重叠。让我们下面谈谈需要了解的一部分内容和要点。
1.集群运维
数据工程师基本上与集群构建密不可分,例如hadoop,Spark和Kafka。不要指望特殊的操作和维护来帮助您。 新组件的引入通常必须由您自己完成。
因此,这需要数据工程师了解各种大数据组件。
由于必须自己安装各种开源组件,因此需要数据工程师的能力:Linux。 您必须熟悉Linux,并且能够自己使用Linux。
由于当前的大数据生态系统基本上是JVM系统,所以请不要犹豫就使用语言。JVM系统中的Java和Scala基本上无法逃脱。基本上,您必须深入学习Java,Scala取决于情况。
2.ETL
ETL主要体现在大数据领域中各种数据流的处理上。一方面,这一部分反映在对某些组件的理解上,例如Sqoop,Flume,Kafka,Spark和MapReduce。另一方面,它需要编程语言,Java,Shell和Sql是基本技能。
3.系统开发
我们的大部分价值最终将由系统反映出来,例如报告系统和推荐系统。因此,需要一定的系统开发能力。最常用的一种是JavaWeb。当然,Python也很方便。
应该注意的是,通用数据开发无法摆脱各种数据需求,其中许多是临时性的和定制的需求。在这种情况下,Sql无法逃脱,必须诚实地学习Sql。
- 上一篇:什么是数据安全性?
- 下一篇:刚学大数据,有什么建议吗?
- 韶关电脑学校排行
- 最近发表
-
- 梅州信息:凝聚共识裁审同行梅州市召开劳动人事争议裁审衔接工作研讨会|||计算机网络培训学校
- 东莞信息:虎门镇民营企业招聘月活动|||广州市北大青鸟计算机职业培训学校
- 东莞信息:(塘厦)塘厦镇举办“筑劳知识”之“阳光经营第一课”劳务派遣政策法规宣讲会|||计算机职业技能培训班
- 东莞信息:(塘厦)塘厦镇举办2024年全市首场名城名企OpenDay活动启动仪式|||计算机软件培训学校
- 东莞信息:(南城)南城开展“民营企业招聘月”直播带岗活动|||中专学计算机平面设计女生可以学计算机网络技术好吗
- 湛江信息:专家、大咖云集献策!国家高层次人才服务行活动走进湛江|||计算机培训学校招生
- 东莞信息:(万江)万江人社分局组织企业参加东莞云聘周周招直播带岗活动|||计算机培训学校招生
- 东莞信息:(莞城)深入园区送政策精准服务助发展|||计算机网络培训学校
- 汕头信息:市人社局加强公共服务下沉基层赋能“百千万工程”|||计算机专业维修学校
- 东莞信息:(东坑)东坑再添一家“广东省博士工作站”|||计算机专业维修学校
- 标签列表
-