2019-09-22 19:28:32
大数据是眼下非常时髦的技术名词，与此同时自然也催生出了一些与大数据处理相关的职业，通过对数据的挖掘分析来影响企业的商业决策。
那么，现在市场上高薪的大数据工程师都需要掌握哪些技术？企业招聘时注重哪些技术？我们应该如何学习才能成为高薪大数据工程师？今天达妹就具体分析一下。
大数据工程师技术要求
我们来看一个现在热门公司的大数据工程师招聘要求：
上图是一个独角兽公司的Hadoop大数据工程师招聘启事，薪资是20-35K，可以说是一个普通的薪资范围。
从以上招聘要求中，我们可以看到，
Hadoop工程师用人企业普遍要求掌握以下技术：
- 熟悉Linux开发环境，熟悉Shell命令
- 熟悉Java、python、scala语言（至少一种）
- 具备较丰富的基于Hadoop、Map Reduce、Yarn、Storm、Spark、Hive、Hbase、kafka、Flume、HDFS、Spark Streaming等的大数据处理项目经验。
于是每家公司对大数据工作的要求不尽相同：有的强调数据库编程、有的突出应用数学和统计学知识、有的则要求有咨询公司或投行相关的经验、有些是希望能找到懂得产品和市场的应用型人才。
正因为如此，很多公司会针对自己的业务类型和团队分工，给这群与大数据打交道的人一些新的头衔和定义：数据挖掘工程师、大数据专家、数据研究员、用户分析专家等都是经常在国内公司里出现的Title，我们将其统称为“大数据工程师”。
由于国内的大数据工作还处在一个有待开发的阶段，因此能从其中挖掘出多少价值完全取决于工程师的个人能力。
已经身处这个行业的专家给出了一些人才需求的大体框架，包括要有计算机编码能力、数学及统计学相关背景，当然如果能对一些特定领域或行业有比较深入的了解，对于其快速判断并抓准关键因素则更有帮助。
目前国内的大数据应用多集中在互联网领域，有超过56%的企业在筹备发展大数据研究，“未来5年，94%的公司都会需要数据科学家。”
三大岗位学习路线
大数据岗位主要分三个岗位，分别是：
第一：大数据工程师（负责大数据平台的搭建）
第二：数据分析/挖掘
第三：算法工程师
主要为以上三类，但一般情况下还有细分的岗位：包括大数据运维工程师、大数据可视化工程师、爬虫工程师、ETL工程师等等。我们暂不讨论细分领域，只来说大面上，尤其是如果完全零基础的从哪里入手。
首先，以上三个岗位，算法工程师需要深厚的数学基础，没有高等教育的科班背景，几乎不太可能。
其次，另外两个的话，一个岗位的入手语言是java，一个的入手语言选择是python，第一个岗位更侧重大数据平台的搭建，第二个岗位更注重数据的处理。
大数据工程师在具备了java的基础后，接下来的学习顺序建议：
Linux ——hadoop——hive——hbase——flume——kafka——storm——spark
数据分析和数据挖掘的学习顺序如下：
python基础——python web——numpy——pandas——机器学习——深度学习
大数据时代，成为一名合格优秀的数据分析师应该是好多人的梦想。不过万丈高楼平地起啊，想成为一名称职的数据师，扎实坚硬的基础是少不了的，所以学习的初步，必须不能过于心急气躁，一定要沉住气，一步一个脚印，终究会达成的。
