5个回答

大数据行业工作好找吗?

秋生

说实话,今年大数据行业并不太好找工作,现在想转行大数据要额外的慎重,因为大数据技术经过这么多年的发展,要求越来越高,并且越来越卷了,如果想转行,最好是本科及以上学历,年龄23~30岁,理工类相关专业!如果是研究生,专业不限!这些要求并不是绝对的,只要技术学得牛,找工作还是比较容易的!

学习方式可以根据自身请求进行选择:

自学:如果自己的学习能力比较强,B站上有很多全套免费的大数据视频,认准了一个,义无反顾的拼命学,学习是枯燥的,一定要咬牙坚持下来,千万不能半途而废!还有一点非常重要,学习编程一定要多敲多练,千万不能只听不练!

培训:现在市面上也有不少的大数据培训机构,良莠不齐交钱之前一定要多考察,多比较,慎重选择,最重要的是师资、课程内容和项目,毕竟学费都2万多,不能花了钱,浪费了时间,到头来又没找到工作!!!培训的好处是有一个好的学习环境和氛围,线下面授,可以感受到老师上课时的激情,不容易犯困,遇到问题老师可以及时帮你解决,每天都会安排一些作业,即使自己懈怠了,氛围也会推着你向前的!

目前大数据课程的主要学习以下的内容:

1.掌握一门编程语言:例如Java、Python(如果是大数据开发,建议学Java,因为目前流行的大数据分布式框架大多是基于Java开发的或运行在JVM平台上的,例如:Hadoop、Hive、Hbase、Flink、Spark等;如果是想走算法方向,可以选Python,因为Python的算法库多一些),但是不要为选那种编程而纠结,编程语言都是相通的,学会了其中一个,再学其他的也会很快上手!重要的是先搞起来!

2.熟练使用Linux:因为公司的大数据项目都是部署在Linux服务器上的,所以需要数量掌握Linux的常用命令,并且可以编写一些Shell脚本!

3.掌握一种关系型数据库因为公司的业务数据一般是保存在关系型数据库中的(例如MySQL、Oracle、PostgreSQL等),做大数据开发,经常会将一些关系型数据库中的数据迁移到HDFS分布式文件系统中,然后在使用大数据框架数据分析,而且计算好的结果有时候也会保存到关系型数据库中!就是数量使用SQL,而且大数据框架中的Hive SQL、SparkSQL、Doris与这些关系型数据库的SQL都是差不多,触类旁通的!

4.掌握Hadoop框架:Hadoop框架是目前公司大数据使用比较多的,主要用HDFS分布式文件系统解决海量数据的存储;使用YARN作为资源调度;MapReduce虽然现在使用的比较少,但是这种分布式的思想还是很重要的。

5.熟练Hive SQL:大数据离线项目,一遍都是将非结构化的数据,进行预处理后,转成结构化的数据,然后进行数仓建模剩下大部分的工作都是使用SQL对数据进行处理和计算,所以必须熟练使用SQL。

6.熟练使用Spark:大数据公司一般使用Spark做离线计算、图计算、机器学习。复杂的业务,无法用SQL完成的,就需要编写Spark程序完成,如果仅会SQL那只能做一个SQL Boy/Girl,如果想有更好的发展,拿更高的薪水,就必须会编程!

7.掌握Kafka消息中间件如果公司有实时的业务,通常是将数据保存到Kafka这种消息中间件中的,如何高效、快速、安全、保证数据的一致性,就必须熟练掌握Kafka的操作和原理,并且还要有一定的优化的经验。

8.熟练使用Flink:现在大数据实时计算,最流行的就是Flink了。Flink也可以写SQL完成实时计算,但是复杂的场景,SQL搞不定,还是需要编程来实现。

9.掌握一种OLAP引擎:例如Doris、ClickHouse等(还是SQL)

10.有大数据项目经验:找工作,大数据项目的经验最重要了!


如果你对大数据感兴趣,可以看看下面的内容:



2023截止到7月,多易大数据就业总览


2023截止到7月,多易大数据就业详情


发布于 2023-08-31 10:26・IP 属地北京
多易教育-星哥
自由评论 (0)
分享
Copyright © 2022 GreatFire.org