当前位置: 首页 / 技术分享 / 正文
想往大数据方向发展,改怎准备?需要具备那些技能?

2022-07-29

数据 分析 进行

想往大数据方向发展,改怎准备?需要具备那些技能?

想往大数据方法发展,首先得确认你在转之前是一个纯小白,还是一个已经具备一定开发经验的程序员.如果是有一定经验的,相对来说会比较容易些,因为语言都是相通的.对于纯小白,首先要做好充足的思想准备,学习编程本就是一件枯燥的事情,很磨练心智的.其次如果自学会比较难,比较慢,最好找个地方进行快速的学习(个人建议).不过对于大数据开发未来的前景还是不错的,包括就业前景,就业薪资,所以如果你想以后将大数据作为长期从事的工作,还是可以的.

 

下面我介绍一些大数据相关的,希望对你有用:

 

大数据相关工作介绍

 

大数据方向的工作目前主要分为三个主要方向:

 

1. 大数据工程师

 

2. 数据分析师

 

3. 数据仓库(数仓)

 

4. 其他(数据挖掘等)

 

必须掌握的技能20条 (按照这个顺序进行学习)

 

1. Java基础

 

2. Linux 基本操作

 

3. Hadoop(HDFS+MapReduce+Yarn)

 

4. Hive(Hql基本操作和原理理解)

 

5. Hbase(JavaAPI操作+Phoenix)

 

6. Flume/Sqoop(数据采集/传输工具)

 

7. Kafka(分布式总线系统)

 

8. Storm(分布式的实时计算框架)

 

9. Scala(编程语言,用于Spark开发)

 

10. Redis(非关系型数据库)

 

11. SparkCore(主要数据清洗,分析)

 

12. SparkSQL(相关数据分析)

 

13. SparkStreaming(实时统计分析)

 

14. Spark内核编码

 

15. Flink(开源流式框架,进行实时统计分析)

 

16. ElasticSearch(搜索引擎,进行数据存储分析)

 

17. Logstash(动态地采集,转换和传输数据)

 

18. Kibana(可视化监控管理及分析)

 

19. Mongodb(非关系型数据库)

 

20. 辅助小工具(Oozie/Hue/azkaban等)

 

高级技能9条

 

1. 机器学习算法以及mahout库加MLlib

 

3. Lambda 架构

 

4. Kappa 架构

 

5. Kylin(数据预处理工具)

 

6. Alluxio(数据存储)

 

7. Python(辅助数据分析)

 

8. 可视化工具(superset/vue/grah)

 

9. Kudu(分布式数据存储)

 

好程序员公众号

  • · 剖析行业发展趋势
  • · 汇聚企业项目源码

好程序员开班动态

More+
  • HTML5大前端 <高端班>

    开班时间:2021-04-12(深圳)

    开班盛况

    开班时间:2021-05-17(北京)

    开班盛况
  • 大数据+人工智能 <高端班>

    开班时间:2021-03-22(杭州)

    开班盛况

    开班时间:2021-04-26(北京)

    开班盛况
  • JavaEE分布式开发 <高端班>

    开班时间:2021-05-10(北京)

    开班盛况

    开班时间:2021-02-22(北京)

    开班盛况
  • Python人工智能+数据分析 <高端班>

    开班时间:2021-07-12(北京)

    预约报名

    开班时间:2020-09-21(上海)

    开班盛况
  • 云计算开发 <高端班>

    开班时间:2021-07-12(北京)

    预约报名

    开班时间:2019-07-22(北京)

    开班盛况
在线咨询
试听
入学教程
立即报名

Copyright 2011-2020 北京千锋互联科技有限公司 .All Right 京ICP备12003911号-5 京公网安备 11010802035720号