搞大数据，Java 工程师必须掌握哪些知识？

01、大数据的就业方向有哪些?

现实点，我们掌握任何技能都是为了就业，为了能够找份工作糊口;立志不打工的同学们请绕行哈。

那大数据的就业方向都有哪些呢?

• 大数据工程师
• 大数据科学家
• 数据分析师

那针对这些不同的就业方向，都需要哪些技能呢?我们来一一的分析下。

02、大数据工程师的技能要求

大数据工程师的门槛相对其他两个较低一些，所以同学们可以重点关注一下这个方向。

先说一些必备的技能吧。

• 对 Java 虚拟机有着深入的研究，推荐书籍，周志明的《深入理解 Java 虚拟机》。
• 对 Java 并发掌握得很透彻，推荐书籍，《Java 并发编程实战》。
• 掌握 Hadoop。Hadoop 是一款支持数据密集型分布式应用程序并以 Apache 2.0 许可协议发布的开源软件框架，可以使应用程序与成千上万的独立计算的电脑和 PB 级的数据连接起来，整个 Hadoop “平台”还包括 MapReduce、Hadoop 分布式文件系统(HDFS)。
• 掌握 HBase。HBase 是一个开源的非关系型分布式数据库，是 Hadoop 项目的一部分，运行于 HDFS 文件系统之上，对稀疏文件提供极高的容错率。
• 掌握 Hive。Hive 是一个建立在 Hadoop 架构之上的数据仓库，能够提供数据的精炼，查询和分析。
• 掌握 Kafka。Kafka 的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。
• 掌握 Storm。Storm 是一个分布式计算框架，使用用户创建的“管”和“螺栓”来定义信息源和操作，允许批量、分布式处理流式数据。
• 了解 Scala。Scala 是一门多范式的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。可以和 Java 兼容，运行在 Java 虚拟机上。
• 掌握 Spark。Spark 是一个开源集群运算框架，相对于 Hadoop 的 MapReduce 会在运行完工作后将中介数据存放到磁盘中，Spark 使用了存储器内运算技术，能在数据尚未写入硬盘时即在存储器内分析运算。
• 会用 Linux。推荐书籍，鸟哥的《Linux 私房菜》。

再来说一些高阶的技能吧。

• 会用 Python。
• 会用 R 语言。
• 精通算法和数据结构。
• 

（编辑：广安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!