大数据年代全面降临，大数据、人工智能等技能引领科技立异潮流，取得国家方针大力支持，远景宽广。学习大数据技能的人自然是川流不息，但千锋教师提示你：学习大数据虽然是一个趋势，但也要注意大数据训练课程的质量，大数据的三个关键技能是一定要掌握的！
一、Hadoop生态体系
Hadoop 是一个散布式体系根底架构，由Apache基金会开发。用户能够在不了解散布式底层细节的情况下，开发散布式程序。充分运用集群的威力高速运算和存储。Hadoop完成了一个散布式文件体系（Hadoop Distributed File System），简称HDFS。
Hadoop “栈”由多个组件组成。包含：
1、Hadoop散布式文件体系（HDFS）：一切Hadoop集群的默许存储层
2、 称号节点：在Hadoop集群中，供给数据存储方位以及节点失效信息的节点。
3、 二级节点：称号节点的备份，它会定时仿制和存储称号节点的数据，以防称号节点失效。
4、 作业跟踪器：Hadoop集群中建议和协调MapReduce作业或数据处理使命的节点。
5、 从节点：Hadoop集群的一般节点，从节点存储数据并且从作业跟踪器那里获取数据处理指令。
二、Spark生态体系
Spark 是一种与 Hadoop 相似的开源集群核算环境，可是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些作业负载方面体现得愈加优胜，换句话说，Spark 启用了内存散布数据集，除了能够供给交互式查询外，它还能够优化迭代作业负载。
Spark 是在 Scala 言语中完成的，它将 Scala 用作其使用程序结构。与 Hadoop 不同，Spark 和 Scala 能够严密集成，其间的 Scala 能够像操作本地调集目标相同轻松地操作散布式数据集。
三、Storm实时开发
Storm是一个免费并开源的散布式实时核算体系。运用Storm能够很简略做到可靠地处理无限的数据流，像Hadoop批量处理大数据相同，Storm能够实时处理数据。Storm简略，能够运用任何编程言语。
Storm有如下特色：
1、编程简略：开发人员只需要重视使用逻辑，并且跟Hadoop相似，Storm供给的编程原语也很简略
2、高性能，低推迟：能够使用于广告搜索引擎这种要求对广告主的操作进行实时呼应的场景。
3、散布式：能够轻松应对数据量大，单机搞不定的场景
4、可扩展： 跟着事务开展，数据量和核算量越来越大，体系可水平扩展
5、容错：单个节点挂了不影呼使用
6、音讯不丢掉：确保音讯处理
年代不断进步，技能不断开展，想要成为大数据工程师就要不断的学习新技能，掌握技能的开展潮流！
