楼主: lnh2017
540 0

[Hadoop] Hadoop框架由哪几部分构成?hadoop入门学习 [推广有奖]

  • 0关注
  • 1粉丝

禁止发言

本科生

85%

还不是VIP/贵宾

-

威望
0
论坛币
15 个
学术水平
0 点
热心指数
0 点
信用等级
0 点
经验
1153 点
帖子
59
精华
0
在线时间
10 小时
注册时间
2018-1-15
最后登录
2018-5-15

楼主
lnh2017 发表于 2018-5-11 16:27:32 |只看作者 |倒序

Hadoop是一个用Java编写的Apache开源框架,允许使用简单的编程模型跨计算机集群分布式处理大型数据集。Hadoop框架工作的应用程序在跨计算机集群提供分布式存储和计算的环境中工作。Hadoop旨在从单个服务器扩展到数千个机器,每个都提供本地计算和存储。

Hadoop框架包括以下四个模块:

HadoopCommon: 这些是其他Hadoop模块所需的Java库和实用程序。这些库提供文件系统和操作系统级抽象,并包含启动Hadoop所需的Java文件和脚本。

HadoopYARN: 这是一个用于作业调度和集群资源管理的框架。

HadoopDistributed File System (HDFS™): 分布式文件系统,提供对应用程序数据的高吞吐量访问。

HadoopMapReduce:这是基于YARN的用于并行处理大数据集的系统。

除了以上四个模块,Hadoop还包括指向可以安装在Hadoop之上或之上的附加软件包的收集,例如Apache Pig,Apache Hive,Apache HBase,Apache Spark等。



您需要登录后才可以回帖 登录 | 我要注册

GMT+8, 2018-5-20 07:49