楼主: lnh2017
2948 2

[Hadoop] hadoop原理介绍 [推广有奖]

  • 0关注
  • 1粉丝

禁止发言

本科生

85%

还不是VIP/贵宾

-

威望
0
论坛币
15 个
学术水平
0 点
热心指数
0 点
信用等级
0 点
经验
1153 点
帖子
59
精华
0
在线时间
12 小时
注册时间
2018-1-15
最后登录
2018-6-19

楼主
lnh2017 发表于 2018-5-11 16:31:22 |只看作者 |倒序

Hadoop主要是分布式计算和存储的框架,其工作过程主要依赖于HDFS分布式存储系统和Mapreduce分布式计算框架,以下是其工作过程:

阶段 1

用户/应用程序可以通过指定以下项目来向Hadoop(hadoop作业客户端)提交作业以获取所需的进程:

分布式文件系统中输入和输出文件的位置。

java类以jar文件的形式包含map和reduce函数的实现。

通过设置作业的不同参数来配置作业。

阶段 2

Hadoop作业客户端然后将作业(jar /可执行文件等)和配置提交给JobTracker,JobTracker然后承担将软件/配置分发给从属的责任,Hadoop作业客户端然后将作业(jar /可执行文件等)和配置提交给JobTracker,JobTracker然后承担将软件/配置分发给从属的责任,

阶段 3

不同节点上的TaskTracker根据MapReduce实现执行任务,reduce函数的输出存储在文件系统上的输出文件中。



stata SPSS
沙发
孤独红狐 发表于 2018-5-17 08:02:04 |只看作者
谢谢分享
藤椅
wangyong8935 发表于 2018-10-5 07:42:43 |只看作者
关注
您需要登录后才可以回帖 登录 | 我要注册

GMT+8, 2019-1-22 03:39
愉快的旅行完整漫画6 九州娱乐城 最好的彩票缩水软件 排列三跨度走势图 电子游戏论作文
辽宁体彩11选5开奖查询 新疆18选7开奖 诈金花在线玩 11选5开奖结果 湖南体彩幸运赛车官网
贵州快三开奖结果50期 我也是被时时彩害死了 重庆幸运农场彩票 七乐彩游戏玩法及规则 七乐彩重号走势图
安徽快三官网 安徽11选5赚钱方法 网球规则与打法视频 13458 02679怎么换着买 江苏省体彩十一选五