MapReduce的两个阶段和编程规范

发布于:2025-05-19 ⋅ 阅读:(22) ⋅ 点赞:(0)

(一MapReduce的两个阶段

第一阶段,也称之为 Map 阶段。这个阶段会有若干个 MapTask 实例,完全并行运行,互不相干。每个 MapTask 会读取分析一个 Inputsplit (输入分片,简称分片) 对应的原始数据。计算的结果数据会临时保存到所在节点的本地磁盘里。

该阶段的编程模型中会有一个 map 函数需要开发人员重写,map 函数的输入是一个 < key,value > 对,map 函数的输出也是一个 < key,value > 对,key和value的类型需要开发人员指定。

第二阶段,也称为 Reduce 阶段。这个阶段会有若干个 ReduceTask 实例并发运行,互不相干。但是它们的数据依赖于上一个阶段所有 mapTask 并发实例的输出。一个 ReduceTask 会从多个 MapTask 运行节点上 fetch 自己要处理的分区数据,经过处理后,输出到 HDFS 上。

该阶段编程模型中有一个 reduce 函数需要开发人员重写,reduce 函数的输入也是一个 <key, value> 对,reduce 函数的输出也是一个 < key,List<value>> 对。需要强调的是,reduce 的输入其实就是 map 的输出,只不过 map 的输出经过 shuffle 技术后变成了<key, List<Value>>而已。参考下图:

注意:MapReduce编程模型只能包含一个map

MapReduce的编程规范

用户编写MapReduce程序的时候,需要设计至少三个类:Mapper, Reducer, Driver(用于提交MR的任务)。

用户编写的程序分成三个部分:Mapper、Reducer和Driver。

1. Mapper

(1) 用户自定义类,继承org.apache.hadoop.mapreduce.Mapper类

(2) 定义K1,V1,K2,V2的泛型(K1,V1是Mapper的输入数据;K2,V2Mapper的输出数据类型

(3) 写map方法的处理逻辑 

LongWritable: 即K1的数据类型,表示读取到的一行数据的行偏移量,只能设置为LongWritable类型。

注意:Map方法,每一个键值对都会调用一次。

2. Reducer

(1) 用户自定义类,继承org.apache.hadoop.mapreduce.Reducer 

(2) 定义K2,V2,K3,V3的泛型(K2,V2是Reducer的输入数据数据;K3,V3Reducer的输出数据类型

(3) reduce方法的处理逻辑

3.Driver

MapReduce的程序,需要进行执行之前的属性配置与任务的提交,这些操作都需要在Driver类中来完成。相当于YARN集群的客户端,用于提交我们整个程序到YARN集群,提交的是封装了MapReduce程序相关运行参数的job对象


网站公告

今日签到

点亮在社区的每一天
去签到