您好,欢迎来到华佗小知识。
搜索
您的当前位置:首页简述MR的工作流程?

简述MR的工作流程?

来源:华佗小知识

1-InputFormat

从文件中读取数据,转换成key-value格式。

getSplits 获取文件的逻辑切片数,开启对应个数的mapper实例。

create RecordReader 用来读取记录,调用此方法一条一条的读记录。

2-Mapper

读取InputSplit的每个key-value 并对其进行处理

setup 初始化

cleanup 释放资源

map 映射转换,每一个k-v调用一次map方法

run 循环读取k-v数据,调用map方法进行映射转换

3-Shuffle

Shuffle 在Mapper工作之后,Reader工作之前的中间环节

分区 Partitioner

排序 WritableComparable

预聚合 Combiner

分组排序 GroupingComparator

4-Reducer

对shuffle处理之后的k-v进行归并处理

setup 初始化

cleanup 释放资源

reduce 归约| 合并 对相同的key调用一次reduce方法

run 循环调用reduce方法处理所有的k-v数据

5-OutputFormat

输出Reducer处理的结果数据

checkOutputSpces 在Job Client 提交Job之前被调用的用于检测Job的输出路径。

getRecordWriter 用于返回一个RecordWriter 的实例,reduce任务在执行的时候就是利用这个实例来输出key/value的。

getOutputCommitter 用于返回一个OutputCommitter 的实例,OutputCommitter用于控制Job的输出环境。

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- huatuo0.cn 版权所有 湘ICP备2023017654号-2

违法及侵权请联系:TEL:199 18 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务