当前位置: 首页 > >

Map/Reduce执行流程简述

发布时间:

一、背景



最*总在弄MR的东西,所以写点关于这个方面的内容,总结一下吧



二、流程描述



说实话,文字描述比较苍白,画了个图,贴出来,大家看看,有问题欢迎指出




三、总结



1、值得提出的是,一个map结束就马上会进行分区的操作。并非是等所有的map都结束才做分区的操作。


2、分组的操作是对key的值进行比较分组。(可以是复合key,也可以是单一的key)


3、关于job.setSortComparatorClass(a.class);这个是自定义的比较器,对原有的排序方式进行重写。


4、值得看看Hadoop自带的例子SecondarySort.java这个类。


5、写的不对或有疑问的地方,发邮件交流,dajuezhao@gmail.com




友情链接: hackchn文档网 营销文档网 爱linux网 爱行业网 时尚网