脚本宝典收集整理的这篇文章主要介绍了MapReduce学习，脚本宝典觉得挺不错的，现在分享给大家，也给大家做个参考。

MapReduce的实验做的差不多了，但是我对于MapReduce其实根本没有什么理解，知识硬着头皮做实验。

现在通过老师法的PPT对MapReduce有了一个基本了解。

MapReduce：

　　用于解决大规模的数据处理，最主要的思想就是“分而治之”

MapReduce示例：单词计数（通过此例子了解MapRedue解决问题的流程）

　　给定一个巨大文本，如何计算每个单词出现的次数？

　　

　　使用MapReduce求解：

　　Step1：对文本进行切割

　　

　　我理解的是，将大数据分割成小数据，然后交给集群处理

　　Step2：对分割后的每一对<key,value>进行用户定义的Map处理，生成新的<key，value>

　　

　　这一步按我的理解就是，按照用户的规定对数据进行处理。

　　Step3：对输出的结果集归拢，排序（系统自动完成）

　　

　　我理解的是，这是数据整理的过程，可以看到相同的单词都被集合到一起了

　　Step4：通过Reduce操作生成最后结果

　　

　　这一步应该就是按用户想要的形式输出，形成最终结果。

 

 

 

相关术语：

 

 

 

 

 

脚本宝典总结

以上是脚本宝典为你收集整理的MapReduce学习全部内容，希望文章能够帮你解决MapReduce学习所遇到的问题。

如果觉得脚本宝典网站内容还不错，欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。