Hadoop包含HDFS(分布式文件系统)、YARN(资源管理器)、MapReduce(编程模型)。
一、MapReduce的编程原理
MapReduce 是一种编程模式,用于大规模的数据集的分布式运算。通俗的将就是会将任务分给不同的机器做完,然后在收集汇总。
map阶段(分解):单独计算任务,每个机器尽量计算自己hdfs内部的保存信息(即复杂问题分解成多个简单任务,并数据分块存储)
reduce阶段(合并):多个任务并行,将map的输出结果作为输入合并求解。
使用python写MapReduce是利用HadoopStreaming的API,通过STDIN(标准输入)、STDOUT(标准输出)在Map函数和Reduce函数之间传递数据。
二、程序
(1)map阶段
import sys
def map():
#标准输入读取的数据每一行是字符串格式,可以使用split进行分割
for line in sys.stdin:
words = line.split(" ")
for word in words:
#单词作为key,1作为value
print("\t".join([word.strip(),"1"]))`
(2)reduce阶段
import sys
from operator import itemgetter
def reduce():
word_count_dict = {
}
for line in sys.stdin:
kv = line.split("\t")
word = kv[0].strip()
count = int(kv[1].strip())
#使用字典类型数据get(key,default)方法,统计单词个数,如没有默认填写0,如果有在原有的基础上累加
word_count_dict[word] = word_count_dict.get(word,0)+count
#将统计的数据按照key值(即word)的首字母进行排序
sorted_word_count = sorted(word_count_dict.items(),key = itemgetter(0))
for word ,count in sorted_word_count:
print("\t".join([word.str(count)]))
(3)运行(windows系统)
1)首先使用命令(type 文档名称)查看txt文档
打开cmd命令提示符,到文档存储路径下,输入type word.txt(word.txt是要查看的文档),如图所示:
2)使用命令执行map程序
按照程序执行顺序展示结果:type word.txt | python map.py
按照程序执行,并将执行结果按照字母顺序进行排序:type word.txt | python map.py |sort
3)执行reduce程序
type word.txt | python map.py |sort |python reduce.py