N-gram
Map Reduce Project for Distributed Systems 2020 Fall @ Fudan University, by Zuobai Zhang
文件说明
n_gram.sh
:Map Reduce调用脚本,脚本中调用Hadoop命令,将map.py和reduce.py分别作为mapper和reducer执行Map Reduce过程。n_gram_slow.sh
:同上,慢速版本,将map.py和reduce.py分别作为mapper和reducer执行Map Reduce过程。main.py
:交互式代码,通过在代码中调用n_gram_slow.sh脚本完成运算任务。map.py
:带有stripe combiner优化的mapperreduce.py
:map.py对应的reducermap_slow.py
:带有combiner优化的mapperreduce_slow.py
:map_slow.py对应的reducer
使用方式
交互版本
python main.py
快速版本
sh ./ngram.sh 2