摘要:本篇文章主要讲述JAVA语言之解析map reduce编写word count程序生成jar包与运行的步骤,希望阅读本篇文章以后大家有所收获,帮助大家对相关内容的理解更加深入。
本篇文章主要讲述JAVA语言之解析map reduce编写word count程序生成jar包与运行的步骤,希望阅读本篇文章以后大家有所收获,帮助大家对相关内容的理解更加深入。
1.首先准备一个需要统计的单词文件 word.txt,我们的单词是以空格分开的,统计时按照空格分隔即可
hello hadoop
hello yarn
hello zookeeper
hdfs hadoop
select from hadoop
select from yarn
mapReduce
MapReduce
2.上传word.txt到hdfs根目录
$ bin/hdfs dfs -put test/word.txt /
3.准备工作完成后在eclipse编写代码,分别编写Map、Reduce、Driver等Java文件
WordCountMap.java
map执行我们的word.txt 文件是按行执行,每一行执行一个map
WordCountMap.java
map执行我们的word.txt 文件是按行执行,每一行执行一个map
package com.ijeffrey.mapreduce.wordcount.client; import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; /** * map 输出的键值对必须和reducer输入的键值对类型一致 * @author PXY * */ public class WordCountMap extends Mapper<LongWritable, Text, Text, IntWritable> { private Text keyout = new Text(); private IntWritable valueout = new IntWritable(1); @Override protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context) throws IOException, InterruptedException { String line = value.toString(); // 我的文件记录的单词是以空格记录单词,所以这里用空格来截取 String[] words = line.split(" "); // 遍历数组,并以k v 对的形式输出 for (String word : words) { keyout.set(word); context.write(keyout, valueout); } } }
WordCountReducer.java
package com.ijeffrey.mapreduce.wordcount.client; import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; /** * reducer 输入的键值对必须和map输出的键值对类型一致 * map <hello,1> <world,1> <hello,1> <apple,1> .... * reduce 接收 <apple,[1]> <hello,[1,1]> <world,[1]> * @author PXY * */ public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> { private IntWritable valueout = new IntWritable(); @Override protected void reduce(Text key, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException { int count = 0; // 统计总数 // 遍历数组,累加求和 for(IntWritable value : values){ // IntWritable类型不能和int类型相加,所以需要先使用get方法转换成int类型 count += value.get(); } // 将统计的结果转成IntWritable valueout.set(count); // 最后reduce要输出最终的 k v 对 context.write(key, valueout); } }
WordCountDriver.java
package com.ijeffrey.mapreduce.wordcount.client; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; /** * 运行主函数 * @author PXY * */ public class WordCountDriver { public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { Configuration conf = new Configuration(); // 获得一个job对象,用来完成一个mapreduce作业 Job job = Job.getInstance(conf); // 让程序找到主入口 job.setJarByClass(WordCountDriver.class); // 指定输入数据的目录,指定数据计算完成后输出的目录 // sbin/yarn jar share/hadoop/xxxxxxx.jar wordcount /wordcount/input/ /wordcount/output/ FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); // 告诉我调用那个map方法和reduce方法 job.setMapperClass(WordCountMap.class); job.setReducerClass(WordCountReducer.class); // 指定map输出键值对的类型 job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); // 指定reduce输出键值对的类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); // 提交job任务 boolean result = job.waitForCompletion(true); System.exit(result ? 0 : 1); } } }
4.将编写完成的代码打成jar包,并在集群上运行
将jar上传到到服务器,启动服务后运行我们自己编写的MapReduce,统计根目录下的word.txt并将运行结果写入output
$ bin/yarn jar test/wordCount.jar com.ijeffrey.mapreduce.wordcount.client.WordCountDriver /word.txt /output
注意:运行jar的时候要添加Driver的完全路径
运行完成后查看output结果:
$ bin/hdfs dfs -text /output12/part-r-00000
本文由职坐标整理发布,学习更多的相关知识,请关注职坐标IT知识库!
您输入的评论内容中包含违禁敏感词
我知道了
请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了,明天再试试吧!
我们会在第一时间安排职业规划师联系您!
您也可以联系我们的职业规划师咨询:
版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
沪公网安备 31011502005948号