HelloHadoop.class
Mapper
static public class HelloMapper extends Mapper<LongWritable, Text, LongWritable, Text> {
public void map(LongWritable key, Text value, Context context) {
context.write((LongWritable)key, (Text)value);
}
}
<LongWritable, Text, LongWritable, Text>中的第一个LongWritable和第一个Text为Mapper的输入数据类型,第二个LongWritable和Text为Mapper的输出数据类型。
Reducer
static public class HelloReducer extends Reducer<LongWritable, Text, L ongWritable, Text> {
public void reduce(LongWritable key, Iterable<Text> values, Context context) {
Text val = new Text();
for (Text str : values) {
val.set(str.toString());
}
context.write(key, val);
}
}
<LongWritable, Text, LongWritable, Text>中的第一个LongWritable和第一个Text为Reducer的输入数据类型,第二个LongWritable和Text为Reducer的输出数据类型。
Main
public static void main(String[] args) {
Configuration conf = new Configuration();
Job job = new Job(conf, "Hadoop Hello World");
job.setJarByClass(HelloHadoop.class);
FileInputFormat.setInputPaths(job, "input");
FileOutputFormat.setOutputPath(job, new Path("output"));
job.setMapperClass(HelloMapper.class);
job.setReducerClass(HelloReducer.class);
job.waitForCompletion(true);
}
分享到:
相关推荐
讲述了Windows平台的Hadoop安装... 最后,以最简单的求和为例,剖析Hadoop的Map/Reduce工作机制,对于初学Hadoop及Map/Reduce的读者有很大的帮助。相信通过最简单的求和为例,读者可步入Hadoop的Map/Reduce开发者行列。
hadoop中map/reduce自学资料合集
hadoop开发文档
本文在研究BIRCH算法、规则关联算法、Hadoop的map/reduce机制的基础上,提 出了一种基于map/reduce的应用于网络安全事件分析的并行关联方法。一方面,通过对BIRCH 算法的改进,在BIRCH的分层次思想中引入预定义的...
NULL 博文链接:https://sgq0085.iteye.com/blog/1879442
Hadoop Map Reduce教程,介绍hadoop map/reduce框架的各个方面
【摘要】在对Map/Reduce算法进行分析的基础上,利用开源Hadoop软件设计出高容错高性能的分布式搜索引擎,以面对搜索引擎对海量数据的处理和存储问题。
hadoop,指南,map,reduce,hdfs,分布式,云计算,各部分都有详细说明
Hadoop, Apache开源的分布式框架。源自Google GFS,BigTable,MapReduce...JobTracker,hadoop的Map/Reduce调度器,负责与TackTracker通信分配计算任务并跟踪任务进度。 TaskTracker,启动和管理Map和Reduce子任务的节点。
在对Map/Reduce算法进行分析的基础上,利用开源Hadoop软件设计出高容错高性能的分布式搜索引擎,以面对搜索引擎对海量数据的处理和存储问题
eclipse中使用Hadoop Map/Reduce插件进行map/reduce的开发
hadoop的map reduce 学习手册,很实用
hadoop中Map-Reduce使用示例,输入(DBInputFormat),输出(DBOu-MR_HBase
使用Hadoop Map Reduce分析股票市场 如何运行程序? 首先在您的系统中安装Hadoop。 请按照以下步骤进行安装 然后开始执行给定的命令 cd hadoop-3.2.2 / sbin ./start-dfs.sh ./start-yarn.sh jps 导出HADOOP_...
Hadoop Map-Reduce教程,hadoop,mapreduce
Map:俗点说就是直接把数据打散,一份数据把它切分成多份小的数据进行处理,这个过程可以称之为Map。 Reduce:有打散当然要有聚合,把处理完的数据再重新合成一个,这个过程称之为Reduce。 这两个操作实际上就是...
云计算平台与技术分析,云计算相关概念介绍,Hadoop, Map/Reduce。
4.JobTracker,hadoop的Map/Reduce调度器,负责与TackTracker通信分配计算任务并跟踪任务进度。5.DataNode,hadoop数据节点,负责存储数据。6.TaskTracker,hadoop调度程序,负责Map,Reduce 任务的具体启动和执行。7....
Hadoop学习总结之三:Map-Reduce入门
hadoop权威指南,hadoop map/reduce 分布式计算