上一篇博客《什么是MapReduce(入门篇) 用maven打jar包,需要添加的打包插件依赖 步骤详情:右侧Maven->Lifecycle->package。等待编译完成就会在项目的target文件夹中生成jar包。如果看不到。在项目上右键-> Refresh,即可看到。 本期的就到这里了,小伙伴们有什么疑惑或好的建议可以积极在评论区留言~,博主会持续更新新鲜好玩的技术,喜欢的小伙伴们不要忘了,记得要关注博主呐ヾ(◍°∇°◍)ノ゙。
》讲的是WordCount案例在本地的实际操作,这篇讲述的是在集群上的操作过程。目录
1. 添加打包插件依赖
<build> <plugins> <plugin> <artifactId>maven-compiler-plugin</artifactId> <version>2.3.2</version> <configuration> <source>1.8</source> <target>1.8</target> </configuration> </plugin> <plugin> <artifactId>maven-assembly-plugin </artifactId> <configuration> <descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs> <archive> <manifest> <mainClass>com.atguigu.mr.WordcountDriver</mainClass> // 此处要换成自己工程的名字 </manifest> </archive> </configuration> <executions> <execution> <id>make-assembly</id> <phase>package</phase> <goals> <goal>single</goal> </goals> </execution> </executions> </plugin> </plugins> </build>
注意:如果工程上显示红叉。在项目上右键->maven->update project即可。2. 将程序打成jar包,然后拷贝到Hadoop集群中
2.1 打包过程
2.2 修改不带依赖的jar包名称为wc.jar,并拷贝该jar包到Hadoop集群。
3. 执行WordCount程序
[bigdata@hadoop001 hadoop-2.7.2]$ hadoop fs -copyFromLocal hello.txt /user/input [bigdata@hadoop001 hadoop-2.7.2]$ hadoop jar wc.jar com.buwenbuhuo.wordcount.WcDriver /user/bigdata/input /user/bigdata/output
运行完成后进行下载查看:
如果出现问题了不要慌,慢慢来,博主本人刚开始也是踩了无数的坑,奥里给干就完了!
本网页所有视频内容由 imoviebox边看边下-网页视频下载, iurlBox网页地址收藏管理器 下载并得到。
ImovieBox网页视频下载器 下载地址: ImovieBox网页视频下载器-最新版本下载
本文章由: imapbox邮箱云存储,邮箱网盘,ImageBox 图片批量下载器,网页图片批量下载专家,网页图片批量下载器,获取到文章图片,imoviebox网页视频批量下载器,下载视频内容,为您提供.
阅读和此文章类似的: 全球云计算