我发现我这个人很难专心做一件事情,本来打算好好学习下Hadoop,结果跟Eclipse卯上了,折腾了几天。
因为项目需要,倒腾了一下Hadoop在Eclipse下的开发环境,其中涉及到Eclipse的版本问题,Hadoop的权限问题。
Hadoop版本:hadoop-0.20.2
Ecipse版本:Helios/Indigo
问题描述:
1. 将hadoop-0.20.2/contrib/eclipse-plugin目录下的文件复制到Eclipse(Helios)下,设置好Map/Reduce Locations后,无法浏览DFS文件,连接出错。
排查后,发现是Eclipse版本问题,不知道为啥,Helios对插件的支持有问题,切换到Indigo版本,问题解决。
2. 只能浏览DFS Location,无法添加、删除文件。
Hadoop的DFS权限问题,hadoop插件会默认使用本地用户名和组作为DFS的用户。
一说可以在服务器端关闭DFS的权限控制,通过修改DFS配置文件中的权限控制字段即可。另说可以在Eclipse中修改一个字段即可。按照另说的方法,修改插件设置页中“Advanced parameters"中的“hadoop.job.ugi”,修改为hadoop的用户名和组即可。
PS:出现“Run on hadoop”无效问题,排查后发现是hadoop在eclipse中的插件问题,更换最新版plugin插件即可。
分享到:
相关推荐
用来配置myeclipse或eclipse对应的hadoop 插件,方便开发
安装后可直接在Eclipse中以可视化操作HDFS中的文件。 大大提高了开发效率。在Eclipse下安装hadoop-eclipse-plugin(插件jar包已提供)。复制此插件jar包到eclipse安装目录/plugins/ 下。可通过whereis eclipse查看...
1.2.1版本插件的jar包和hadoop-1.2.1.tar.gz,亲测可用~~请在下载完该包后解压,将hadoop-1.2.1放置于Eclipse\plugins目录下,然后重启eclipse,将hadoop-1.2.1.tar.gz放到D:\hadoop-eclipse中,再将打开窗口 window...
eclipse配置hadoop,并且如何在eclipse中进行mapreduce的开发
hadoop-eclipse-plugin-2.6.4.jar。 基于Eclipse的Hadoop应用开发环境配置工具包 jar包
eclipse连接hadoop搭建mapreduce开发环境。本资源含有hadoop-2.8.5.tar和在eclipse配置mapreduce环境的plugin的jar包,版本为2.8.5
Hadoop-Eclipse-Plugin-2.7.3,其中包含hadoop-eclipse-plugin-2.7.3.jar和Windows-Eclipse下配置Hadoop Map/Reduce开发环境所需的相关文件。
Hadoop在eclipse上面安装插件,以及对Hadoop jar包和hadoop-common jar包的安装,环境变量的配置
环境配置是:hadoop 2.4.0+ eclipse 4.3.2+mac os+10.9.4 eclipse插件
下载到合适的位置,解压缩一次就可以得到hadoop-eclipse-plugin-2.8.5.jar,然后就可以使用eclipse和hadoop-eclipse-plugin-2.8.5.jar配置hadoop本地环境了。
使用Eclipse软件连接Hadoop的java-api时,配置的hadoop-eclipse的插件
超详细hadoop与eclipse开发环境设置.docx
hadoop-eclipse-plugin-2.10.1.jar亲测可用
Hadoop Eclipse是Hadoop开发环境的插件,在安装该插件之前需要首先配置Hadoop的相关信息。用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行...
Hadoop-Eclipse开发环境配置是搭建完hadoop环境后,进行代码编写必要的环境,
hadoop-eclipse-plugin-2.7.7 用于eclipse IDE配合Hadoop2.7.7版本的插件,有了它,可以便捷的在eclipse中创建Hadoop项目。通常用于高校云计算相关课程实验课。一般还需要使用到JDK相关配置等
hadoop的eclipse插件,原版不能设置客户端的连接用户,可能出现用户权限不足的问题,这个对此进行了修改,能够设置客户端用户,在eclipse 4.6.2上进行了测试,将jar直接放到plugins目录下,重启eclipse即可
配置组合:ubuntu+eclipse3.7.1+hadoop-1.0.0+hadoop-eclipse-plugin-1.0.0.jar 已配置测试成功过。。
hadoop-eclipse-plugin-2.6.4.jar。 基于Eclipse的Hadoop应用开发环境配置工具包 jar包
自己整理生成了一套基于HADOOP2.8.2的插件,经测试可用,应该是全网第一个基于HADOOP2.8.2的ECLIPSE插件,我使用的环境JDK1.7 64位,MYECLIPSE2014 或 ECLIPSE4.4 下载包中有配置好的截图照片。