先说一下环境，有两个集群，一个新的一个旧的，打算把新的调试好然后把旧的关掉。 新：Cloudera Express 5.6.0，CDH-5.6.0 旧:Cloudera Express 5.0.5，CDH-5.0.5 新集群搭建过程中发现一个问题，执行以下命令对lzo文件创建索引，在新集群中job无法提交到指定队列，同样的命令在旧集群中正常： hadoop jar hadoop-lzo.jar com.hadoop.compression.lzo.DistributedLzoIndexer -D mapreduce.job.queuename=copy /data/lzodata/
两个集群的配置区别在于，旧集群lzo的配置一个是手动的，新集群是用GPLEXTRAS的parcel包配置的。用GPLEXTRAS配置的新集群默认吧lzo的jar包加载到hadoop classpath路径中了，导致的结果是DistributedLzoIndexer 提交不到正确的队列。 因为新版版的hadoop 香港云主机-lzo.jar中 com.hadoop.compression.lzo.DistributedLzoIndexer 修改了获取Configuration的方式 Configuration conf = new Configuration(); Job job = new Job(conf); 旧版本中为 Job job = new Job(getConf()); 修改了源码，然后重新上传到提交job的服务器，只在提交job的时候起作用。 修改脚本的位置，修改前请做好备份： /opt/cloudera/parcels/CDH-5.6.0-1.cdh6.6.0.p0.45/lib/hadoop/bin 修改脚本中export CLASSPATH=/opt/cloudera/userlib/hadoop-lzo.jar:$CLASSPATH
上面的/opt/cloudera/userlib/hadoop-lzo.jar为想要加载的路径
这篇文章主要介绍“Win10怎么开启自动查找网络设备”，在日常操作中，相信很多人在Win10怎么开启自动查找网络设备问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”Win10怎么开启自动查找网 香港云主机络设备”的疑惑有所帮助！接…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
