mapreduce怎么获得文件的路径

这篇文章主要介绍mapreduce怎么获得文件的路径，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！通常的做法是通过inputSplit来获得，如下：InputSplit split = context.getInputSplit();但是，如果使用MultipleInputs的话，则需要进行转化，将TaggedInputSplit转成InputSplit，如下： InputSplit split = context.getInputSplit();
Class extends InputSplit> splitClass = split.getClass(); FileSplit fileSplit = null;
if (splitClass.equals(FileSplit.class)) {
fileSplit = (FileSplit) split;
} else if (splitClass.getName().equals(“org.apache.hadoop.mapreduce.lib.input.TaggedInputSplit”)) {
try {
Method getInputSplitMethod = splitClass.getDeclaredMethod(“getInputSplit”);
getInputSplitMethod.setAccessible(true);
fileSplit = (FileSplit) getInputSplitMethod.invoke(split);
} catch (Exception e) {
throw new IOException(e);
}
}但是，进一步说，如果使用了CombineTextInputFormat的话，那么上述的代码仍然会报错，org.apache.hadoop.mapreduce.lib.input.CombineFileSplit cannot be cast to org.apache.hadoop.mapreduce.lib.input.FileSplit。并且CombineFileSplit内部也没有提供返回正在处理的InputSplit，虽然本身是多个Inp开发云主机域名utSplit的组合。有一个简单的办法，通过String filename = context.getConfiguration().get(“map.input.file”);便可以直接获得文件的全部路径。以上是“mapreduce怎么获得文件的路径”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注开发云行业资讯频道！

相关推荐: Service Mesh在企业级应用的生存之道

导读近期与几位企业用户交流 Service Mesh 及其相关技术，大家对于它所展现的形态以及未来发展都表示出极大的兴趣。但对当下企业应用现状如何与 Service Mesh 整合到一起又表现出极大的困惑。本文力图结合Service Mesh技术特性与企业应用…