怎么将HBase的数据导入HDFS


这篇文章主要介绍了怎么将HBase的数据导入HDFS,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。实践:将HBase数据导入HDFS如果将要在MapReduce中使用的客户数据与HDFS中的数据结合使用,那该怎么办?可以编写一个MapReduce作业,该作业将HDFS数据集作为输入,并直接从HBase的map或reduce代码中提取数据。但在某些情况下,将HBase中的数据直接转储到HDFS可能更有用,特别是如果计划在多个MapReduce作业中使用该数据并且HBase数据不可变或不经常更改。问题将HBase数据导入HDFS解决方案HBase包含一个Export类,可用于将HBase数据以SequenceFile格式导入HDFS。此技术还介绍了可用于读取导入的HBase数据代码。讨论在开始使用这种技术之前,需要启动并运行HBase。为了能够从HBase导出数据,首先需要将一些数据加载到HBase。加载器创建一 香港云主机个名为stocks_example的HBase表,其中包含一个列族的详细信息,我们将HBase数据存储为Avro二进制序列化数据,此部分代码就不列举了。运行加载程序并使用它将样本数据加载到HBase中:可以使用HBase shell查看负载结果。list命令(不带任何参数)将显示HBase中的所有表,而带有单个参数的scan命令将转储表的所有内容:有了这些数据,我们就可以将其导出到HDFS了。HBase附带了一个转储HBase表的org.apache.hadoop.hbase.mapreduce.Export类。以下代码段显示了使用Export类的示例。使用此命令,可以导出整个HBase表:Export类还支持只导出单个列族,还可以压缩输出:Export类以SequenceFile格式写入HBase输出,其中HBase行键使用org.apache.hadoop.hbase.io .ImmutableBytesWritable存储在SequenceFile记录键中,HBase值使用org.apache.hadoop.hbase.client.Result存储在SequenceFile记录值中.。如果要在HDFS中处理导出的数据,该怎么办?以下列表显示了如何读取HBase SequenceFile并提取Avro记录的示例。代码5.3 读取HBase SequenceFile以提取Avro记录可以针对用于导出的HDFS目录运行代码并查看结果:HBaseExportedStockReader类能够读取和转储HBase的Export类使用的SequenceFile内容。使用内置的HBase Export类可以更轻松地将HBase中的数据导出到HDFS中。但是,如果不想将HBase数据写入HDFS,而是想直接在MapReduce作业中处理它,该怎么办?让我们看看如何使用HBase作为MapReduce作业的数据源。实践:使用HBase作为MapReduce的数据源内置的HBase导出器使用SequenceFile输出HBase数据,除了Java之外的编程语言不支持它,并且不支持模式演变。它仅支持Hadoop文件系统作为数据接收器。如果想要更多地控制HBase数据提取,可能需要其他HBase工具问题希望直接在MapReduce作业中对HBase进行操作,而无需将数据复制到HDFS的中间步骤。解决方案HBase有一个TableInputFormat类,可以在MapReduce作业中使用,直接从HBase中提取数据。讨论HBase提供了一个名为TableInputFormat的InputFormat类,它可以将HBase用作MapReduce中的数据源。以下代码显示了一个MapReduce作业,它使用此输入格式(通过TableMapReduceUtil.initTableMapperJob调用)从HBase读取数据。代码5.4 使用MapReduce将HBase数据导入HDFS可以按如下方式运行此MapReduce作业:快速查看HDFS,告诉MapReduce作业是否按预期工作:此输出确认MapReduce作业按预期工作。感谢你能够认真阅读完这篇文章,希望小编分享的“怎么将HBase的数据导入HDFS”这篇文章对大家有帮助,同时也希望大家多多支持开发云,关注开发云行业资讯频道,更多相关知识等着你来学习!

相关推荐: php中self与static有什么区别

php中self与static有什么区别,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。通过一些示例,我们可以很容易看出self和static的区别。假定我们有class Car –…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

Like (0)
Donate 微信扫一扫 微信扫一扫
Previous 09/11 18:24
Next 09/11 18:28

相关推荐