HBase compaction有什么用


这篇文章主要为大家展示了“HBase compaction有什么用”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“HBase compaction有什么用”这篇文章吧。compaction是将多个HFile合并为一个HFile操作,
进行compaction有如下几个作用:减少HFile文件的个数,HFile减少可能提高读取性能,清除过期和删除数据
compaction有二种类型:minor 和 major1)Minor操作只用来做部分文件的合并操作以及包括minVersion=0并且设置ttl的过期版本清理,不做任何删除数据、多版本数据的清理工作。2)Major操作是对Region下的HStore下的所有StoreFile执行合并操作,会做删除数据,多版本数据清理工作,最终的结果是整理合并出一个文件。

HRegionServer在启动的时候,会启动compactionChecker线程,compactionChecker会检测region是否需要compaction。主要执行的逻辑如下:如代码,遍历onlineRegions,获取每个region的Store进行判断,其中needsCompaction逻辑如下:minFilesToCompact由hbase.hstore.compaction.min(老版本是:hbase.hstore.compactionThreshold)控制,默认值为3,即store下面的storeFiles数量 减去 正在compaction的数量 >=3是,需要做compaction。needsCompaction为true后,会调用compactSplitThread.requestSystemCompaction方法,发送compaction请求,具体内容会在compactSplitThread线程里分析。needsCompaction为false后,会判断是否为isMajorCompaction,具体逻辑如下:

以上是“HBase compaction有什么用”这篇文章的所有内开发云主机域名容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注开发云行业资讯频道!

相关推荐: 虚拟主机能不能装软件

这篇文章运用简单易懂的例子给大家介绍虚拟主机能不能装软件,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。拟主机不可以装软件,虚拟主机是从服务器上划分出来的一部分空间,无法支持软件安装功能。安装软件,需要对系统、环境做修改。比如我们安装一个软…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

Like (0)
Donate 微信扫一扫 微信扫一扫
Previous 05/29 16:15
Next 05/29 16:15

相关推荐