本文共 1398 字，大约阅读时间需要 4 分钟。

前言

本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见

正文

Flush机制

（1）当memstore的大小超过这个值的时候，会flush到磁盘,默认为128M

   
    
     hbase.hregion.memstore.flush.size
    
    
     134217728
    
   

（2）当memstore中的数据时间超过1小时，会flush到磁盘

   
    
     hbase.regionserver.optionalcacheflushinterval
    
    
     3600000
    
   

（3）HregionServer的全局memstore的大小，超过该大小会触发flush到磁盘的操作,默认是堆大小的40%

   
    
     hbase.regionserver.global.memstore.size
    
    
     0.4
    
   

（4）手动flush

flush tableName

Compact 机制

• hbase为了防止小文件过多，以保证查询效率，hbase需要在必要的时候将这些小的store file合并成相对较大的store file，这个过程就称之为compaction。

• 在hbase中主要存在两种类型的compaction合并

minor compaction 小合并

• 在将Store中多个HFile合并为一个HFile

• 这个过程中，达到TTL（记录保留时间）会被移除，删除和更新的数据仅仅只是做了标记，并没有物理移除，这种合并的触发频率很高。

minor compaction 触发条件由一下几个参数共同决定

   
     
    
     hbase.hstore.compaction.min
      
    
     3
    
   
   
     
    
     hbase.hstore.compaction.max
      
    
     10
    
   
   
     
    
     hbase.hstore.compaction.min.size
      
    
     134217728
    
   
   
     
    
     hbase.hstore.compaction.max.size
      
    
     9223372036854775807
    
   

major compaction 大合并

• 合并Store中所有的HFile为一个HFile

• 这个过程有删除标记的数据会被真正移除，同时超过单元格maxVersion的版本记录也会被删除。合并频率比较低，默认7天执行一次，并且性能消耗非常大，建议生产关闭(设置为0)，在应用空闲时间手动触发。一般可以是手动控制进行合并，防止出现在业务高峰期。

major compaction 触发时间条件

   
   
    
     hbase.hregion.majorcompaction
    
    
     604800000
    
   

• 手动触发

# 使用major_compact命令major_compact tableName

转载地址：http://ykgji.baihongyu.com/