HBase优化---系统架构.doc
立即下载
我头上有犄角
2024-10-27
时间
RegionServer
内存
PUT
单次
ReigonServer
请求
调优
48 KB
HBase性能调优
因官方Book Performance Tuning (http://hbase.apache.org/book.html" \l "performance" \t "http://blogread.cn/it/article/_blank)部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。
配置优化
zookeeper.session.timeout
默认值：3分钟(180000ms)
说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后，会对这台server负责的regions重新balance，让其他存活的RegionServer接管.
调优：
这个timeout决定了RegionServer是否能够及时的failover。设置成1分钟或更低，可以减少因等待超时而被延长的failover时间。
不过需要注意的是，对于一些Online应用，RegionServer的宕机到恢复时间本身就很短的(网络闪断，crash等故障，运维可快速介入)，如果调低timeout时间，会得不偿失。因为当ReigonServer被正式从RS集群中移除时，HMaster就开始做balance了，当故障的RS快速恢复后，这个balance动作是毫无意义的，反而会使负载不均匀，给RS带来更多负担。
hbase.regionserver.handler.count
默认值：10
说明：RegionServer的请求处理IO线程数。
调优：
这个参数的调优与内存息息相关。
较少的IO线程，适用于处理单次请求内存消耗较高的Big PUT场景(大容量单次PUT或设置了较大cache的scan，均属于Big PUT)或ReigonServer的内存比较紧张的场景。
较多的IO线程，适用于单次请求内存消耗低，TPS要求非常高的场景。
这里需要注意的是如果ser
/ /时间/RegionServer/内存/PUT/单次/ReigonServer/请求/调优/
/ /时间/RegionServer/内存/PUT/单次/ReigonServer/请求/调优/
-->