hbase在淘宝的使用.pdf
立即下载
v-star*위위
2024-04-19
淘宝
性能
数据
Hbase
Region
规模
存储
Server
系统
百亿
334.3 KB
1
淘宝Hbase应用和改善
核心系统部 张毅
wuting@taobao.com
目录
• Hbase 在淘宝
• Hbase 应用场景举例
• 问题和措施
• 今后的工作
什么是Hbase
• 分布式NOSQL存储系统
• 底层数据存储基于HDFS
• 高可用，高性能
• 列存储，多版本
• 百亿行×百万列×上万个版本
淘宝选择HBASE的原因
• 和Hadoop一样的海量数据处理的能力
• 易于横向扩展
• 随机读写的高性能
• 高可靠性和稳定性
• 在互联网公司有较多的适用场景
• 单行写入的强一致性
• 开源，社区活跃并有大公司支持
Hbase 在淘宝的规模
• 于2011年上半年开始使用
• 版本基于HBase 0.90.3+Patch
• 10个集群，300台Region Server
– 16 core,24G/48G, SATA 1T * 12/ SAS 300G * 12
• 200k ops/sec, 70% write, 30% read
• 应用于多个Online和Offline系统
• 百亿行Table规模
Region Server读写性能
• 读性能
– 表现稳定，hdfs为主要瓶颈
– 响应时间6.63ms(TPS 7546)
• 写性能
– 纯读过程中表现稳定，
– 命中率非常重要（TPS: 2K-40K）
读写影响因素
• Region Server规模
• 缓存的大小和命中率
• HDFS规模和读写效率
• 安全级别的配置
• Region Split 和Compact设置
• Row Key的设置
应用举例
• 淘宝实时传输平台
– 数据每天TB级的数据写入应用
– 旧的存储模型（内存+硬盘 ）
– 发布和订阅的使用场景
• 淘宝指数
– 倒排索引的属性查询（Redis ->Hbase）
– 实时/性能
– 客户端Join
– 高冗余，每行百兆级的数据应用
• 交易历史记录查询系统
– 百亿行数据表，千亿级二
淘宝/性能/数据/Hbase/Region/规模/存储/Server/系统/百亿/
淘宝/性能/数据/Hbase/Region/规模/存储/Server/系统/百亿/
-->