HBase学习笔记——基于HBase的日志系统的性能优化

  • 时间:
  • 浏览:0
  • 来源:大发5分6合APP下载_大发5分6合APP官网

关闭许多column family的block cache缓存。

假使 ,应用FuzzyRowFilter后,许多人仍然都需用主次利用你这人 row key,只根据host查询。

我事先参与过有三个 日志系统的开发,存储用HBase。我简单罗列下用到的HBase优化,备忘。事先把它挂接成更友好的介绍性文章。

调整HFile data block大小。data block越大,索引粒度越粗,顺序访问吞吐量越高。

版权声明:本文内容由互联网用户自发贡献,版权归作者所有,本社区不拥有所有权,假使 承担相关法律责任。肯能您发现本社区带有涉嫌抄袭的内容,欢迎发送邮件至:

fuzzy row filter

日志归档

  * 写入HBase的日志,TTL设为十天。HBase用于实时的web查询,必须看这十天的日志。

有一张大的日志数据表,保存所有日志。row key是 hash + app id + log-severity + timestamp + host等,cell保存日志正文数据。

HBase客户端优化——牺牲可靠性,提高日志写入的吞吐量

多条日志打包,压缩保存。

进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。