项目作者: wsqandgy
项目描述 :
写点与Hbase相关的好玩的东东
高级语言: Java
项目地址: git://github.com/wsqandgy/hbase.git
Kafka + Spark + Hbase + ElasticSearch
一个练手的项目
抓取网页上的数据进行分析,分析完成后加入到Kafka中,进行Hbase持久化存储和ElasticSearch的分词查询功能。
需要的部件
1、抓取客户端,使用HttpClient进行抓取
2、Spark数据清洗的客户端
3、Hbase仓库持久化
4、ElasticSearch分词查询
Hbase仓库持久化