项目作者: wsqandgy

项目描述 :
写点与Hbase相关的好玩的东东
高级语言: Java
项目地址: git://github.com/wsqandgy/hbase.git
创建时间: 2016-12-13T15:22:09Z
项目社区:https://github.com/wsqandgy/hbase

开源协议:

下载


Kafka + Spark + Hbase + ElasticSearch

一个练手的项目

抓取网页上的数据进行分析,分析完成后加入到Kafka中,进行Hbase持久化存储和ElasticSearch的分词查询功能。

需要的部件

1、抓取客户端,使用HttpClient进行抓取
2、Spark数据清洗的客户端
3、Hbase仓库持久化
4、ElasticSearch分词查询

Hbase仓库持久化