hive详细教案.docx
立即下载
咿呀哟
2025-03-17
数据
Operator
仓库
Hive
操作
MapReduce
hive
流程
提供
语句
221.8 KB
Hive
什么是hive
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
数据仓库
数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制，简而言之，数据仓库是用来做查询分析的数据库，基本不用来做插入，修改，删除
Hive架构原理
Hive执行流程
•编译器将一个Hive QL转换操作符
•操作符是Hive的最小的处理单元
•每个操作符代表HDFS的一个操作或者一道MapReduce作业
Operator
•Operator都是hive定义的一个处理过程
•Operator都定义有:
•protected List > childOperators;
•protected List > parentOperators;
•protected boolean done; // 初始化值为false
•所有的操作构成了 Operator图，hive正是基于这些图关系来处理诸如limit, group by, join等操作
Hive执行流程
操作符 描述
TableScanOperator 扫描hive表数据
ReduceSinkOperator 创建将发送到Reducer端的对
JoinOperator Join两份数据
SelectOperator 选择输出列
FileSinkOperator 建立结果数据,输出至文件
FilterOperator 过滤输入数据
GroupByOperator GroupBy语句
MapJoinOperator /*+mapjoin(t) */
LimitOperator Li
数据/Operator/仓库/Hive/操作/MapReduce/hive/流程/提供/语句/
数据/Operator/仓库/Hive/操作/MapReduce/hive/流程/提供/语句/
