平武建站

HIVE有什么用

这篇文章将为大家详细讲解有关HIVE有什么用，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

让客户满意是我们工作的目标，不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户，将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴，公司提供的服务项目有：域名与空间、虚拟空间、营销软件、网站建设、剑阁网站维护、网站推广。

一、HIVE与数据仓库

             在实际工作中，hive往往被用于建设数据仓库，所以，在学习HIVE前，你有必要去简单了解一下数据仓库的一些基本概念，比如：

1、什么是数据仓库

2、数据仓库与数据库区别 

3、数据仓库分层架构

      由于这些概念在网上很多，这里就不在介绍了，请自行网上查找。

二、Hive的概念

   1、 Hive是基于Hadoop的一个数据仓库工具

  • 可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

  • 其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储支持，说白了hive可以理解为一个将SQL转换为MapReduce任务的工具，甚至更进一步可以说hive就是一个MapReduce的客户端

  HIVE有什么用

2、Hive与数据库的区别

     HIVE有什么用

  • Hive 具有 SQL 数据库的外表，但应用场景完全不同。

  • Hive 只适合用来做海量离线数据统计分析，也就是数据仓库。

3、Hive的优缺点

  • 优点 

  • 操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。

  • 避免了去写MapReduce，减少开发人员的学习成本。

  • Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。

  • 缺点

  • Hive的查询延迟很严重

  • Hive不支持事务

4、Hive架构原理

HIVE有什么用

  • 1、用户接口：Client

    • CLI（hive shell）

  • JDBC/ODBC(java访问hive)

  • WEBUI（浏览器访问hive）

  • 2、元数据：Metastore

    • 元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；

  • 默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore

  • 3、Hadoop集群

  • 使用HDFS进行存储，使用MapReduce进行计算。

  • 4、Driver：驱动器

    • 解析器（SQL Parser）

      将SQL字符串转换成抽象语法树AST

      对AST进行语法分析，比如表是否存在、字段是否存在、SQL语义是否有误

  • 编译器（Physical Plan）：将AST编译生成逻辑执行计划

  • 优化器（Query Optimizer）：对逻辑执行计划进行优化

    • 执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。对于Hive来说默认就是mapreduce任务

HIVE有什么用

关于“HIVE有什么用”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。


文章名称：HIVE有什么用
浏览路径：http://pwwzsj.com/article/gehsjs.html

其他资讯