平武建站

hive是干什么的

这篇文章主要为大家展示了“hive是干什么的”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“hive是干什么的”这篇文章吧。

成都创新互联是一家集网站建设,肃宁企业网站建设,肃宁品牌网站建设,网站定制,肃宁网站建设报价,网络营销,网络优化,肃宁网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。

  1. Hive是啥？

    Hive是建立在hadoop上的数据仓库基础框架，主要用于分析与统计数据。他也是一个Sql解析引擎，将Sql语句转换成mr程序来运行，从而得到统计数据。他的语法大部分遵循Sql99，所以对有着数据库经验的人来说很友好。他们不用写繁琐的MR程序，通过sql语句即可得到所需的数据。Hive中的表就是hdfs上的目录，一个表名对应一个目录名，数据以文件形式存放在目录下。因为hive存储基于hdfs，所以依赖于hadoop，在没有hadoop的环境下hive是跑不了的。它并没有专门的存储格式，却有着存储结构，比如数据库，表，视图之类。

  2. Hive的系统架构。

    首先对外提供了三种用户接口，CLI，JDBC/ODBC,WebUI，所以用户可通过三种形式来操作hive。用户访问了，必然执行sql语句，所以hive要有编译器，解释器，优化器，执行器。接着生成了MR任务，也就是执行计划，去访问ResourceManger和NameNode来处理程序。其中hive的MetaStore，也就是元数据存储依赖于数据库。默认是自带的derby数据库，可是这个数据库只支持一个会话，所以可通过更改配置将其更改为用MySQL存储。

  3. Hive中sql的执行过程

    首先用户通过接口向hive提交了sql语句，接着发给驱动来解析语句，然后交给编译器编译语句，再找metastore查询涉及到的元数据，生成执行计划交还给驱动，驱动把计划交给执行引擎执行，执行引擎如果发现这是类似于ddl语句，则要往metastore写入元数据，如果是涉及到计算的语句，如count（*）之类的则要交给resourcemanger来执行mr程序，如果是查询字段之类的，则直接找namenode拿到所需数据即可。等到程序执行完或者数据拿到，则将执行结果交换执行引擎，执行引擎给用户接口。

  4. Hive三种用户接口之CLI

    其实也就是命令行模式，直接执行hive，或者执行hive  --service cli。这样就可打开hive命令行。你可以输入show tables；或者create table语句来验证是否成功。（注意，上面说到hive表其实就是hdfs的目录，该目录的路径是由你的配置文件项hive.metastore.warehouse.dir所指定的）。在你启动hive的时候，你可以加一些参数，来多功能的使用。比如你用 hive -d name=xiaoming，则就等于设置了一个name变量，变量值为xiaoming，在hive中可以调用该变量${name}。或者说你就想执行一条语句，并不想进入hive命令行，你可以 hive -e “show tables”。或者你想把执行结果写入文件中，则hive -e “show tables”> a.txt。举例如下

    $>hive -e "" 不用进入hive界面，在双引号里使用hql语句即可执行，省略了开启hive的时间。不过执行完还在linux界面

    $>hive -e "">aaa 同上，不过就是把执行的结果写入aaa中

    $>hive -S -e "">aaa 同上，加了个静默模式，就是少了一些日志提示，比如执行的时间什么的，大量操作的话，可以省略部分时间。

    $>hive -f file File用一个写入了hql语句的文件的位置代替，然后就执行了。

    $>hive -i /home/my/hive-init.sql  就是执行完过后不是回到了linux界面，而使留在了hive界面

    hive>source file  跟-f差不多，不过是在hive界面执行。

    你也可以用  hive --hiveconf 加上要指定的配置文件项来在当前会话中使用你指定的配置，如

     hive --hiveconf  hive.cli.print.current.db=true;

    你也可以在hive命令行下使用set命令来完成与hiveconf相同的功能，如set hive.cli.print.current.db=true;

    如果你觉得这样配置好麻烦，想一启动的时候就自动应用这些配置，那么你可以在你操作系统的用户目录下，也就是你用cd命令到的目录下，建立文件.hiverc(不要忘记.)。文件内容就是set命令内容。

  5. hive用户接口之JDBC

     用这种当时的时候，注意看自己的hive是1版本还是2版本，可以通过hive下的bin看是hiveserver还是hiveserver2来确定。

    运行代码之前需要在命令行中启动服务，hive --service hiveserver2,代码如下

                                 

  6. package com.shixin.hivejdbc;
 
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
 
public class Hivetest {
 
    public static Connection getConnection(){
        Connection con=null;
        try {
            //若是1版本，则为org.apache.hadoop.hive.jdbc.HiveDriver
            Class.forName("org.apache.hive.jdbc.HiveDriver");
            //注意这里是hive2
            con=DriverManager.getConnection("jdbc:hive2://115.28.138.100:10000/default", "hadoop", "hadoop");
        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        
        return con;
    }
    
    public static void main(String[] args) {
        Connection con=getConnection();
        Statement sta=null;
        if(con!=null){
            try {
                sta=con.createStatement();
                ResultSet rs=sta.executeQuery("show tables");
                while(rs.next()){
                    System.out.println(rs.getString(1));
                }
            } catch (SQLException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
            
        }
    }
}

  7. hive之复合数据类型

    hive中的基本数据类型与mysql大致形同，主要是多出了三种复合数据类型。分别为Array，Struct，Map。如何使用请看例子。

    建表

    create table t8(
    id int,
    info struct,
    subject array,
    scores map)
    row format delimited
    fields terminated by '\t'
    collection items terminated by ','
    map keys terminated by ':'
    ;

    （field那句表示字段分隔符，collection表示复合数据类型中内部分隔符，map表示map类型的键值对分隔符）

       导入数据

       load data local inpath '/home/hadoop/a.txt' into table t8;

       其中a.txt数据为

       1       sx,21   23,45,32,45     english:94.2,math:99
       2       shuainan,22     43,21,32        english:95.2,math:96

       查看数据

       select * from t8;

        t8.id   t8.info t8.subject      t8.scores
           1       {"name":"sx","age":21}  [23,45,32,45]   {"english":94.2,"math":99.0}
           2       {"name":"shuainan","age":22}    [43,21,32]      {"english":95.2,"math":96.0}

       如果分别查询符合数据类型某个值的话，语句为

       select info from t8;
       select info.sx from t8;
       select info.name from t8;
       select subject from t8;
       select subject[2] from t8;
       select subject[3] from t8;
       select scores from t8;
       select scores['english'] from t8;

7.hive中的一些ddl语句

        数据库定义，create database。。。（注意一点，hive启动时默认是default数据库）

        表定义，create table。。。。，当然除了这个基础语句，还有create table  t2 like t1；只复制t1的表结构，不复制数据。

        列定义，其实也就是列的修改

hive>ALTER TABLE t3 CHANGE COLUMN old_name new_name String COMMENT '...' AFTER column2;

ALTER TABLE t3 ADD COLUMNS(gender int);

replace（没有删除列，不过可以试试replace，不过不建议，因为他就等于重新建立表结构，比如你原有两个字段，Replace一个字段，replace过后你就只剩一个字段）

8.外部表与内部表

       上述的表的定义，是内部表的定义。那么外部表如何定义的呢？

         create external table t11 (id int,name string) row format delimited fields terminated by '\t';

        对，仅仅加了个external，查看对应的hdfs的目录，多了个t11目录。接着加载数据

        load data local inpath '/home/hadoop/aaa' into table t11;

        用select查看，可以查看到数据,看hdfs对应的t11目录下，多了个aaa文件。这一切好像都和内部表一样啊。那么他们两个的区别是什么？我们对内部表和外部表都用drop table操作，结果发现，内部表的hdfs上的表目录消失，而外部表的表目录数据依旧存在。所以，我们可知  删除外部表只删除metastore的元数据，不删除hdfs中的表数据（就是warehouse目录下的）。

        当表的定义语句是这样的

            hive> create external table exter_table(
                > id int,
                > name string,
                > age int,
                > tel string)
                > location '/home/wyp/external';

         也就是说你加了location，指定了表的存放路径，此时不论有没有external（也就是说不论是内部表还是外部表），他会在指定路径创建指定文件夹，而不是说像原来一样在warehouse下以表名为目录创建。此时如果你用load命令导入数据，数据文件会存放到你指定的路径下。

9.分区表

    分区表也就是把数据分类，分组，类似于groupby，将不同的分区以不同的文件夹形式表现出来。它的意义就是优化查询。查询时如果用分区字段，则会加快查询速度。

     创建分区表

    create table t12 (id int,name string) partitioned by (date string) row format delimited fields terminated by '\t';

    添加分区

     alter table t12 add partition(data='20160103');
    alter table t12 add partition(date='20160102');

    此时，t12目录下多出了data=20160102和 data=20160103文件夹。  

    加载数据

  load data local inpath '/home/hadoop/aaa' into table t12 partition(date='20160103');

10.视图和索引

    hive中也可以像mysql一样创建视图和索引

     create view v1 AS select  t1.name from t1;    

     创建索引
    create index t1_index on table t1(name)as 'org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler' with         deferred rebuild in table t1_index_table;  （ as指定索引器）
     重建索引
     alter index t1_index on t1 rebuild;（当数据有更改时，需要重建索引）
     显示索引
     show formatted index on t1;
     删除索引
     drop index  if exists t1_index on t1;

11.装载数据的方式

         从文件中装载数据
                hive>LOAD DATA [LOCAL] INPATH '...' [OVERWRITE] INTO TABLE t2 [PARTITION (province='beijing')];（不加local则从hdfs上面取，overwrite是覆盖的意思，如果是分区表则要加上partition）

         通过查询表装载数据
            hive>INSERT OVERWRITE TABLE t2 PARTITION (province='beijing') SELECT * FROM xxx
                    WHERE xxx     （同样，如果你是分区表，分区信息加上，他会把select查询的数据以文件的形式存放到t2对应的目录下，你的select语句所查询的属性要能和t2对的上）

             hive>FROM t4
             INSERT OVERWRITE TABLE t3 PARTITION (...) SELECT ...WHERE...
             INSERT OVERWRITE TABLE t3 PARTITION (...) SELECT ...WHERE...
             INSERT OVERWRITE TABLE t3 PARTITION (...) SELECT ...WHERE...   （上面的升级版） 

       还有一种动态分区加载    

           hive>INSERT OVERWRITE TABLE t3 PARTITION(province='bj', city)
                SELECT t.province, t.city FROM temp t WHERE t.province='bj';
    （你的city分区字段属性要对得上，然后执行后就会在province=bj下创建city=t.city的目录分区。其中province的值可以不存    在，他会新建。这种情况是不开启动态分区的时候支持的）

         如果你的语句是这样的

                hive>INSERT OVERWRITE TABLE t3 PARTITION(province, city)

          此时要开启动态分区支持

                hive>set hive.exec.dynamic.partition=true;
                hive>set hive.exec.dynamic.partition.mode=nostrict;
                hive>set hive.exec.max.dynamic.partitions.pernode=1000;   

12.  hive中的函数

        hive中有像mysql中的函数，比如max（），min（）等。hive中也可以自定义函数，你把所需要的功能用java代码编好，打jar包即可。具体步奏如下

a）把程序打包放到目标机器上去；

b）进入hive客户端，添加jar包：hive>add jar /run/jar/udf_test.jar;

c）创建临时函数：hive>CREATE TEMPORARY FUNCTION add_example AS 'hive.udf.Add';

（add_example是你要取得函数名字，‘’里面的是你的类路径，比如com.shixin.hive.MyUp）

udf代码如下（小小的转换大写功能） 

packagecom.shixin.hive;

importorg.apache.hadoop.hive.ql.exec.UDF;

publicclassMyUp extendsUDF{

    publicString evaluate(String word){

        if(word==null||word.equals("")){

            returnnull;

        }else{

            returnword.toUpperCase();

        }

    }

}

以上是“hive是干什么的”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！


当前标题：hive是干什么的
文章转载：http://pwwzsj.com/article/jhegds.html

其他资讯