•创建数据文件test_partition_table.txt
•创建表
•create table test_partition_table (key string) partitioned by (dt string)
•加载数据
•LOAD DATA INPATH ‘filepath’ INTO TABLE test_partition_table partition (dt=‘2006’)
•查看数据
•select * from test_partition_table
•select count(*) from test_partition_table
•删除表 drop table test_partition_table
外部表
•指向已经在 HDFS 中存在的数据,可以创建 Partition
•它和 内部表 在元数据的组织上是相同的,而实际数据的存储则有较大的差异
•内部表 的创建过程和数据加载过程(这两个过程可以在同一个语句中完成),在加载数据的过程中,实际数据会被移动到数据仓库目录中;之后对数据对访问将会直接在数据仓库目录中完成。删除表时,表中的数据和元数据将会被同时删除
• 外部表 只有一个过程,加载数据和创建表同时完成,并不会移动到数据仓库目录中,只是与外部数据建立一个链接。当删除一个 外部表 时,仅删除该链接
外部表简单示例
•创建数据文件test_external_table.txt
•创建表
•create external table test_external_table (key string)
•加载数据
•LOAD DATA INPATH ‘filepath’ INTO TABLE test_inner_table
•查看数据
•select * from test_external_table
•select count(*) from test_external_table
•删除表 drop table test_external_table
Bucket Table
•可以将表的列通过Hash算法进一步分解成不同的文件存储
•例如:将age列分散成20个文件,首先要对AGE进行Hash计算,对应为0的写入/warehouse/test/date=20120801/postion=zh/part-00000,对应为1的写入/warehouse/test/date=20120801/postion=zh/part-00001
•如果想应用很多的Map任务这样是不错的选择
Bucket Table简单示例
•创建数据文件test_bucket_table.txt
•创建表
•create table test_bucket_table (key string)
clustered by (key) into 20 buckets
•加载数据
•LOAD DATA INPATH ‘filepath’ INTO TABLE test_bucket_table
•查看数据
•select * from test_bucket_table
•set hive.enforce.bucketing = true;
Hive的数据模型-视图
•视图与传统数据库的视图类似
•视图是只读的
•视图基于的基本表,如果改变,指增加不会影响视图的呈现;如果删除,会出现问题
•如果不指定视图的列,会根据select语句后的生成
•示例
•create view test_view as select * from test
第七部分:HiveUI介绍
启动UI
•配置
•hive-site.xml 添加
<property>
<name>hive.hwi.war.file</name>
<value>lib/hive-hwi-0.8.1.war</value>
</property>
•
•启动Hive的UI sh $HIVE_HOME/bin/hive --service hwi
相关推荐
Java私塾:Hive Shell 基本操作——深入浅出学Hive
大数据湖中Hive是一个非常重要的工具,它是用来做数仓、BI的不二之选,虽然Hive其实就是写Sql但是,对于其原理和优化我们在实际工作中必须要了解的,有利于提高集群的执行效率,也是程序员进阶的一项指标
Hive学习必备——配置Hive环境教程 免费分享哦~
HDP平台的Hive性能调优——Hive高性能最佳实践, HDP平台的Hive性能调优——Hive高性能最佳实践
hive数仓、hive SQL 、 hive自定义函数 、hive参数深入浅出
0.6. Hive体系结构 0.7. metastore ........ 0.11. 数据的管理 0.12. 数据的查询 0.13. 表连接 ........ 0.18. Hive的文件格式 0.19. 模式设计 0.20. Hive QL执行过程分析 ....... 0.40. CompressedStorage 0.41. ...
Hive4——HIVE元数据库.pdf 学习资料 复习资料 教学资源
入门到深入学习,适合初学者和想深入了解的人员查看。包含了安装及常用命令、优化等。
支持hive 源数据、表结构导出
Hive2——Hive和Hadoop关系.pdf 学习资料 复习资料 教学资源
图1.1Hive体系结构(1)用户接口主要有三个:CLI,Client和WUI。其中最常用的是CLI,Cli启动的时候,会同时启动一个Hive副本。Client是Hive的客户端,用户连接至HiveServer。在启动Client模式的时候,需要指出...
深入浅出Hive企业级架构优化、Hive Sql优化、压缩和分布式缓存
Hive3——Hive和普通关系数据库的异同.pdf 学习资料 复习资料 教学资源
深入浅出Hive企业级架构优化、Hive Sql优化,视频!!!
通过shell脚本,批量把一个库下面的表结构全部导出,在开发环境执行过。
Hadoop深入浅出之Hive介绍.pptx
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。 hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储...
其实从结构上来看,Hive 和数据库除了拥有类似的查询语言,再无类似之处。本文将从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中,但是Hive 是为数据仓库而设计的,清楚这一点,有助于...