分享好友 最新动态首页 最新动态分类 切换频道
数据工程师:Hive 分区表 & 数据加载方式,效率提升必备技能,值得收藏!
2024-12-26 11:40
1. Hive表数据的导入方式
1.1 本地上传至hdfs
命令:

例如:测试文件 test_001.txt 内容如下

在 hdfs 绝对路径:/user/hive/warehouse/mytest.db/ 下有一张表 test_001,建表语句如下:

使用如下命令将 test_001.txt 的内容上传至 /user/hive/warehouse/mytest.db/test_001 表中

注意:

test_001.txt 文件内容中:数据类型、数据列数、列数之间的分隔符要与 hdfs 中 test_001 表定义的一一对应。

1.2 本地导入
命令:

示例:

含义:

将 /user/xiaomin.liu/hive_testdata 目录下 student.csv 文件的内容加载至 hdfs 中的 student 表中。

注意:

1. student.csv 文件内容中:数据类型、数据列数、列数之间的分隔符要与 hdfs 中 student 表定义的一一对应。

2. 使用本地导入的方式加载数据至 hive,使用的是复制操作,即当本地路径下的文件被加载至 hive 后,该本地路径下的文件依然存在,不会消失。

1.3 hdfs导入
命令:

示例:

含义:

将 hdfs 路径为 /user/warehouse/test 下的 student.txt 文件的数据加载至 hdfs 中的 student 表中。

注意:

使用 hdfs 导入数据至 hive,使用的是剪切操作,即原 hdfs 路径下的文件在被导入至 hive 后,原 hdfs 路径下的文件将不存在了。

1.4 覆盖导入

本地导入命令:

hdfs导入命令:

示例: 本地导入命令:

hdfs导入命令:

含义:

同1.2中的本地导入和1.3中的 hdfs 导入类似,只是新增的关键字 overwrite 会将表中已有的数据进行覆盖操作。

1.5 查询导入

命令:

示例:

含义:将表 student 的结构与数据复制一份给到表 sub_student。

1.6 insert导入

追加模式命令:

示例:

含义:将表 student 的数据以 append 追加的方式写入表 sub_student 中。

覆盖模式命令:

示例:

含义:将表 student 的数据以覆盖的方式写入表 sub_student 中。

2. Hive 分区表操作
1.1 分区表的概念

Hive 中分区表的意思是按照表的某一列列名(1个字段)或某几列列名(多个字段)作为类似文件夹的形式来隔离分开存放数据,以便提高检索效率和管理效率。

例如: 公司要收集网站用户登录日志进行用户数据行为分析,假设已存在 /user/login/warehouse/login_record 作为记录登录日志的存储表,如果每天都将日志写入该表,日积月累,login_record 表内容越来越多。

在查询时进行全表扫描耗费的资源会非常多,等待的时间也会特别长。严重影响到了数据分析的效率。

在这种情况下,我们可以采用创建分区表的方法来创建 login_record 表,以日期对login_record 表进行分区,不同日期的日志信息存储到不同的日期分区中。在查询时可指定日期分区来进行查询,可以有效提高查询效率。

简言之,分区表是指在系统上建立文件夹,把不同维度的分类数据放在不同文件夹下面,查询时通过 where 子句过滤,只对指定目录下的内容进行查询,加快查询速度。

1.2 分区表创建语法

分区表 hive sql 创建语句如下:

分区表在创建时关键字是:partitioned by

括号里跟上分区字段名及其字段类型,这样在创建表时就指明要创建的是一个分区表,上述创建语句说明要创建一个分区字段为:date,且类型为 string 类型的分区表,表名是 login_logs。

1.3 多分区表创建方式

多分区表 hive sql 创建语句如下:

与1.2中分区表创建语句的区别在于关键字 partitioned by 后面的参数是指定了多个分区字段,每个分区字段都需要指定字段类型,多字段之间以逗号分隔。

例如: dws_test_001_daily_df 表有2个分区字段,分区字段分别是:dt,hotel。

hdfs多分区(文件夹)信息查询:一级分区(文件夹)

命令:

上图展示的是一级分区字段:dt,相当于一级文件夹。

hdfs多分区(文件夹)信息查询:二级分区(文件夹)

命令:

上图展示的是二级分区字段:hotel,相当于二级文件夹。

load 数据时可以指定分区来存储目标数据,然后在查询时 where 条件设置 dt 和 hotel 为指定目标值,则可达到缩小数据查询范围的目的,进而提高查询效率。

1.4 查看分区数据

1.查看分区表数据

命令:

查询 sql 中以分区字段 year 和 month 作为 where 条件进行查询,与普通的 mysql 语句在语法上没有区别,但是在数据底层意义上差异较大,使用分区字段进行条件查询,相当于在指定目录:year='2021' 且 month='11' 下进行数据的搜索。

2.查看分区信息 命令:

上图可以看出查询结果为一级分区 dt=2021-10-31下所有二级分区 hotel 的信息。

1.5 分区表加载数据

分区表加载数据的方式与非分区表没有本质区别,只是在语法上有些许变化,具体加载数据的方式可参考上方的 Hive 表数据的导入方式。

示例: 分区表从本地导入 hdfs 语法:

含义:

将本地的 login_data.csv 文件内容导入到 hdfs 中 login_logs 表的year='2021',month='10' 的分区中。

1.6 修改分区

命令:

1.7 添加分区

添加分区命令:

插入数据命令:

1.8 删除分区

命令:

小结:

最新文章
AI领域“吹哨人”Suchir Balaji被发现死亡,年仅26岁
  财联社​  OpenAI吹哨人,年仅26岁的前研究员Suchir Balaji几周前被发现死于旧金山的公寓之中,旧金山首席法医办公室执行主任David Serrano Sewell周五已在一封电子邮件中证实了这一消息,并称死因为自杀。  美国旧金山警察局也在
2024年华为正式员工工资一览表
收入是永远的焦点,特别是当前很多行业不景气的背景下,在这个充满变数的职场世界里,每个人都在寻找那个能让自己既有物质保障又能实现自我价值的理想岗位。毕竟,追求财富增长是人之常情。没人会嫌弃钱多,只会嫌赚不到钱。为什么说华为正
Docker 监控- Prometheus VS Cloud Insight
如今,越来越多的公司开始使用 Docker 了,2 / 3 的公司在尝试了 Docker 后最终使用了它。为了能够更精确的分配每个容器能使用的资源,我们想要实时获取容器运行时使用资源的情况,怎样对 Docker 上的应用进行监控
11 种 内部排序算法 大PK(Java 语言实现),究竟谁最快?
声明:本篇文章用到的算法代码均是本人复习完对应的算法后,用自己的思维亲手编写的,由于时间问题,没有能够参考权威、标准的 api 源码,因此本文中的所有排序算法大概率还有优化的可能,执行效率大
css 文字段落
CSS 文字段落 是网页设计中一个至关重要的部分,它直接影响着用户体验和页面排名。在优化网站时,有效地利用 CSS 文字段落 是至关重要的。本文将探讨如何通过优化 CSS 文字段落 提升网站的SEO效果。CSS 文字段落 不仅是网页内容的承载体,
2024年学习人工智能的最佳平台
人工智能(AI)正在变革各行各业,并重塑就业市场,使得AI技能成为当今经济中最受追捧的技能之一。无论你是渴望进入该领域的新手,还是希望提升技能的资深专业人士,各种平台都在提供顶级的AI教育。20
3D10月周五连号走势图近100期带连线
功能类福彩3D显示遗漏:显示/隐藏遗漏值,遗漏值是指自上期开出到本期间隔的期数。福彩3D遗漏分层:是将当前遗漏值用柱状图形标注。福彩3D分段线:是每五期使用分隔线,使横向导航更加清晰。福彩3D显示断区:在分区走势中使用,将开出0个号
chatgpt神经网络框架
ChatGPT神经网络框架是一种基于深度学习技术的自然语言处理模型,它的出现为我们提供了一个强大的工具,能够应用于多个领域,如自动化客服、智能助手等。在这篇文章中,我们将介绍ChatGPT的工作原理、应用场景以及它的优势。让我们来了解一
2024年阿里云双十二大促即将落幕,抓住最后优惠机会!
​​2024年阿里云双十二大促即将落幕,抓住最后优惠机会!阿里云大促最后几天,云产品每年都涨价,错过优惠不再有!2024年末阿里云大促活动,服务器多少钱一年?2024年末阿里云服务器租用费用价格:阿里云ECS云服务器e系列2核2G配置3M固定
android车机怎么下载搜狗打字软件
搜狗输入法车载版能够让你在汽车上自由的进行汉子的输入,使用它能够快速的搜索各种音乐什么的,开车也方便,有需要的朋友可以下载体验。搜狗输入法车机版介绍拥有全能输入方式、海量词库与智能预测,致力高效流畅的输入体验,引领亿万用户
相关文章
推荐文章
发表评论
0评