HIve SQL学习笔记

互联网 2021/4/9 2:25:16

HIve SQL学习笔记 最近面试的时候一直听到面试官说Hive SQL,今天刷了一点资料稍微系统的学习一下,在这里做一个小结。 首先介绍一下Hive SQL: Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句…

HIve SQL学习笔记

最近面试的时候一直听到面试官说Hive SQL,今天刷了一点资料稍微系统的学习一下,在这里做一个小结。

首先介绍一下Hive SQL:

  • Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务运行。它使得针对Hadoop进行SQL查询成为可能。简单来说,Hive
    SQL与我们之前见到的MySQL等关系型数据库的语法是差不多的。

Hive SQL 与 SQL的区别:

  • 1.HQL不支持行级别的增、改、删,所有数据在加载时就已经确定,不可更改
  • 2.不支持事务
  • 3.支持分区存储
  • 4.查询速度响应不如SQL迅速

Hive SQL需要注意的地方:

  • 1.Hive SQL不支持top函数,在Hive SQL中找前几的话可以使用limit函数
  • 2.执行顺序的与mySQL一致
  • 3.日常处理中需要注意map数不要过万

Hive SQL在业务上:

  • 1.Hive SQL专用函数 from_unixtime()、datediff()、date_add()、date_sub()
  • 2.Hive SQL独有的窗口函数使用起来效率更高
  • 3.union all 使用速度要比full join 速度更快,一般常使用unoin all +数字0占位来实现full join的功能;同时union all常搭配coalesce()函使用
  • 4.业务中如果出现:存在某某表但不存在某某表当中时,考虑使用left join查询效率更高
  • 5.当需要查询数据的前百分之多少数据时,考虑采用ntile()函数

学习参考资料:

  • https://www.bilibili.com/video/BV1uy4y1m7mf
  • 《Hive编程指南》
随时随地学软件编程-关注百度小程序和微信小程序
关于找一找教程网

本站文章仅代表作者观点,不代表本站立场,所有文章非营利性免费分享。
本站提供了软件编程、网站开发技术、服务器运维、人工智能等等IT技术文章,希望广大程序员努力学习,让我们用科技改变世界。
[HIve SQL学习笔记]http://www.zyiz.net/tech/detail-154097.html

上一篇:Tomcat源码解析

下一篇:数据库系列5:索引的原理

赞(0)

共有 条评论 网友评论

验证码: 看不清楚?
    关注微信小程序
    程序员编程王-随时随地学编程

    扫描二维码或查找【程序员编程王】

    可以随时随地学编程啦!

    技术文章导航 更多>
    扫一扫关注最新编程教程