Hive优化

核心思想:把Hive SQL 当做Mapreduce程序去优化

注意:以下SQL不会转为Mapreduce来实行,Explain用于显示实行计划,可以来验证sql是否发生mapreduce

????????select仅查询本表字段;

????????where仅对本表字段做条件过滤;

比如下面的语句是会发生mapreduce的;(下面的reduce没有截图)

1.Hive运行方式:

? ? ? ? (1)集群模式:hive默认采用的是集群的方式;

? ? ? ? (2)本地模式:首先开启本地模式,测试的时候就可以以本地模式来节省集群资源;

????????????????set hive.exec.mode.local.auto=true;

????????注意:hive.exec.mode.local.auto.inputbytes.max默认值为128M表示加载文件的最大值,若大于该配置仍会以集群方式来运行;

2.并行计算

通过设置以下参数开启并行模式:默认是不开启并行计算,这是job是线性实行的;

set hive.exec.parallel=true;多个job并行实行提高效率;

注意:hive.exec.parallel.thread.number(一次SQL计算中允许并行实行的job个数的最大值);

3.严格模式

通过设置以下参数开启严格模式:

set hive.mapred.mode=strict;(默认为:nonstrict非严格模式)

开启严格模式后,查询会有限制:

? ? (1)对于分区表,必须添加where对于分区字段的条件过滤,因为hive中的数据量一般都很大,避免全表扫描不添加会实行失败,非分区表正常查询;

? ? (2)order by语句必须包含limit输出限制;还是为了避免全表扫描

? ? (3)限制实行笛卡尔积的查询。

4.Hive排序

(1)Order By - 对于查询结果做全排序,只允许有一个reduce处理(当数据量较大时,应慎用。严格模式下,必须结合limit来使用);

(2)Sort? By - 对于单个reduce的数据进行排序

(3)Distribute By - 分区排序,经常和Sort By结合使用

(4)Cluster By - 相当于 Sort By +Distribute By(Cluster By不能通过asc、desc的方式指定排序规则;可通过 distribute by column sort by column asc|desc 的方式)

5.Hive Join

Join计算时,将小表(驱动表)放在join的左边

Map Join:在Map端完成Join,join操作对应mapreduce是reduce阶段,因为shuffle,跟reduce阶段比较浪费时间,所以才有了map? join;

两种实现方式:

(1)SQL方式,在SQL语句中添加MapJoin标记(mapjoin hint)

语法:SELECT? /*+ MAPJOIN(smallTable) */? smallTable.key,? bigTable.value FROM? smallTable? JOIN? bigTable? ON? smallTable.key? =? bigTable.key;

(2)开启自动mapjoin : 通过修改以下配置启用自动的map join:

set hive.auto.convert.join = true;(该参数为true时,Hive自动对左边的表统计量,如果是小表就加入内存,即对小表使用Map

join)

相关配置参数:

hive.mapjoin.smalltable.filesize; (大表小表判断的阈值,如果表的大小小于该值则会被加载到内存中运行)

hive.ignore.mapjoin.hint;(默认值:true;是否忽略mapjoin hint 即mapjoin标记)

hive.auto.convert.join.noconditionaltask;(默认值:true;将普通的join转化为普通的mapjoin时,是否将多个mapjoin转化为一个mapjoin)

hive.auto.convert.join.noconditionaltask.size;(将多个mapjoin转化为一个mapjoin时,其表的最大值)? ??

6.Map-Side聚合

通过设置以下参数开启在Map端的聚合:

set hive.map.aggr=true; 开启后,map预聚合,相当于map端reduce减轻reduce 端压力;

相关配置参数:

hive.groupby.mapaggr.checkinterval:map端group by实行聚合时处理的多少行数据(默认:100000)

hive.map.aggr.hash.min.reduction:进行聚合的最小比例(预先对100000条数据做聚合,若聚合之后的数据量/100000的值大于该配置0.5,则不会聚合)

hive.map.aggr.hash.percentmemory:map端聚合使用的内存的最大值

hive.map.aggr.hash.force.flush.memory.threshold:map端做聚合操作是hash表的最大可用内容,大于该值则会触发flush

hive.groupby.skewindata: 是否对GroupBy产生的数据倾斜做优化,默认为false,当设置为true时,会进行两次mr,第一次把数据map端随机分配分区,达到均衡数据的目的,第二次进行正常的分区算法实行mr;

7.合并小文件

文件数目小,容易在文件存储端造成压力,给hdfs造成压力,影响效率

设置合并属性

????????是否合并map输出文件:hive.merge.mapfiles=true

????????是否合并reduce输出文件:hive.merge.mapredfiles=true;

????????合并文件的大小:hive.merge.size.per.task=256*1000*1000

去重统计

????????数据量小的时候无所谓,数据量大的情况下,由于COUNT DISTINCT操作需要用一个Reduce

Task来完成,这一个Reduce需要处理的数据量太大,就会导致整个Job很难完成,一般COUNT DISTINCT使用先GROUP

BY再COUNT的方式替换;

8.控制Hive中Map以及Reduce的数量

由于maptask的数量一般跟切片数量有关,所有大家主要对reduce端设置数量;

Map数量相关的参数

????????mapred.max.split.size: 一个split的最大值,即每个map处理文件的最大值

????????mapred.min.split.size.per.node:一个节点上split的最小值

????????mapred.min.split.size.per.rack:一个机架上split的最小值

Reduce数量相关的参数

????????mapred.reduce.tasks:强制指定reduce任务的数量

????????hive.exec.reducers.bytes.per.reducer:每个reduce任务处理的数据量

????????hive.exec.reducers.max:每个任务最大的reduce数

9.Hive- JVM重用

适用场景:

????????(1)小文件个数过多

????????(2)task个数过多

通过 set mapred.job.reuse.jvm.num.tasks=n; 来设置(n为task插槽个数);个人理解优点类似于各种连接池的作用;

缺点:设置开启之后,task插槽会一直占用资源,不论是否有task运行,直到所有的task即整个job全部实行完成时,才会释放所有的task插槽资源!

推荐阅读更多精彩内容