Hive怎么调整优化Tez引擎的查询？在Tez上优化Hive查询的指南_MsSqlserver

文章目录

在tez上优化hive查询的指南

在tez上优化hive查询的指南

在tez上优化hive查询无法采用一刀切的方法。查询性能取决于数据的大小、文件类型、查询设计和查询模式。在性能测试过程中，应评估和验证配置参数及任何sql修改。建议在工作负载的性能测试过程中一次只进行一项更改，并最好在开发环境中评估调优更改的影响，然后再在生产环境中使用。

这里分享一些关于tez上hive查询的基本故障排除和调优指南。

调优指南

不同的hive版本，不同执行引擎之间的调优行为有所差异，所以同一条sql可能会有不一样的速度。

一般情况下，我们可以通过以下步骤有助于识别可能导致性能下降的地方。

验证和确认yarn容量调度器配置

队列配置错误可能会由于对用户可用资源的任意限制而影响查询性能。验证用户限制因子、最小用户限制百分比和最大容量。

检查hive和hiveserver2配置中的任何安全阀（非默认值）是否相关

移除任何遗留的和过时的属性。

识别缓慢的区域，例如mapper任务、reducer任务和连接操作

审查tez引擎和平台的通用调优属性。
审查mapper任务并根据需要增加/减少任务数。
审查reducer任务并根据需要增加/减少任务数。
审查任何并发相关的问题——并发问题分为两种，如下所述：
- 队列内用户间的并发。这可以通过调整yarn队列的用户限制因子进行调优（详细信息参考容量调度器博客）。
- hive on tez会话的预热容器之间的并发，详见下文。

理解tez中的并行化

在更改任何配置之前，必须了解tez内部的工作机制。例如，这包括了解tez如何确定正确的mapper和reducer数量。审查tez架构设计以及有关初始任务并行性和自动reducer并行性的详细信息将有助于优化查询性能。

理解mapper数量

tez使用作业的初始输入数据确定mapper任务的数量。在tez中，任务数量由分组拆分决定，这相当于mapreduce作业中输入拆分确定的mapper数量。

tez.grouping.min-size 和 tez.grouping.max-size 决定mapper的数量。min-size的默认值为16 mb，max-size为1 gb。
tez确定任务数量，使每个任务的数据量符合最大/最小分组大小。
减少 tez.grouping.max-size 会增加任务/mapper数量。
增加 tez.grouping.max-size 会减少任务数量。

例如：

输入数据（输入碎片/拆分） – 1000个文件（约1.5 mb大小）
总数据量约为 – 1000*1.5 mb = ~1.5 gb
tez可能尝试使用至少两个任务处理这些数据，因为每个任务的最大数据量可能为1 gb。最终，tez可能强制将1000个文件（拆分）组合到两个任务中，导致执行时间变慢。
如果将 tez.grouping.max-size 从1 gb减少到100 mb，mapper数量可能增加到15，从而提供更好的并行性。性能因此提高，因为改进的并行性将工作分散到15个并发任务中。

以上是一个示例场景，然而在生产环境中使用orc或parquet等二进制文件格式时，根据存储类型、拆分策略文件或hdfs块边界确定mapper数量可能会变得复杂。

注意：更高程度的并行性（如mapper/reducer数量多）并不总是意味着更好的性能，因为它可能导致每个任务的资源减少以及由于任务开销而导致的资源浪费。

理解reducer数量

tez使用多种机制和设置确定完成查询所需的reducer数量。

tez根据要处理的数据（字节数）自动确定reducer。
如果 hive.tez.auto.reducer.parallelism 设置为true，hive会估算数据大小并设置并行性估算值。tez将在运行时采样源顶点的输出大小并根据需要调整估算值。
默认情况下，最大reducer数量设置为1009（hive.exec.reducers.max）。
hive/tez使用以下公式估算reducer数量，然后调度tez dag：

max(1, min(hive.exec.reducers.max [1009], reducerstage estimate/hive.exec.reducers.bytes.per.reducer)) x hive.tez.max.partition.factor [2]

以下三个参数可以调整以增加或减少mapper数量：

hive.exec.reducers.bytes.per.reducer：每个reducer的大小。更改为较小值以增加并行性，或更改为较大值以减少并行性。默认值为256 mb（即如果输入大小为1 gb，则使用4个reducer）。
tez.min.partition.factor：默认值为0.25。
tez.max.partition.factor：默认值为2.0。增加以增加reducer数量，减少以减少reducer数量。

用户可以使用 mapred.reduce.tasks 手动设置reducer数量。这不推荐使用，应避免使用。

建议：

避免手动设置reducer数量。
增加reducer数量并不总是能保证更好的性能。
根据reducer阶段估算，如果要增加或减少reducer数量，可以调整 hive.exec.reducers.bytes.per.reducer 参数到较小或较大值。

并发

我们需要理解和调整tez上的hive并发会话，如运行多个tez am容器。以下属性有助于理解默认队列和会话数量行为。

hive.server2.tez.default.queues：与yarn队列对应的以逗号分隔的值列表，用于维护tez会话池。
hive.server2.tez.sessions.per.default.queue：每个yarn队列中保持在池中的tez会话（dagappmaster）数量。
hive.server2.tez.initialize.default.sessions：如果启用，hiveserver2（hs2）在启动时将启动所有必要的tez会话以满足 sessions.per.default.queue 要求。

当定义以下属性时，hiveserver2将为每个默认队列创建一个tez application master（am），乘以hiveserver2服务启动时的会话数量。因此：

(tez sessions)total = hiveserver2instances x (default.queues) x (sessions.per.default.queue)

示例说明：

hive.server2.tez.default.queues= “queue1, queue2”
hive.server2.tez.sessions.per.default.queue=2
=>hiveserver2将创建4个tez am（queue1两个，queue2两个）。

注意：池中的tez会话总是运行，即使在空闲集群上。

如果hiveserver2连续使用，这些tez am将继续运行，但如果hs2空闲，这些tez am将根据 tez.session.am.dag.submit.timeout.secs 定义的超时被终止。

案例1：未指定队列名称

如果查询未指定队列名称（tez.queue.name），则只会使用池中的tez am（如上所述初始化）。在这种情况下，hiveserver2将选择一个空闲/可用的tez am（队列名称可能是随机选择的）。如果未指定队列名称，则查询将保持在hiveserver2中的挂起状态，直到池中有一个可用的默认tez am来处理查询。在jdbc/odbc客户端或hiveserver2日志文件中不会有任何消息。由于没有消息生成，当查询挂起时，用户可能会认为jdbc/odbc连接或hiveserver2已断开，但实际上它在等待一个tez am执行查询。

案例2：指定队列名称

如果查询指定了队列名称，无论有多少初始化的tez am正在使用或空闲，hiveserver2都会为此连接创建一个新的tez am，并且查询可以执行（如果队列有可用资源）。

并发的指南/建议

对于不希望用户限制在同一个tez am池中的用例或查询，将 hive.server2.tez.initialize.default.sessions 设置为false。禁用此选项可以减少hiveserver2上的争用并提高查询性能。
此外，增加 hive.server2.tez.sessions.per.default.queue 的会话数量。
如果有需要为每组用户提供单独或专用tez am池的用例，需要为每组用户提供专用的hiveserver2服务，每个服务具有相应的默认队列名称和会话数量，并要求每组用户使用各自的hiveserver2。

容器复用和预热容器

容器复用

这是一个优化，可以减少容器的启动时间影响。通过设置 tez.am.container.reuse.enabled 为true来启用此功能。这节省了与yarn交互的时间。还可以保持容器组活跃，快速旋转容器，并跳过yarn队列。

预热容器

容器数量与将附加到每个tez am的yarn执行容器数量相关。即使tez am空闲（未执行查询），每个am也会保留相同数量的容器。在某些情况下，这可能会导致太多容器空闲且未释放，因为这里定义的容器将被tez am保留，即使它是空闲的。这些空闲容器将继续占用yarn中的资源，其他应用程序可能会利用这些资源。

以下属性用于配置预热容器：

hive.prewarm.enabled
hive.prewarm.numcontainers

一般tez调优参数

在处理tez上hive查询的性能下降时，审查以下属性作为一级检查。您可能需要根据查询和数据属性设置或调整其中一些属性。最好在开发和qa环境中评估配置属性，然后根据结果将其推送到生产环境。

hive.cbo.enable
将此属性设置为true启用基于成本的优化（cbo）。cbo是hive查询处理引擎的一部分，由apache calcite提供支持。cbo通过检查查询中指定的表和条件生成有效的查询计划，最终减少查询执行时间并提高资源利用率。
hive.auto.convert.join
将此属性设置为true允许hive根据输入文件大小启用将常见连接转换为mapjoin的优化。
hive.auto.convert.join.noconditionaltask.size
您将希望在查询中尽可能多地执行mapjoin。此大小配置使用户可以控制表的大小以适应内存。该值表示可以转换为适合内存的哈希表的表的大小总和。建议将其设置为 hive.tez.container.size 的1/3。
tez.runtime.io.sort.mb
输出排序时的排序缓冲区大小。建议将其设置为 hive.tez.container.size 的40%，最大值为2 gb。通常不需要超过此最大值。
tez.runtime.unordered.output.buffer.size-mb
当输出不需要排序时的内存。这是缓冲区的大小，如果不直接写入磁盘。建议将其设置为 hive.tez.container.size 的10%。
hive.exec.parallel
此属性启用hive查询阶段的并行执行。默认情况下，此属性设置为false。将此属性设置为true有助于并行化独立的查询阶段，从而整体提高性能。
hive.vectorized.execution.enabled
矢量化查询执行是hive的一个功能，它大大减少了典型查询操作（如扫描、过滤、聚合和连接）的cpu使用量。默认情况下，此属性设置为false。将其设置为true。
hive.merge.tezfiles
默认情况下，此属性设置为false。将此属性设置为true会合并tez文件。使用此属性可能会根据数据大小或要合并的文件数量增加或减少查询的执行时间。在使用此属性之前，请在较低环境中评估查询性能。
hive.merge.size.per.task
此属性描述作业结束时合并文件的大小。
hive.merge.smallfiles.avgsize
当作业的平均输出文件大小小于此数字时，hive将启动一个额外的map-reduce作业将输出文件合并为更大的文件。默认情况下，此属性设置为16 mb。