杰霸霸博客

主题

Hadoop-综合调优 ​

1. Hadoop小文件的优化 ​

1.1 Hadoop小文件的坏处 ​

HDFS上每个文件都要在NameNode上创建对应的元数据，这个元数据的大小约为150byte，这样当小文件比较多的时候，就会产生很多的元数据文件，一方面会大量占用NameNode的内存空间，另一方面就是元数据文件过多，使得寻址索引速度变慢。
小文件过多，在进行MR计算时，会生成过多切片，需要启动过多的MapTask。每个MapTask处理的数据量小，导致MapTask的处理时间比启动时间还小，白白消耗资源。

1.2 Hadoop小文件解决方案 ​

  1. 在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS(数据源头)
  2. Hadoop Archive(存储方向)
    是一个高效的将小文件放入HDFS块中的文件存档工具，能够将多个小文件打包成一个HAR文件，从而达到减少NameNode的内存使用, 参考笔记小文件归档
  3. CombineTextInputFormat(计算方向)
    CombineTextInputFormat用于将多个小文件在切片过程中生成一个单独的切片或者少量的切片。
  4. 启uber模式，实现JVM重用(计算方向)
    默认情况下，每个Task任务都需要启动一个JVM来运行，如果Task任务计算的数据量很小，我们可以让同一个Job的多个Task运行在一个JVM中，不必为每个Task都开启一个JVM。 未开启uber模式，在/input路径上上传多个小文件并执行wordcount程序
sh
[jack@hadoop102 hadoop-3.3.6]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /input /output2

观察控制台:

sh
2021-02-14 16:13:50,607 INFO mapreduce.Job: Job job_1613281510851_0002 running in uber mode : false

观察http://hadoop103:8088/cluster:
Alt text 5. 开启uber模式，在mapred-site.xml中添加如下配置

xml
<!--  开启uber模式，默认关闭 -->
<property>
  	<name>mapreduce.job.ubertask.enable</name>
  	<value>true</value>
</property>
<!-- uber模式中最大的mapTask数量，可向下修改  --> 
<property>
  	<name>mapreduce.job.ubertask.maxmaps</name>
  	<value>9</value>
</property>
<!-- uber模式中最大的reduce数量，可向下修改 -->
<property>
  	<name>mapreduce.job.ubertask.maxreduces</name>
  	<value>1</value>
</property>
<!-- uber模式中最大的输入数据量，默认使用dfs.blocksize的值，可向下修改 -->
<property>
  	<name>mapreduce.job.ubertask.maxbytes</name>
  	<value></value>
</property>

分发配置并再次执行wordcount程序

sh
[jack@hadoop102 hadoop]$ xsync mapred-site.xml
[jack@hadoop102 hadoop-3.3.6]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /input /output2

观察控制台:

sh
2021-02-14 16:28:36,198 INFO mapreduce.Job: Job job_1613281510851_0003 running in uber mode : true

观察http://hadoop103:8088/cluster:Alt text

2. 测试MapReduce计算性能 ​

前提条件是HDFS\YARN\MapReduce所有参数都已经配置完毕。使用官方内置Sort程序评测MapReduce

  1. 使用RandomWriter来产生随机数，每个节点运行10个Map任务，每个Map产生大约1G大小的二进制随机数
sh
[jack@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar randomwriter random-data
  1. 执行Sort程序
sh
[jack@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar sort random-data sorted-data
  1. 验证数据是否真正排好序了
sh
[jack@hadoop102 mapreduce]$ 
hadoop jar /opt/module/hadoop-3.3.6/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.3.6-tests.jar testmapredsort -sortInput random-data -sortOutput sorted-data