YARN生产上的优化

1.yarn生产上的资源管理（至关重要）

	 假设一台机器：48物理内存  8个core-->16个vcore
	 Linux本身要占用内存+空留：20%=9.6个G（空留是根据实际机器的内存来决定的，如果内存大，可以考虑空留15%）
	 剩余：80%=38.4G=38G
	 DN进程：生产上4G
	 	如何修改DN的内存配置信息：进入hadoop-env.sh脚本，
	 	HADOOP_NAMENODE_OPTS=-Xmx1024m
	 	HADOOP_DATANODE_OPTS=-Xmx1024m （在前面追加，如下图所示）
	 NM进程：生产上4G
	 	如何修改NM的内存配置信息：进入yarn-env.sh脚本，
	 	export YARN_RESOURCEMANAGER_HEAPSIZE=1024
	 	export YARN_NODEMANAGER_HEAPSIZE=1024 
	 DN和NM部署在同一台机器上是为了：数据本地化
	 NN RM 经常性部署同一台  说白了 集群节点少
	 (正常情况下，DataNode进程和NodeManager进程部署在同一台机器： 数据本地化
比如：在NM上运行task任务，task任务需要数据，数据是放在当前机器的hdfs上面的，发现当前
有DataNode进程，节点上有需要的数据，那就只需要从当前节点拿数据就行了。但是如果发现当
前机器上没有数据，要去另外的机器上拿数据，那就会通过网络，这时候会网络消耗，计算就会
变慢了。）

	 资源内存： 38G-4-4=30G（这30G是做什么？就是运行container容器）
	 yarn.nodemanager.resource.memory-mb   30*1024MB（这是总的大小）
	 默认配置
	 yarn.scheduler.minimum-allocation-mb  1024 （最小可分配容器的大小）
	 yarn.scheduler.maximum-allocation-mb  8192 （最大可分配容器的大小）
	 （分配的容器的大小就是根据上面的参数来进行分配的）
	 30G 30G/1G=30个container 
	 30G 30/8=3个container ...6G  (还留有6个G的内存被浪费掉)
	 30个~3个（这样是不合理的）

	 生产一：
	 yarn.nodemanager.resource.memory-mb   30*1024MB
	 yarn.scheduler.minimum-allocation-mb  2G
	 yarn.scheduler.maximum-allocation-mb  30G
	 15个~1个
	 （这个是大作业的情况。要看每个公司的作业情况，如果作业特别大的情况，就设成和总的一样
大）
	（容器最小2G，就是这台机器最多可以运行15个容器，容器最大30G，就是这台机器最多可以运行1
个容器。那这台机器可以运行1-15个容器。
当你去请求资源的时候，它先给你分配一个最小的值，比如说2G，然后你如果不够，给你加比如
说1G，直到加到最大比如说30G。（这个是有参数可以去配置的，在hadoop官网没有，在cdh官网
是可以找到的）


	 生产二：
	 yarn.nodemanager.resource.memory-mb   32G（可以将预留空间再缩小一点，这样留给container容器的空间会大一点）（这个由30G调整到32G，就需要从预留的20%里面
拿出2G出来。这样32/8=4个容器，可以整除，不会浪费了）

	 yarn.scheduler.minimum-allocation-mb  2G
	 yarn.scheduler.maximum-allocation-mb  8G
	 16个~4个

	 生产三:
	 如果物理机的内存是256G:（我们预留的空间可以按15%来算）

	 yarn.nodemanager.resource.memory-mb   168G
	 yarn.scheduler.minimum-allocation-mb  4G
	 yarn.scheduler.maximum-allocation-mb  24G
	 16个~4个

	 再生产中很容易遇到这样一种情况：container p memory oom ：（意思是你的最大connertion内存不够用）
	 遇到这种情况，我们首先先把这任务kill掉，然受修改参数，将分配的内存调大一些。

	 生产默认 不做修改
	 yarn.nodemanager.pmem-check-enabled	true   （表示如果 container tast任务超过内存 就会 kill 掉进程，
	检查容器内存，一个是物理内存，一个是虚拟内存，虚拟内存是物理内存的
	 2倍，哪个超了都会被kill 掉）
	 yarn.nodemanager.vmem-check-enabled	true
	 yarn.nodemanager.vmem-pmem-ratio	2.1
	 物理内存 1m  虚拟内存 2.1m

新版本参数
yarn.nodemanager.resource.pcores-vcores-multiplier 1    （老的是2，现在是1，需要手动把它修改成2）


yarn.nodemanager.resource.memory-mb   
yarn.scheduler.minimum-allocation-mb 
yarn.scheduler.maximum-allocation-mb 
这些参数的需要看官网里的默认配置yarn-default.xml。
比如：yarn.nodemanager.resource.memory-mb如果设置成-1：
Amount of physical memory, in MB, that can be allocated for containers. If set to -1and yarn.nodemanager.resource.detect-hardware-capabilities is true, it is automatically calculated(in case of Windows and Linux). In other cases, the default
is 8192MB.
yarn.nodemanager.resource.detect-hardware-capabilities：Enable auto-detection of nodecapabilities such as memory and CPU.（默认是false）


	 CPU:
	 yarn.nodemanager.resource.cpu-vcores	 12（一般vcore是16个，但是我们还要分给其他进程。）
	 yarn.scheduler.minimum-allocation-vcores  1
	 yarn.scheduler.maximum-allocation-vcores  4
	 
	 container: 2G 3c
	 container: 
	 memory 16c~4c
	 vcores 12c~3c 
	 

> 生产调优的重点：
> 在生产中，运行task时所需要的资源需要由内存和vcore共同来决定，它俩时相互影响的，如果vcore
> 最小的只有3个crontainer，那么memory也只能分到3个crontainer，那么3*8=24G，还余6个G
> 的内存就会被浪费掉，所以yarn生产调优 需要计算好内存和vcore 的之间的数据。如果vore分给
> 它16个，那么vcore就可以分成16个~4个crontainer容易，最大利用了资源。

详细可以参考 博客 ：http://blog.itpub.net/30089851/viewspace-2127851/