1. Yarn应用兼容

Hadoop Yarn框架是Hadoop 2.0以上的新一代计算框架，在它上面可以跑多类应用，不仅能够跑经典MR计算，还能在该框架上实现实时计算，交互式计算，流式计算等等。正因为这样，Yarn得到了前所未有的关注，发展速度也比MRv1快。MRv1耗时有8年才使其稳定，而Yarn才发展了2年，就已经被许多公司采用。

既然Hadoop能在Yarn上实现多类应用框架，那么也可以这么说，它能够同时在Yarn上运行多类应用。这就会遇到Yarn对各类应用的同时支持问题。

那么它是怎么做到这样完成各类应用的兼容呢？

我在有一篇文章讲解如何在Yarn上实现一个非Map/Reduce应用：Hadoop Yarn上实现Hama BSP计算应用。我们接下来讲一讲在Hadoop Yarn上，它是如何解决各类应用框架的兼容性问题。在遇到多应用综合编程中，这种思路我们值得借鉴。

在Hama　BSP Yarn应用中，无论是客户端client还是appmaster实现都比较简单，因此它比较容易学。也正因为如此，它就没有跟上已有MRv2实现框架的发展，没有复用MRv2提供的公共API。在这方面，Tez就做的比Hama好些。

下面我们从Tez应用代码中学习Yarn是如何解决兼容性问题。

hadoop有一个Yarn参数mapreduce.framework.name用来控制你选择的应用框架。在MRv2里，mapreduce.framework.name有两个值：local和yarn。前者是采用本地模式执行计算任务，后者是采用Yarn框架把任务提交到集群中执行。

 2. Yarn Cluster集群初始化

无论是Map/Reduce还是Tez，客户端提交任务都需要先创建一个ClientProtocol接口的实现类。该接口在MRv1中是通过服务端Jobtracker来实现它；而在Yarn和Tez中，它在客户端YARNRunner来实现。你在提交Job时会创建一个JobClient对象，JobClient会初始化Map/Reduce集群Cluster信息。实质上提交Job时所需要的集群Cluster信息就是resourceManager的连接信息，MRv1里面初始化的是JobTracker的连接信息。如下代码是org.apache.hadoop.mapreduce.Cluster类的部分代码。

package org.apache.hadoop.mapreduce;
// 省去一些import 信息
/**
 * Provides a way to access information about the map/reduce cluster.
 */
@InterfaceAudience.Public
@InterfaceStability.Evolving
public class Cluster {
  
  @InterfaceStability.Evolving
  public static enum JobTrackerStatus {INITIALIZING, RUNNING};
  
  private ClientProtocolProvider clientProtocolProvider;  //该客户端协议的提供者，MRv2的提供类为LocalClientProtocolProvider, YarnClientProtocol；而Tez的提供类为YarnTezClientProtocolProvider。
  private ClientProtocol client; //生成的是YarnRunner对象
  
  //省略一些类属性...
  //利用ServiceLoader去加载ClientProtocolProvider的继承类，这是JDK提供的功能：多个服务提供者可以实现相同的接口去实现不同的逻辑，这需要按照一定的策略加载相关的文件配置。ServiceLoader实现了Iterable接口，可以直接迭代访问，采用Lazy加载的方式。
  private static ServiceLoader<ClientProtocolProvider> frameworkLoader =
      ServiceLoader.load(ClientProtocolProvider.class);
 
  // 略去一些构造函数 ...

// client端JobClient调用Cluster构造函数去初始化集群信息
public Cluster(InetSocketAddress jobTrackAddr, Configuration conf) 
      throws IOException { 
    this.conf = conf;
    this.ugi = UserGroupInformation.getCurrentUser();
    initialize(jobTrackAddr, conf);   
  }
  //初始化集群信息，主要是建立client与JT/RM的连接
  private void initialize(InetSocketAddress jobTrackAddr, Configuration conf)
      throws IOException {

    synchronized (frameworkLoader) {
      //for循环访问产生一个ClientProtocolProvider实现，frameWorkLoader里面的访问对象是根据在classpath的加载顺序来访问的，因此其加载顺序的不同会获得不一样的对象。
      for (ClientProtocolProvider provider : frameworkLoader) {
        LOG.debug("Trying ClientProtocolProvider : "
            + provider.getClass().getName());
        ClientProtocol clientProtocol = null; 
        try {
          if (jobTrackAddr == null) {
            clientProtocol = provider.create(conf);   // 创建YarnRunner对象，建立与RM的连接
          } else {
            clientProtocol = provider.create(jobTrackAddr, conf);//给定地址创建
          }

          if (clientProtocol != null) {
            clientProtocolProvider = provider;  //赋给属性供下次使用
            client = clientProtocol;
            LOG.debug("Picked " + provider.getClass().getName()
                + " as the ClientProtocolProvider");
            break;  //一旦得到一个新的对象（该对象不为NULL）就退出
          }
          else {
            LOG.debug("Cannot pick " + provider.getClass().getName()
                + " as the ClientProtocolProvider -  returned null protocol");
          }
        } 
        catch (Exception e) {
          LOG.info("Failed to use " + provider.getClass().getName()
              + " due to error: " + e.getMessage());
        }
      }
    }

    if (null == clientProtocolProvider || null == client) {
      throw new IOException(
          "Cannot initialize Cluster. Please check your configuration for "
              + MRConfig.FRAMEWORK_NAME
              + " and the correspond server addresses.");
    }
  }
 // 省略...
}

 从Cluster类中，可以看到Java提供的类ServiceLoader。ServiceLoader是服务加载类，它根据文件配置来在java classpath环境中加载对应接口的实现类。

 其配置规定在 classpath中需要把接口名命名成文件名，并把该文件放到classpath环境的META-INF/services文件中。例如：org.apache.hadoop.mapreduce.protocol.ClientProtocolProvider是MRv2提供的接口，那么在Tez部署的client jar包中会有一个相对路径文件名META-INF/services/org.apache.hadoop.mapreduce.protocol.ClientProtocolProvider，里面写着Tez的ClientProtocolProvider实现类的限定名：org.apache.tez.mapreduce.YarnTezClientProtocolProvider。

ServiceLoader方法会自动去在classpath环境变量里面按需按序加载这些实现类。

3. ClientProtocolProvider客户端协议提供类

ClientProtocolProvider方法提供两个create方法和一个close方法。create方法用来创建clientProtocol实例，而close用于关闭实例。org.apache.tez.mapreduce.YarnTezClientProtocolProvider是实现代码如下：

package org.apache.tez.mapreduce;

import java.io.IOException;
import java.net.InetSocketAddress;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.mapreduce.protocol.ClientProtocol;
import org.apache.hadoop.mapreduce.protocol.ClientProtocolProvider;
import org.apache.tez.mapreduce.hadoop.MRConfig;

public class YarnTezClientProtocolProvider extends ClientProtocolProvider {

  @Override
  public ClientProtocol create(Configuration conf) throws IOException {
    //根据mapreduce.framework.name的值来比较你需要的值：FRAMEWORK_NAME=mapreduce.framework.name，YARN_TEZ_FRAMEWORK_NAME=yarn-tez。如果conf里面的参数值是yarn-tez那么就创建一个Tez应用的org.apache.tez.mapreduce.YARNRunner对象。
    if (MRConfig.YARN_TEZ_FRAMEWORK_NAME.equals(conf.get(MRConfig.FRAMEWORK_NAME))) {
      return new YARNRunner(conf);
    }
    return null;
  }

  @Override
  public ClientProtocol create(InetSocketAddress addr, Configuration conf)
      throws IOException {
    return create(conf);
  }

  @Override
  public void close(ClientProtocol clientProtocol) throws IOException {
    // nothing to do
  }

}

4. 向Yarn提交Job运行类 YarnRunner 

ClientProtocolProvider用来构造ClientProtocol实现类YarnRunner，它直接产生一个RM代理ResourceMgrDelegate。在MRv2中，ResourceMgrDelegate继承了YarnClientImpl抽象类（同时YarnClientImpl实现了YarnClient接口），通过ApplicationClientProtocol代理直接向RM提交Job，杀死Job，查看Job运行状态等操作。

实际了上，只需要能过YarnClient.createYarnClient()静态方法就可以得到YarnClientImpl对象。

PS：Hadoop 的开发版发展速度出奇地快。因此如果想获得hadoop最新进展，最好经常把trunk代码更新下来。 其MRv2的API可以兼容老版的API，接口还是比较稳定，对原有代码的支持度都比较高，但是从其底层实现细节还正在处于不断地进化中。也正是其更新速度快，往往其它依赖Hadoop Yarn的生态系统出现一种滞后状态，例如Tez，Hama等系统，从它们的代码依赖里可以看出这种差别很明显，从它们的实现逻辑上都可以看出端倪。现在Hadoop 已经进入了2.1.0 beta开发阶段，相信在不久的将来，Hadoop 2.0 Stable版本就要发布了。我们拭目以待。