单元测试运行原理探究

发表于 2年以前 | 总阅读数：425 次

前言

单元测试是软件开发过程中的重要一环，好的单测可以帮助我们更早的发现问题，为系统的稳定运行提供保障。单测还是很好的说明文档，我们往往看单测用例就能够了解到作者对类的设计意图。代码重构时也离不开单测，丰富的单测用例会使我们重构代码时信心满满。虽然单测如此重要，但是一直来都不是很清楚其运行原理，也不知道为什么要做这样或那样的配置，这样终究是不行的，于是准备花时间探究下单测原理，并在此记录。

当在IDEA中Run单元测试时发生了什么？

首先，来看一下当我们直接通过IDEA运行单例时，IDEA帮忙做了哪些事情：

将工程源码和测试源码进行编译，输出到了target目录
通过java命令运行com.intellij.rt.junit.JUnitStarter，参数中指定了junit的版本以及单测用例名称

java com.intellij.rt.junit.JUnitStarter -ideVersion5 -junit4 fung.MyTest,test

这里着重追下JUnitStarter的代码，该类在IDEA提供的junit-rt.jar插件包中，具体目录：/Applications/IntelliJ IDEA.app/Contents/plugins/junit/lib/junit-rt.jar。可以将这个包引入到我们自己的工程项目中，方便阅读源码：

JUnitStarter的main函数

public static void main(String[] args) {
    List<String> argList = new ArrayList(Arrays.asList(args));
    ArrayList<String> listeners = new ArrayList();
    String[] name = new String[1];
    String agentName = processParameters(argList, listeners, name);
    if (!"com.intellij.junit5.JUnit5IdeaTestRunner".equals(agentName) && !canWorkWithJUnitVersion(System.err, agentName)) {
        System.exit(-3);
    }

    if (!checkVersion(args, System.err)) {
        System.exit(-3);
    }

    String[] array = (String[])argList.toArray(new String[0]);
    int exitCode = prepareStreamsAndStart(array, agentName, listeners, name[0]);
    System.exit(exitCode);
}

这里主要有两个核心方法


...
// 处理参数，主要用来确定使用哪个版本的junit框架，同时根据入参填充listeners
String agentName = processParameters(argList, listeners, name);
...
// 启动测试
int exitCode = prepareStreamsAndStart(array, agentName, listeners, name[0]);
...

接下来看下prepareStreamsAndStart方法运行的时序图，这里以JUnit4为例：当IDEA确认好要启动的框架版本后，会通过类的全限定名称反射创建IdeaTestRunner<?>的实例。这里以JUnit4为例，IDEA会实例化com.intellij.junit4.JUnit4IdeaTestRunner类对象并调用其startRunnerWithArgs方法，在该方法中会通过buildRequest方法构建org.junit.runner.Request，通过getDescription方法获取org.junit.runner.Description，最后创建org.junit.runner.JUnitCore实例并调用其run方法。

简而言之就是，IDEA最终会借助Junit4框架的能力启动并运行单测用例，所以接下来有必要对Junit4框架的源码做些深入的探究。

Junit4源码探究

Junit是一个由Java语言编写的单元测试框架，已在业界被广泛运用，其作者是大名鼎鼎的Kent Beck和Erich Gamma，前者是《重构：改善既有代码的设计》和《测试驱动开发》的作者，后者则是《设计模式》的作者，Eclipse之父。Junit4发布于2006年，虽然是老古董了，但其中所蕴含的设计理念和思想却并不过时，有必要认真探究一番。

首先我们还是从一个简单的单测用例开始：


public class MyTest {

    public static void main(String[] args) {
        JUnitCore runner = new JUnitCore();
        Request request = Request.aClass(MyTest.class);
        Result result = runner.run(request.getRunner());
        System.out.println(JSON.toJSONString(result));
    }

    @Test
    public void test1() {
        System.out.println("test1");
    }

    @Test
    public void test2() {
        System.out.println("test2");
    }

    @Test
    public void test3() {
        System.out.println("test3");
    }

}

这里我们不再通过IDEA的插件启动单元测试，而是直接通过main函数，核心代码如下：


public static void main(String[] args) {
  // 1. 创建JUnitCore的实例
  JUnitCore runner = new JUnitCore();
  // 2. 通过单测类的Class对象构建Request
  Request request = Request.aClass(MyTest.class);
  // 3. 运行单元测试
  Result result = runner.run(request.getRunner());
  // 4. 打印结果
  System.out.println(JSON.toJSONString(result));
}

着重看下runner.run(request.getRunner())，先看run函数的代码：

可以看到最终运行哪种类型的测试流程取决于传入的runner实例，即不同的Runner决定了不同的运行流程，通过实现类的名字可以大概猜一猜，JUnit4ClassRunner应该是JUnit4基本的测试流程，MockitoJUnitRunner应该是引入了Mockito的能力，SpringJUnit4ClassRunner应该和Spring有些联系，可能会启动Spring容器。

现在，我们回过头来看看runner.run(request.getRunner())中request.getRunner()的代码：


public Runner getRunner() {
  if (runner == null) {
    synchronized (runnerLock) {
      if (runner == null) {
        runner = new AllDefaultPossibilitiesBuilder(canUseSuiteMethod).safeRunnerForClass(fTestClass);
      }
    }
  }
  return runner;
}

public Runner safeRunnerForClass(Class<?> testClass) {
  try {
    return runnerForClass(testClass);
  } catch (Throwable e) {
    return new ErrorReportingRunner(testClass, e);
  }
}


public Runner runnerForClass(Class<?> testClass) throws Throwable {
  List<RunnerBuilder> builders = Arrays.asList(
    ignoredBuilder(),
    annotatedBuilder(),
    suiteMethodBuilder(),
    junit3Builder(),
    junit4Builder()
  );

  for (RunnerBuilder each : builders) {
    Runner runner = each.safeRunnerForClass(testClass);
    if (runner != null) {
      return runner;
    }
  }
  return null;
}

可以看到Runner是基于传入的测试类（testClass）的信息选择的，这里的规则如下：

如果解析失败了，则返回ErrorReportingRunner
如果测试类上有@Ignore注解，则返回IgnoredClassRunner
如果测试类上有@RunWith注解，则使用@RunWith的值实例化一个Runner返回
如果canUseSuiteMethod=true，则返回SuiteMethod，其继承自JUnit38ClassRunner，是比较早期的JUnit版本了
如果JUnit版本在4之前，则返回JUnit38ClassRunner
如果上面都不满足，则返回BlockJUnit4ClassRunner，其表示的是一个标准的JUnit4测试模型

我们先前举的那个简单的例子返回的就是BlockJUnit4ClassRunner，那么就以BlockJUnit4ClassRunner为例，看下它的run方法是怎么执行的吧。

首先会先走到其父类ParentRunner中的run方法


@Override
public void run(final RunNotifier notifier) {
  EachTestNotifier testNotifier = new EachTestNotifier(notifier,
                                                       getDescription());
  try {
    Statement statement = classBlock(notifier);
    statement.evaluate();
  } catch (AssumptionViolatedException e) {
    testNotifier.addFailedAssumption(e);
  } catch (StoppedByUserException e) {
    throw e;
  } catch (Throwable e) {
    testNotifier.addFailure(e);
  }
}

这里有必要展开说下Statement，官方的解释是：Represents one or more actions to be taken at runtime in the course of running a JUnit test suite.

Statement可以简单理解为对可执行方法的封装和抽象，如RunBefores就是一个Statement，它封装了所有标记了@BeforeClass注解的方法，在运行单例类的用例之前会执行这些方法，运行完后RunBefores还会通过next.evaluate()运行后续的Statement。这里列举一下常见的Statement：

RunBefores，会先运行befores里封装的方法（一般是标记了@BeforeClass或@Before），再运行next.evaluate()
RunAfters，会先运行next.evaluate()，再运行afters里封装的方法（一般是标记了@AfterClass或@After）
InvokeMethod，直接运行testMethod中封装的方法

由此可见，整个单测的运行过程，实际上就是一系列Statement的运行过程，以之前的MyTest为例，它的Statement的执行过程大致可以概况如下：

还剩一个最后问题，实际被测试方法是如何被运行的呢？答案是反射调用。核心代码如下：


@Override
public void evaluate() throws Throwable {
  testMethod.invokeExplosively(target);
}


public Object invokeExplosively(final Object target, final Object... params)
  throws Throwable {
  return new ReflectiveCallable() {
    @Override
    protected Object runReflectiveCall() throws Throwable {
      return method.invoke(target, params);
    }
  }.run();
}

至此一个标准Junit4的单测用例的执行过程就分析完了，那么像Spring这种需要起容器的单测又是如何运行的呢？接下来就来探究一下。

Spring单测的探究

我们还是以一个简单的例子开始吧


@RunWith(SpringRunner.class)
@ContextConfiguration(locations = { "/spring/spring-mybeans.xml" })
public class SpringRunnerTest {

    @Autowired
    private MyTestBean myTestBean;

    @Test
    public void test() {
        myTestBean.test();
    }

}

这里先粗略的概括下运行单测时发生了什么。首先，@RunWith注解了该测试类，所以Junit框架会先用SpringRunnerTest.class作为参数创建SpringRunner的实例，然后调用SpringRunner的run方法运行测试，该方法中会启动Spring容器，加载@ContextConfiguration注解指定的Bean配置文件，同时也会处理@Autowired注解为SpringRunnerTest的实例注入myTestBean，最后运行test()测试用例。

简言之就是先通过SpringRunner启动Spring容器，然后运行测试方法。接下来探究一下SpringRunner启动Spring容器的过程。


public final class SpringRunner extends SpringJUnit4ClassRunner {

  public SpringRunner(Class<?> clazz) throws InitializationError {
    super(clazz);
  }

}


public class SpringJUnit4ClassRunner extends BlockJUnit4ClassRunner {
  ...
}

SpringRunner和SpringJUnit4ClassRunner实际是等价的，可以认为SpringRunner是SpringJUnit4ClassRunner的一个别名，这里着重看下SpringJUnit4ClassRunner类的实现。

SpringJUnit4ClassRunner继承了BlockJUnit4ClassRunner，前面着重分析过BlockJUnit4ClassRunner，它运行的是一个标准的JUnit4测试模型，SpringJUnit4ClassRunner则是在此基础上做了一些扩展，扩展的内容主要包括：

扩展了构造函数，多创建了一个TestContextManager实例。
扩展了createTest()方法，会额外调用TestContextManager的prepareTestInstance方法。
扩展了beforeClass，在执行@BeforeClass注解的方法前，会先调用TestContextManager的beforeTestClass方法。
扩展了before，在执行@Before注解的方法前，会先调用TestContextManager的beforeTestMethod方法。
扩展了afterClass，在执行@AfterClass注解的方法之后，会再调用TestContextManager的afterTestClass方法。
扩展了after，在执行@After注解的方法之后，会再调用TestContextManager的after方法。

TestContextManager是Spring测试框架的核心类，官方的解释是：TestContextManager is the main entry point into the Spring TestContext Framework. Specifically, a TestContextManager is responsible for managing a single TestContext.

TestContextManager管理着TestContext，而TestContext则是对ApplicationContext的一个再封装，可以把TestContext理解为增加了测试相关功能的Spring容器。 TestContextManager同时也管理着TestExecutionListeners，这里使用观察者模式提供了对测试运行过程中的关键节点（如beforeClass, afterClass等）的监听能力。

所以通过研究TestContextManager，TestContext和TestExecutionListeners的相关实现类的代码，就不难发现测试时Spring容器的启动秘密了。关键代码如下：

public class DefaultTestContext implements TestContext {
  ...
  public ApplicationContext getApplicationContext() {
    ApplicationContext context = this.cacheAwareContextLoaderDelegate.loadContext(this.mergedContextConfiguration);
    if (context instanceof ConfigurableApplicationContext) {
      @SuppressWarnings("resource")
      ConfigurableApplicationContext cac = (ConfigurableApplicationContext) context;
      Assert.state(cac.isActive(), () ->
                   "The ApplicationContext loaded for [" + this.mergedContextConfiguration +
                   "] is not active. This may be due to one of the following reasons: " +
                   "1) the context was closed programmatically by user code; " +
                   "2) the context was closed during parallel test execution either " +
                   "according to @DirtiesContext semantics or due to automatic eviction " +
                   "from the ContextCache due to a maximum cache size policy.");
    }
    return context;
  }
  ...
}

在DefaultTestContext的getApplicationContext方法中，调用了cacheAwareContextLoaderDelegate的loadContext，最终辗转调到Context的refresh方法，从而构筑起Spring容器上下文。时序图如下：

那么getApplicationContext方法又是在哪里被调用的呢？

前面介绍过，TestContextManager扩展了createTest()方法，会额外调用其prepareTestInstance方法。


public void prepareTestInstance(Object testInstance) throws Exception {
  if (logger.isTraceEnabled()) {
    logger.trace("prepareTestInstance(): instance [" + testInstance + "]");
  }
  getTestContext().updateState(testInstance, null, null);

  for (TestExecutionListener testExecutionListener : getTestExecutionListeners()) {
    try {
      testExecutionListener.prepareTestInstance(getTestContext());
    }
    catch (Throwable ex) {
      if (logger.isErrorEnabled()) {
        logger.error("Caught exception while allowing TestExecutionListener [" + testExecutionListener +
                     "] to prepare test instance [" + testInstance + "]", ex);
      }
      ReflectionUtils.rethrowException(ex);
    }
  }
}

prepareTestInstance方法中会调用所有TestExecutionListener的prepareTestInstance方法，其中有一个叫做DependencyInjectionTestExecutionListener的监听器会调到TestContext的getApplicationContext方法。


public void prepareTestInstance(TestContext testContext) throws Exception {
  if (logger.isDebugEnabled()) {
    logger.debug("Performing dependency injection for test context [" + testContext + "].");
  }
  injectDependencies(testContext);
}


protected void injectDependencies(TestContext testContext) throws Exception {
   Object bean = testContext.getTestInstance();
   Class<?> clazz = testContext.getTestClass();

   // 这里调用TestContext的getApplicationContext方法，构建Spring容器
   AutowireCapableBeanFactory beanFactory = testContext.getApplicationContext().getAutowireCapableBeanFactory();

   beanFactory.autowireBeanProperties(bean, AutowireCapableBeanFactory.AUTOWIRE_NO, false);
   beanFactory.initializeBean(bean, clazz.getName() + AutowireCapableBeanFactory.ORIGINAL_INSTANCE_SUFFIX);
   testContext.removeAttribute(REINJECT_DEPENDENCIES_ATTRIBUTE);
}

还剩最后一个问题，DependencyInjectionTestExecutionListener是如何被添加的呢？答案是spring.factories

至此Spring单测的启动过程就探究明白了，接下来看下SpringBoot的。

SpringBoot单测的探究

一个简单的SpringBoot单测例子


@RunWith(SpringRunner.class)
@SpringBootTest(classes = Application.class)
public class MySpringBootTest {

    @Autowired
    private MyTestBean myTestBean;

    @Test
    public void test() {
        myTestBean.test();
    }

}

@Target(ElementType.TYPE)
@Retention(RetentionPolicy.RUNTIME)
@Documented
@Inherited
@BootstrapWith(SpringBootTestContextBootstrapper.class)
public @interface SpringBootTest {
  ...
}

粗滤说明一下，这里还是通过SpringRunner的run方法启动测试，其中会启动Spring容器，而@SpringBootTest则提供了启动类，同时通过@BootstrapWith提供的SpringBootTestContextBootstrapper类丰富了TestContext的能力，使得其支持了SpringBoot的一些特性。这里着重探究下@BootstrapWith注解以及SpringBootTestContextBootstrapper。

前面在介绍TestContextManager时，并没有讲到其构造函数以及TestContext的实例化过程，这里将其补上


public TestContextManager(Class<?> testClass) {
  this(BootstrapUtils.resolveTestContextBootstrapper(BootstrapUtils.createBootstrapContext(testClass)));
}


public TestContextManager(TestContextBootstrapper testContextBootstrapper) {
  this.testContext = testContextBootstrapper.buildTestContext();
  registerTestExecutionListeners(testContextBootstrapper.getTestExecutionListeners());
}


public abstract class AbstractTestContextBootstrapper implements TestContextBootstrapper {  
  ...
  public TestContext buildTestContext() {
    return new DefaultTestContext(getBootstrapContext().getTestClass(), buildMergedContextConfiguration(),
        getCacheAwareContextLoaderDelegate());
  }
  ...
}

构建DefaultTestContext需要传3个参数：

testClass，被测试的类元数据
MergedContextConfiguration，封装了声明在测试类上的与测试容器相关的注解，如@ContextConfiguration, @ActiveProfiles, @TestPropertySource
CacheAwareContextLoaderDelegate，用来loading或closing容器

那么当我们需要扩展TestContext的功能，或者不想用DefaultTestContext时，应该怎么办呢？最简单的方式自然是新写一个类实现TestContextBootstrapper接口，并覆写buildTestContext()方法，那么如何告诉测试框架要使用新的实现类呢？@BootstrapWith就派上用场了。

这里来看下BootstrapUtils.resolveTestContextBootstrapper的代码


static TestContextBootstrapper resolveTestContextBootstrapper(BootstrapContext bootstrapContext) {
  Class<?> testClass = bootstrapContext.getTestClass();

  Class<?> clazz = null;
  try {
    clazz = resolveExplicitTestContextBootstrapper(testClass);
    if (clazz == null) {
      clazz = resolveDefaultTestContextBootstrapper(testClass);
    }
    if (logger.isDebugEnabled()) {
      logger.debug(String.format("Instantiating TestContextBootstrapper for test class [%s] from class [%s]",
                                 testClass.getName(), clazz.getName()));
    }
    TestContextBootstrapper testContextBootstrapper =
      BeanUtils.instantiateClass(clazz, TestContextBootstrapper.class);
    testContextBootstrapper.setBootstrapContext(bootstrapContext);
    return testContextBootstrapper;
  }
  ...
}

private static Class<?> resolveExplicitTestContextBootstrapper(Class<?> testClass) {
  Set<BootstrapWith> annotations = AnnotatedElementUtils.findAllMergedAnnotations(testClass, BootstrapWith.class);
  if (annotations.isEmpty()) {
    return null;
  }
  if (annotations.size() == 1) {
    return annotations.iterator().next().value();
  }

  // 获取@BootstrapWith注解的值
  BootstrapWith bootstrapWith = testClass.getDeclaredAnnotation(BootstrapWith.class);
  if (bootstrapWith != null) {
    return bootstrapWith.value();
  }

  throw new IllegalStateException(String.format(
    "Configuration error: found multiple declarations of @BootstrapWith for test class [%s]: %s",
    testClass.getName(), annotations));
}

这里会通过@BootstrapWith注解的值，实例化定制的TestContextBootstrapper，从而提供定制的TestContext

SpringBootTestContextBootstrapper就是TestContextBootstrapper的实现类，它通过间接继承AbstractTestContextBootstrapper类扩展了创建TestContext的能力，这些扩展主要包括：

将ContextLoader替换为了SpringBootContextLoader
增加了DefaultTestExecutionListenersPostProcessor对TestExecutionListener进行增强处理
增加了对webApplicationType的处理

接下来看下SpringBootContextLoader的相关代码


public class SpringBootContextLoader extends AbstractContextLoader {

  @Override
  public ApplicationContext loadContext(MergedContextConfiguration config)
      throws Exception {
    Class<?>[] configClasses = config.getClasses();
    String[] configLocations = config.getLocations();
    Assert.state(
        !ObjectUtils.isEmpty(configClasses)
            || !ObjectUtils.isEmpty(configLocations),
        () -> "No configuration classes "
            + "or locations found in @SpringApplicationConfiguration. "
            + "For default configuration detection to work you need "
            + "Spring 4.0.3 or better (found " + SpringVersion.getVersion()
            + ").");
    SpringApplication application = getSpringApplication();
    // 设置mainApplicationClass
    application.setMainApplicationClass(config.getTestClass());
    // 设置primarySources
    application.addPrimarySources(Arrays.asList(configClasses));
    // 添加configLocations
    application.getSources().addAll(Arrays.asList(configLocations));
    // 获取environment
    ConfigurableEnvironment environment = getEnvironment();
    if (!ObjectUtils.isEmpty(config.getActiveProfiles())) {
      setActiveProfiles(environment, config.getActiveProfiles());
    }
    ResourceLoader resourceLoader = (application.getResourceLoader() != null)
        ? application.getResourceLoader()
        : new DefaultResourceLoader(getClass().getClassLoader());
    TestPropertySourceUtils.addPropertiesFilesToEnvironment(environment,
        resourceLoader, config.getPropertySourceLocations());
    TestPropertySourceUtils.addInlinedPropertiesToEnvironment(environment,
        getInlinedProperties(config));
    application.setEnvironment(environment);
    // 获取并设置initializers
    List<ApplicationContextInitializer<?>> initializers = getInitializers(config,
        application);
    if (config instanceof WebMergedContextConfiguration) {
      application.setWebApplicationType(WebApplicationType.SERVLET);
      if (!isEmbeddedWebEnvironment(config)) {
        new WebConfigurer().configure(config, application, initializers);
      }
    }
    else if (config instanceof ReactiveWebMergedContextConfiguration) {
      application.setWebApplicationType(WebApplicationType.REACTIVE);
      if (!isEmbeddedWebEnvironment(config)) {
        new ReactiveWebConfigurer().configure(application);
      }
    }
    else {
      application.setWebApplicationType(WebApplicationType.NONE);
    }
    application.setInitializers(initializers);
    // 运行SpringBoot应用
    return application.run();
  }

}

可以看到这里构建了SpringApplication，设置了mainApplicationClass，设置了primarySources，设置了initializers，最终通过application.run()启动了SpringBoot应用。

至此SpringBoot单测的启动过程也探究明白了，接下来看下Maven插件是如何运行单测的。

Maven插件如何运行单测

我们知道maven是通过一系列的插件帮助我们完成项目开发过程中的构建、测试、打包、部署等动作的，当在Console中运行maven clean test命令时，maven会依次运行以下goal:

maven-clean-plugin:2.5:clean，用于清理target目录
maven-resources-plugin:2.6:resources，将主工程目录下的资源文件移动到target目录下的classes目录中
maven-compiler-plugin:3.1:compile，将主工程目录下的java源码编译为字节码，并移动到target目录下的classes目录中
maven-resources-plugin:2.6:testResources，将测试工程目录下的资源文件移动到target目录下的test-classes目录中
maven-compiler-plugin:3.1:testCompile，将测试工程目录下的java源码编译为字节码，并移动到target目录下的classes目录中
maven-surefire-plugin:2.12.4:test，运行单测

我们扒下maven-surefire-plugin插件的代码看一下。首先引入下maven-surefire-plugin和surefire-junit4包，方便我们查看代码：


<dependency>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-surefire-plugin</artifactId>
  <version>2.9</version>
</dependency>

<dependency>
  <groupId>org.apache.maven.surefire</groupId>
  <artifactId>surefire-junit4</artifactId>
  <version>3.0.0-M7</version>
</dependency>

核心代码在org.apache.maven.plugin.surefire.AbstractSurefireMojo#execute中，这里就不贴代码了，有兴趣的可以自己看下。总之这里会用JUnit4ProviderInfo中的信息通过反射实例化JUnit4Provider对象，然后调用其invoke方法，在改方法中会最终实例化Runner并调用其run方法。核心代码如下：


private static void execute( Class<?> testClass, Notifier notifier, Filter filter )
{
  final int classModifiers = testClass.getModifiers();
  if ( !isAbstract( classModifiers ) && !isInterface( classModifiers ) )
  {
    Request request = aClass( testClass );
    if ( filter != null )
    {
      request = request.filterWith( filter );
    }
    Runner runner = request.getRunner();
    if ( countTestsInRunner( runner.getDescription() ) != 0 )
    {
      runner.run( notifier );
    }
  }
}

总结

至此单元测试运行的相关原理就探究完了，我们来回顾下有哪些内容吧

通过IDEA直接运行单测时，会通过JUnitStarter的main方法作为入口，最终调用Junit运行单元测试。
Junit4将@Before、@Test、@After这些注解打标的方法都抽象成了Statement，整个单测的运行过程，实际上就是一系列Statement的运行过程。方法的调用是通过反射的方式实现的。
借助于@RunWith(SpringRunner.class)注解，测试框架会运行SpringRunner实例的run方法，通过TestContextManager创建TestContext，并启动Spring容器。SpringRunner和SpringJUnit4ClassRunner实际上是等价的。
借助于@SpringBootTest和@BootstrapWith(SpringBootTestContextBootstrapper.class)注解，测试框架通过SpringBootTestContextBootstrapper增强了TestContext，达到了启动SpringBoot应用的目的。
Maven通过运行maven-surefire-plugin:2.12.4:test启动单元测试，其核心是通过JUnit4Provider调用了JUnit框架的代码。