文章目录
高级开发必须理解的Java中SPI机制
本文通过探析JDK提供的,在开源项目中比较常用的Java SPI机制,希望给大家在实际开发实践、学习开源项目提供参考。
1 SPI是什么
SPI全称Service Provider Interface,是Java提供的一套用来被第三方实现或者扩展的API,它可以用来启用框架扩展和替换组件。
整体机制图如下:
Java SPI 实际上是“基于接口的编程+策略模式+配置文件”组合实现的动态加载机制。
系统设计的各个抽象,往往有很多不同的实现方案,在面向的对象的设计里,一般推荐模块之间基于接口编程,模块之间不对实现类进行硬编码。一旦代码里涉及具体的实现类,就违反了可拔插的原则,如果需要替换一种实现,就需要修改代码。为了实现在模块装配的时候能不在程序里动态指明,这就需要一种服务发现机制。
Java SPI就是提供这样的一个机制:为某个接口寻找服务实现的机制。有点类似IOC的思想,就是将装配的控制权移到程序之外,在模块化设计中这个机制尤其重要。所以SPI的核心思想就是解耦。
2 使用场景
概括地说,适用于:调用者根据实际使用需要,启用、扩展、或者替换框架的实现策略
比较常见的例子:
- 数据库驱动加载接口实现类的加载
JDBC加载不同类型数据库的驱动 - 日志门面接口实现类加载
SLF4J加载不同提供商的日志实现类 - Spring
Spring中大量使用了SPI,比如:对servlet3.0规范对ServletContainerInitializer的实现、自动类型转换Type Conversion SPI(Converter SPI、Formatter SPI)等 - Dubbo
Dubbo中也大量使用SPI的方式实现框架的扩展, 不过它对Java提供的原生SPI做了封装,允许用户扩展实现Filter接口
3 使用介绍
要使用Java SPI,需要遵循如下约定:
- 1、当服务提供者提供了接口的一种具体实现后,在jar包的META-INF/services目录下创建一个以“接口全限定名”为命名的文件,内容为实现类的全限定名;
- 2、接口实现类所在的jar包放在主程序的classpath中;
- 3、主程序通过java.util.ServiceLoder动态装载实现模块,它通过扫描META-INF/services目录下的配置文件找到实现类的全限定名,把类加载到JVM;
- 4、SPI的实现类必须携带一个不带参数的构造方法;
示例代码
步骤1、定义一组接口 (假设是org.foo.demo.IShout),并写出接口的一个或多个实现,(假设是org.foo.demo.animal.Dog、org.foo.demo.animal.Cat)。
public interface IShout {
void shout();
}
public class Cat implements IShout {
@Override
public void shout() {
System.out.println("miao miao");
}
}
public class Dog implements IShout {
@Override
public void shout() {
System.out.println("wang wang");
}
}
步骤2、在 src/main/resources/ 下建立 /META-INF/services 目录, 新增一个以接口命名的文件 (org.foo.demo.IShout文件),内容是要应用的实现类(这里是org.foo.demo.animal.Dog和org.foo.demo.animal.Cat,每行一个类)。
文件位置
- src
-main
-resources
- META-INF
- services
- org.foo.demo.IShout
文件内容
org.foo.demo.animal.Dog
org.foo.demo.animal.Cat
步骤3、使用 ServiceLoader 来加载配置文件中指定的实现。
public class SPIMain {
public static void main(String[] args) {
ServiceLoader<IShout> shouts = ServiceLoader.load(IShout.class);
for (IShout s : shouts) {
s.shout();
}
}
}
代码输出:
wang wang
miao miao
4 原理解析
首先看ServiceLoader类的签名类的成员变量:
public final class ServiceLoader<S> implements Iterable<S>{
private static final String PREFIX = "META-INF/services/";
// 代表被加载的类或者接口
private final Class<S> service;
// 用于定位,加载和实例化providers的类加载器
private final ClassLoader loader;
// 创建ServiceLoader时采用的访问控制上下文
private final AccessControlContext acc;
// 缓存providers,按实例化的顺序排列
private LinkedHashMap<String,S> providers = new LinkedHashMap<>();
// 懒查找迭代器
private LazyIterator lookupIterator;
......
}
参考具体ServiceLoader具体源码,代码量不多,加上注释一共587行,梳理了一下,实现的流程如下:
- 1 应用程序调用ServiceLoader.load方法
ServiceLoader.load方法内先创建一个新的ServiceLoader,并实例化该类中的成员变量,包括:- loader(ClassLoader类型,类加载器)
- acc(AccessControlContext类型,访问控制器)
- providers(LinkedHashMap<String,S>类型,用于缓存加载成功的类)
- lookupIterator(实现迭代器功能)
- 2 应用程序通过迭代器接口获取对象实例
ServiceLoader先判断成员变量providers对象中(LinkedHashMap<String,S>类型)是否有缓存实例对象,如果有缓存,直接返回。
如果没有缓存,执行类的装载,实现如下: - (1) 读取META-INF/services/下的配置文件,获得所有能被实例化的类的名称,值得注意的是,ServiceLoader可以跨越jar包获取META-INF下的配置文件,具体加载配置的实现代码如下:
try {
String fullName = PREFIX + service.getName();
if (loader == null)
configs = ClassLoader.getSystemResources(fullName);
else
configs = loader.getResources(fullName);
} catch (IOException x) {
fail(service, "Error locating configuration files", x);
}
- (2) 通过反射方法Class.forName()加载类对象,并用instance()方法将类实例化。
- (3) 把实例化后的类缓存到providers对象中,(LinkedHashMap<String,S>类型)
然后返回实例对象。
5 总结
优点:
使用Java SPI机制的优势是实现解耦,使得第三方服务模块的装配控制的逻辑与调用者的业务代码分离,而不是耦合在一起。应用程序可以根据实际业务情况启用框架扩展或替换框架组件。
缺点:
- 虽然ServiceLoader也算是使用的延迟加载,但是基本只能通过遍历全部获取,也就是接口的实现类全部加载并实例化一遍。如果你并不想用某些实现类,它也被加载并实例化了,这就造成了浪费。获取某个实现类的方式不够灵活,只能通过Iterator形式获取,不能根据某个参数来获取对应的实现类。
- 多个并发多线程使用ServiceLoader类的实例是不安全的。
谈java SPI机制、spring-mvc启动及servlet3.0
主要回顾了java的类加载机制,servlet3.0新特性,java的spi机制,以及spring-mvc的初始化和加载过程。
SpringMVC初始化
之前我使用spring和springMVC的时候都是在web.xml里面定义一个listener org.springframework.web.context.ContextLoaderListener
用来初始化spring和一个servlet org.springframework.web.servlet.DispatcherServlet
用来初始化springMVC。
我看了下DispatcherServlet
的源码初始化流程,如下图DispatcherServlet初始化的时候,会创建一个WebApplicationInitializer。左边三者是一个继承关系。
WebApplicationContext和ApplicationContext有什么不同呢? 前者实现了后者,我们可以配置多个servlet对应不同的mapping,每个servlet会对应一个WebApplicationContext(wac),但是ApplicationContext(ac)只有一个,wac之间可以共享ac里面配置的bean,如共享数据源,缓存等,而且如果不需要这些配置,ac也不是必须的。ac和wc是一个parent-child的层级关系。
随着servlet3.0的到来,web.xml也不是必须的了,我们可以定义一个WebApplicationInitializer
来初始化一个WebApplicationContext,下面我讲讲WebApplicationInitializer
的加载机制
看下面介绍的<a href="#ServletContext的性能增强"">servlet3对ServletContext的增强可以知道,javaee容器在启动的时候会通过spi机制来寻找javax.servlet.ServletContainerInitializer
的实现类,在spring-web
jar包,如下图所示
@HandlesTypes(WebApplicationInitializer.class)
public class SpringServletContainerInitializer implements ServletContainerInitializer {
@Override
public void onStartup(Set<Class<?>> webAppInitializerClasses, ServletContext servletContext)
throws ServletException {
List<WebApplicationInitializer> initializers = new LinkedList<WebApplicationInitializer>();
if (webAppInitializerClasses != null) {
for (Class<?> waiClass : webAppInitializerClasses) {
// Be defensive: Some servlet containers provide us with invalid classes,
// no matter what @HandlesTypes says...
if (!waiClass.isInterface() && !Modifier.isAbstract(waiClass.getModifiers()) &&
WebApplicationInitializer.class.isAssignableFrom(waiClass)) {
try {
initializers.add((WebApplicationInitializer) waiClass.newInstance());
}
...
}
SpringServletContainerInitializer
的onStartup()方法里面有如下一段注释
Because this class declares @HandlesTypes(WebApplicationInitializer.class), Servlet 3.0+ containers will automatically scan the classpath for implementations of Spring’s WebApplicationInitializer interface and provide the set of all such types to the webAppInitializerClasses parameter of this method.
因为这个类@HandlesTypes注解的是WebApplicationInitializer.class
,Servlet3.0容器会自动的扫描classpath下面WebApplicationInitializer
接口的实现类,并提供给SpringServletContainerInitializer
的onStartup()方法
SPI机制
SPI的全名是Service Provider Interface,在java.util.ServiceLoader里面有比较详细的介绍。
如jdk提供了java.sql.Driver
接口,我们将oracle的驱动包丢入classpath
驱动包目录结构如下,在/META-INF/services/java.sql.Driver
文件中有一行内容,
oracle.jdbc.Driver
如下代码jdk提供了服务实现的一个工具类,,所以通过这种方式就没必要写来加载驱动了
ServiceLoader<Driver> d= ServiceLoader.load(Driver.class);
Iterator<Driver> it = d.iterator();
while(it.hasNext()){
Driver dd =it.next();
System.out.println(dd.toString());//oracle.jdbc.OracleDriver@498e2a42
}
查看ServiceLoader
源码可知,他使用的类加载器是线程上下文类加载器
public static <S> ServiceLoader<S> load(Class<S> service) {
ClassLoader cl = Thread.currentThread().getContextClassLoader();
return ServiceLoader.load(service, cl);
}
服务的提供者,提供了服务的接口实现之后,在jar包的META-INF/services/
下面创建一个以服务接口命名的文件,文件内容是提供着实现的接口实现类。
API 和 SPI的区别
API(Application Programming Interface )。在java中,我们使用java提供的很多类、类的方法、数据结构来编写我们的应用程序,最终完成我们需求的程序功能,这里的类、方法、数据结构即是jdk提供的api。api的意义,其实就是这些提供给你完成某项功能的类、接口或者方法。
而SPI(Service Provider Interface)是指一些提供给你继承、扩展,完成自定义功能的类、接口或者方法。
Servlet3.0新特性
目前servlet4还正在开发过程中,目前最新的应该就是3了,最新的spring也用到了很多servlet3.0的特性,所以很有必要了解一下。
新特性概述:
- 异步处理支持,之前是servlet一直阻塞直到业务完成,现在可以将耗时任务委派给另外一个线程处理,自己不生成相应的情况下返回到容器
- 新增注解,简化servlet、filter、listener,所以可以无需配置web.xml
- 可插件支持,类似于开发应用时,将jar包放入classpath
异步处理支持
在web.xml配置<async-supported>true</async-supported>
或者在注解里面添加asyncSupported = true
新增注解支持
@WebServlet
声明一个类为servlet,注解在部署时被容器自动处理
WebInitParam
通常配合@WebServlet和@WebFilter使用,类似于web.xml里面的<init-param>
标签,指定初始化参数
WebFilter
声明一个类为过滤器
WebListener
声明一个类为监听器,该类必须实现如下最少一个接口
- ServletContextListener
- ServletContextAttributeListener
- ServletRequestListener
- ServletRequestAttributeListener
- HttpSessionListener
- HttpSessionAttributeListener
@MultipartConfig
该注解主要是为了辅助 Servlet 3.0 中 HttpServletRequest 提供的对上传文件的支持。
可插性支持
以配置servlet为例,有三种方式
- 最原始的在web.xml里面配置servlet
- 使用servlet3.0的@WebServlet注解
- 利用可插性,将类继承HttpServlet,然后打成jar包,在jar包的META-INF里面放置一个 web-fragment文件,在文件中声明Servlet配置
我觉得spring可能就是利用了可插性,等有时间验证一下。
ServletContext的性能增强
支持运行时,动态的部署servlet、过滤器、监听器,通过ServletContext
的方法实现。
ServletContainerInitializer
也是 Servlet 3.0 新增的一个接口,容器在启动时使用SPI来发现 ServletContainerInitializer 的实现类,并且容器将 WEB-INF/lib 目录下 JAR 包中的类都交给该类的 onStartup() 方法处理,我们通常需要在该实现类上使用 @HandlesTypes 注解来指定希望被处理的类,过滤掉不希望给 onStartup() 处理的类。
Implementations of this interface must be declared by a JAR file resource located inside the META-INF/services directory and named for the fully qualified class name of this interface
这个接口的实现必须打包在一个jar文件里面,并且需要在META-INF/services/
通过spi来定义
类加载器
Java源程序经过java编译器编译之后转换成Java字节码,类加载器负责读取Java字节码转换成java.lang.Class类的一个实例,通过实例的new Instance()方法可以创建出该类的一个对象。
系统提供的类加载器
- 引导类加载器(bootstrap class loader):它用来加载 Java 的核心库,是用原生代码来实现的,并不继承自 java.lang.ClassLoader。
- 扩展类加载器(extensions class loader):它用来加载 Java 的扩展库。Java 虚拟机的实现会提供一个扩展库目录。该类加载器在此目录里面查找并加载 Java 类。
- 系统类加载器(system class loader):它根据 Java 应用的类路径(CLASSPATH)来加载 Java 类。一般来说,Java 应用的类都是由它来完成加载的。可以通过 ClassLoader.getSystemClassLoader()来获取它。
加载类的过程
每个java类维护着一个指向它的类加载器的引用,可以通过getClassLoader()来获取。
下面是类加载器的层级关系
Java虚拟机判定两个类相同,不仅要看类的全名是否相同,还要看加载类的类加载器是否相同。 在的方法里面有下面的代码,类加载器首先代理给父加载器来尝试加载。所以,真正完成类加载的类加载器(defining loader)可能和启动这个加载过程的类加载器(initiating loader)不是同一个。真正完成类加载工作是通过defineClass实现,启动类加载过程是通过loadClass实现。一个类的定义加载器是它引用的其他类的初始加载器。
// 根据名称来加载类
protected Class<?> loadClass(String name, boolean resolve)
throws ClassNotFoundException {
...
try {
if (parent != null) {
c = parent.loadClass(name, false);
} else {
c = findBootstrapClassOrNull(name);
}
} catch (ClassNotFoundException e) {
// ClassNotFoundException thrown if class not found
// from the non-null parent class loader
}
...
}
// 根据类的字节码加载类
protected final Class<?> defineClass(String name, byte[] b, int off, int len,
ProtectionDomain protectionDomain)
throws ClassFormatError{}
线程上下文类加载器
Thread.currentThread().getContextClassLoader()
context class loader,java应用运行的初始线程上下文加载器是系统类加载器,在线程中运行的代码可以通过此类加载器加载。
例子
SPI机制核心库提供了JDBC的接口,由引导类加载器加载,而JDBC的SPI实现类通常定义在第三方驱动包一般由系统类加载器加载,引导类加载器通过代理无法加载驱动包。所以这种情况就可以通过线程上下文类加载器来加载。
类加载器与web应用
对于运行在 Java EE的web应用来说,每个web应用都会有一个对应的类加载器实例,该类加载器也使用代理模式,不同的是它会首先尝试加载某个类,如果找不到再代理给父类加载器。与一般类加载器相反,这是Servlet规范推荐做法,目的是使Web应用自己的类优先级高于Web容器提供的类。
SPI机制在servlet3.0中的应用
1、spi简单说明
spi,即service privider interface,是jdk为厂商和插件提供的一种解耦机制。
spi的具体规范为:当服务的提供者,提供了服务接口的一种实现之后,在jar包的META-INF/services/目录里同时创建一个以服务接口命名的文件。该文件里就是实现该服务接口的具体实现类。而当外部程序装配这个模块的时候,就能通过该jar包META-INF/services/里的配置文件找到具体的实现类名,并通过反射机制实例化,完成模块的注入。 基于这样一个约定就能很好的找到服务接口的实现类,而不需要再代码里制定。jdk提供服务实现查找的一个工具类:java.util.ServiceLoader
2、spring-web中的具体应用
从servlet3.0开始,web容器启动时为提供给第三方组件机会做一些初始化的工作,例如注册servlet或者filtes等,servlet规范中通过ServletContainerInitializer实现此功能。每个框架要使用ServletContainerInitializer就必须在对应的jar包的META-INF/services 目录创建一个名为javax.servlet.ServletContainerInitializer的文件,文件内容指定具体的ServletContainerInitializer实现类,那么,当web容器启动时就会运行这个初始化器做一些组件内的初始化工作。
一般伴随着ServletContainerInitializer一起使用的还有HandlesTypes注解,通过HandlesTypes可以将感兴趣的一些类注入到ServletContainerInitializerde的onStartup方法作为参数传入。
spring-web的jar定义了一个具体的实现类,SpringServletContainerInitializer,并且在META-INF/services/目录下定义了如下文件:
文件的具体的内容为:org.springframework.web.SpringServletContainerInitializer。
3、SpringServletContainerInitializer
通过源码发现,配合注解@HandlesTypes它可以将其指定的Class对象作为参数传递到onStartup方法中。进而在onStartup方法中获取Class对象的具体实现类,进而调用实现类中的具体方法。SpringServletContainerInitializer类中@HandlesTypes指定的是Class对象是WebApplicationInitializer.Class。
利用这个机制,若实现WebApplicationInitializer这个接口,我们就可以自定义的注入Servlet,或者Filter,即可以不再依赖web.xml的配置。
4.tomcat启动时webConfig() 的调用链:
Tomcat.start()->各种代理的start()->org.apache.catalina.core.StandardContext.startInternal->LifecycleBase.fireLifecycleEvent->org.apache.catalina.startup.ContextConfig.lifecycleEvent->configureStart->webConfig
5.@HandlesTypes的实现原理:
首先这个注解最开始令我非常困惑,他的作用是将注解指定的Class对象作为参数传递到onStartup(ServletContainerInitializer)方法中。
然而这个注解是要留给用户扩展的,他指定的Class对象并没有要继承ServletContainerInitializer,更没有写入META-INF/services/的文件(也不可能写入)中,那么Tomcat是怎么扫描到指定的类的呢。
答案是Byte Code Engineering Library (BCEL),这是Apache Software Foundation 的Jakarta 项目的一部分,作用同ASM类似,是字节码操纵框架。
webConfig() 在调用processServletContainerInitializers()时记录下注解的类名,然后在Step 4和Step 5中都来到processAnnotationsStream这个方法,使用BCEL的ClassParser在字节码层面读取了/WEB-INF/classes和某些jar(应该可以在叫做fragments的概念中指定)中class文件的超类名和实现的接口名,判断是否与记录的注解类名相同,若相同再通过org.apache.catalina.util.Introspection类load为Class对象,最后保存起来,于Step 11中交给org.apache.catalina.core.StandardContext,也就是tomcat实际调用
ServletContainerInitializer.onStartup()的地方。
参考文章:
https://www.jianshu.com/p/46b42f7f593c
https://www.jianshu.com/p/bd36c023ddf0
https://blog.csdn.net/pingnanlee/article/details/80940993
https://www.cnblogs.com/feixuefubing/p/11593411.html