我要评论一、概述
1、背景
目前数据治理服务中有众多治理任务，当其中任一治理任务有改动需要升级或新增一个治理任务时，都需要将数据治理服务重启，会影响其他治理任务的正常运行。
2、目标
- 能够动态启动、停止任一治理任务
- 能够动态升级、添加治理任务
- 启动、停止治理任务或升级、添加治理任务不能影响其他任务
3、方案
为了支持业务代码尽量的解耦，把部分业务功能通过动态加载的方式加载到主程序中，以满足可插拔式的加载、组合式的部署。
配合xxl-job任务调度框架，将数据治理任务做成xxl-job任务的方式注册到xxl-job中，方便统一管理。
二、动态加载
1、自定义类加载器
urlclassloader 是一种特殊的类加载器，可以从指定的 url 中加载类和资源。它的主要作用是动态加载外部的 jar 包或者类文件，从而实现动态扩展应用程序的功。为了便于管理动态加载的jar包，自定义类加载器继承urlclassloader。
/**
* 自定义类加载器
*
* @author lijianyu
* @date 2023/04/03 17:54
**/
publicclassmyclassloaderextendsurlclassloader{
private map<string, class<?>> loadedclasses = new concurrenthashmap<>();
public map<string, class<?>> getloadedclasses() {
return loadedclasses;
}
publicmyclassloader(url[] urls, classloader parent){
super(urls, parent);
}
@override
protected class<?> findclass(string name) throws classnotfoundexception {
// 从已加载的类集合中获取指定名称的类
class<?> clazz = loadedclasses.get(name);
if (clazz != null) {
return clazz;
}
try {
// 调用父类的findclass方法加载指定名称的类
clazz = super.findclass(name);
// 将加载的类添加到已加载的类集合中
loadedclasses.put(name, clazz);
return clazz;
} catch (classnotfoundexception e) {
e.printstacktrace();
returnnull;
}
}
publicvoidunload(){
try {
for (map.entry<string, class<?>> entry : loadedclasses.entryset()) {
// 从已加载的类集合中移除该类
string classname = entry.getkey();
loadedclasses.remove(classname);
try{
// 调用该类的destory方法，回收资源
class<?> clazz = entry.getvalue();
method destory = clazz.getdeclaredmethod("destory");
destory.invoke(clazz);
} catch (exception e ) {
// 表明该类没有destory方法
}
}
// 从其父类加载器的加载器层次结构中移除该类加载器
close();
} catch (exception e) {
e.printstacktrace();
}
}
}
自定义类加载器中，为了方便类的卸载，定义一个map保存已加载的类信息。key为这个类的classname，value为这个类的类信息。
同时定义了类加载器的卸载方法，卸载方法中，将已加载的类的集合中移除该类。由于此类可能使用系统资源或调用线程，为了避免资源未回收引起的内存溢出，通过反射调用这个类中的destroy方法，回收资源。
最后调用close方法。
2、动态加载
由于此项目使用spring框架，以及xxl-job任务的机制调用动态加载的代码，因此要完成以下内容：
- 将动态加载的jar包读到内存中
- 将有spring注解的类，通过注解扫描的方式，扫描并手动添加到spring容器中。
- 将@xxljob注解的方法，通过注解扫描的方式，手动添加到xxljob执行器中。
/**
* @author lijianyu
* @date 2023/04/29 13:18
**/
@component
publicclassdynamicload{
privatestatic logger logger = loggerfactory.getlogger(dynamicload.class);
@autowired
private applicationcontext applicationcontext;
private map<string, myclassloader> myclassloadercenter = new concurrenthashmap<>();
@value("${dynamicload.path}")
private string path;
/**
* 动态加载指定路径下指定jar包
* @param path
* @param filename
* @param isregistxxljob 是否需要注册xxljob执行器，项目首次启动不需要注册执行器
* @return map<jobhander, cron> 创建xxljob任务时需要的参数配置
*/
publicvoidloadjar(string path, string filename, boolean isregistxxljob)throws classnotfoundexception, instantiationexception, illegalaccessexception {
file file = new file(path +"/" + filename);
map<string, string> jobpar = new hashmap<>();
// 获取beanfactory
defaultlistablebeanfactory beanfactory = (defaultlistablebeanfactory) applicationcontext.getautowirecapablebeanfactory();
// 获取当前项目的执行器
try {
// urlclassloader加载jar包规范必须这么写
url url = new url("jar:file:" + file.getabsolutepath() + "!/");
urlconnection urlconnection = url.openconnection();
jarurlconnection jarurlconnection = (jarurlconnection)urlconnection;
// 获取jar文件
jarfile jarfile = jarurlconnection.getjarfile();
enumeration<jarentry> entries = jarfile.entries();
// 创建自定义类加载器，并加到map中方便管理
myclassloader myclassloader = new myclassloader(new url[] { url }, classloader.getsystemclassloader());
myclassloadercenter.put(filename, myclassloader);
set<class> initbeanclass = new hashset<>(jarfile.size());
// 遍历文件
while (entries.hasmoreelements()) {
jarentry jarentry = entries.nextelement();
if (jarentry.getname().endswith(".class")) {
// 1. 加载类到jvm中
// 获取类的全路径名
string classname = jarentry.getname().replace('/', '.').substring(0, jarentry.getname().length() - 6);
// 1.1进行反射获取
myclassloader.loadclass(classname);
}
}
map<string, class<?>> loadedclasses = myclassloader.getloadedclasses();
xxljobspringexecutor xxljobexecutor = new xxljobspringexecutor();
for(map.entry<string, class<?>> entry : loadedclasses.entryset()){
string classname = entry.getkey();
class<?> clazz = entry.getvalue();
// 2. 将有@spring注解的类交给spring管理
// 2.1 判断是否注入spring
boolean flag = springannotationutils.hasspringannotation(clazz);
if(flag){
// 2.2交给spring管理
beandefinitionbuilder builder = beandefinitionbuilder.genericbeandefinition(clazz);
abstractbeandefinition beandefinition = builder.getbeandefinition();
// 此处beanname使用全路径名是为了防止beanname重复
string packagename = classname.substring(0, classname.lastindexof(".") + 1);
string beanname = classname.substring(classname.lastindexof(".") + 1);
beanname = packagename + beanname.substring(0, 1).tolowercase() + beanname.substring(1);
// 2.3注册到spring的beanfactory中
beanfactory.registerbeandefinition(beanname, beandefinition);
// 2.4允许注入和反向注入
beanfactory.autowirebean(clazz);
beanfactory.initializebean(clazz, beanname);
/*if(arrays.stream(clazz.getinterfaces()).collect(collectors.toset()).contains(initializingbean.class)){
initbeanclass.add(clazz);
}*/
initbeanclass.add(clazz);
}
// 3. 带有xxljob注解的方法注册任务
// 3.1 过滤方法
map<method, xxljob> annotatedmethods = null;
try {
annotatedmethods = methodintrospector.selectmethods(clazz,
new methodintrospector.metadatalookup<xxljob>() {
@override
public xxljob inspect(method method){
return annotatedelementutils.findmergedannotation(method, xxljob.class);
}
});
} catch (throwable ex) {
}
// 3.2 生成并注册方法的jobhander
for (map.entry<method, xxljob> methodxxljobentry : annotatedmethods.entryset()) {
method executemethod = methodxxljobentry.getkey();
// 获取jobhander和cron
xxljobcron xxljobcron = executemethod.getannotation(xxljobcron.class);
if(xxljobcron == null){
thrownew customexception("500", executemethod.getname() + "()，没有添加@xxljobcron注解配置定时策略");
}
if (!cronexpression.isvalidexpression(xxljobcron.value())) {
thrownew customexception("500", executemethod.getname() + "(),@xxljobcron参数内容错误");
}
xxljob xxljob = methodxxljobentry.getvalue();
jobpar.put(xxljob.value(), xxljobcron.value());
if (isregistxxljob) {
executemethod.setaccessible(true);
// regist
method initmethod = null;
method destroymethod = null;
xxljobexecutor.registjobhandler(xxljob.value(), new customermethodjobhandler(clazz, executemethod, initmethod, destroymethod));
}
}
}
// spring bean实际注册
initbeanclass.foreach(beanfactory::getbean);
} catch (ioexception e) {
logger.error("读取{} 文件异常", filename);
e.printstacktrace();
thrownew runtimeexception("读取jar文件异常: " + filename);
}
}
}
以下是判断该类是否有spring注解的工具类
apublic classspringannotationutils{
privatestatic logger logger = loggerfactory.getlogger(springannotationutils.class);
/**
* 判断一个类是否有 spring 核心注解
*
* @param clazz 要检查的类
* @return true 如果该类上添加了相应的 spring 注解；否则返回 false
*/
publicstaticbooleanhasspringannotation(class<?> clazz){
if (clazz == null) {
returnfalse;
}
//是否是接口
if (clazz.isinterface()) {
returnfalse;
}
//是否是抽象类
if (modifier.isabstract(clazz.getmodifiers())) {
returnfalse;
}
try {
if (clazz.getannotation(component.class) != null ||
clazz.getannotation(repository.class) != null ||
clazz.getannotation(service.class) != null ||
clazz.getannotation(controller.class) != null ||
clazz.getannotation(configuration.class) != null) {
returntrue;
}
}catch (exception e){
logger.error("出现异常：{}",e.getmessage());
}
returnfalse;
}
}
注册xxljob执行器的操作是仿照的xxljob中的xxljobspringexecutor的注册方法。
3、动态卸载
动态卸载的过程，就是将动态加载的代码，从内存，spring以及xxljob中移除。
代码如下：
/**
* 动态卸载指定路径下指定jar包
* @param filename
* @return map<jobhander, cron> 创建xxljob任务时需要的参数配置
*/
publicvoidunloadjar(string filename)throws illegalaccessexception, nosuchfieldexception {
// 获取加载当前jar的类加载器
myclassloader myclassloader = myclassloadercenter.get(filename);
// 获取jobhandlerrepository私有属性,为了卸载xxljob任务
field privatefield = xxljobexecutor.class.getdeclaredfield("jobhandlerrepository");
// 设置私有属性可访问
privatefield.setaccessible(true);
// 获取私有属性的值jobhandlerrepository
xxljobexecutor xxljobspringexecutor = new xxljobspringexecutor();
map<string, ijobhandler> jobhandlerrepository = (concurrenthashmap<string, ijobhandler>) privatefield.get(xxljobspringexecutor);
// 获取beanfactory，准备从spring中卸载
defaultlistablebeanfactory beanfactory = (defaultlistablebeanfactory) applicationcontext.getautowirecapablebeanfactory();
map<string, class<?>> loadedclasses = myclassloader.getloadedclasses();
set<string> beannames = new hashset<>();
for (map.entry<string, class<?>> entry: loadedclasses.entryset()) {
// 1. 将xxljob任务从xxljob执行器中移除
// 1.1 截取beanname
string key = entry.getkey();
string packagename = key.substring(0, key.lastindexof(".") + 1);
string beanname = key.substring(key.lastindexof(".") + 1);
beanname = packagename + beanname.substring(0, 1).tolowercase() + beanname.substring(1);
// 获取bean，如果获取失败，表名这个类没有加到spring容器中，则跳出本次循环
object bean = null;
try{
bean = applicationcontext.getbean(beanname);
}catch (exception e){
// 异常说明spring中没有这个bean
continue;
}
// 1.2 过滤方法
map<method, xxljob> annotatedmethods = null;
try {
annotatedmethods = methodintrospector.selectmethods(bean.getclass(),
new methodintrospector.metadatalookup<xxljob>() {
@override
public xxljob inspect(method method){
return annotatedelementutils.findmergedannotation(method, xxljob.class);
}
});
} catch (throwable ex) {
}
// 1.3 将job从执行器中移除
for (map.entry<method, xxljob> methodxxljobentry : annotatedmethods.entryset()) {
xxljob xxljob = methodxxljobentry.getvalue();
jobhandlerrepository.remove(xxljob.value());
}
// 2.0从spring中移除，这里的移除是仅仅移除的bean，并未移除bean定义
beannames.add(beanname);
beanfactory.destroybean(beanname, bean);
}
// 移除bean定义
field mergedbeandefinitions = beanfactory.getclass()
.getsuperclass()
.getsuperclass().getdeclaredfield("mergedbeandefinitions");
mergedbeandefinitions.setaccessible(true);
map<string, rootbeandefinition> rootbeandefinitionmap = ((map<string, rootbeandefinition>) mergedbeandefinitions.get(beanfactory));
for (string beanname : beannames) {
beanfactory.removebeandefinition(beanname);
// 父类bean定义去除
rootbeandefinitionmap.remove(beanname);
}
// 卸载父任务，子任务已经在循环中卸载
jobhandlerrepository.remove(filename);
// 3.2 从类加载中移除
try {
// 从类加载器底层的classes中移除连接
field field = classloader.class.getdeclaredfield("classes");
field.setaccessible(true);
vector<class<?>> classes = (vector<class<?>>) field.get(myclassloader);
classes.removeallelements();
// 移除类加载器的引用
myclassloadercenter.remove(filename);
// 卸载类加载器
myclassloader.unload();
} catch (nosuchfieldexception e) {
logger.error("动态卸载的类，从类加载器中卸载失败");
e.printstacktrace();
} catch (illegalaccessexception e) {
logger.error("动态卸载的类，从类加载器中卸载失败");
e.printstacktrace();
}
logger.error("{} 动态卸载成功", filename);
}
4、动态配置
使用动态加载时，为了避免服务重新启动后丢失已加载的任务包，使用动态配置的方式，加载后动态更新初始化加载配置。
以下提供了两种自己实际操作过的配置方式。
1.动态修改本地yml
动态修改本地yml配置文件，需要添加snakeyaml的依赖
依赖引入
<dependency>
<groupid>org.yaml</groupid>
<artifactid>snakeyaml</artifactid>
<version>1.29</version>
</dependency>
工具类
读取指定路径下的配置文件，并进行修改。
/**
* 用于动态修改bootstrap.yml配置文件
* @author lijianyu
* @date 2023/04/18 17:57
**/
@component
publicclassconfigupdater{
publicvoidupdateloadjars(list<string> jarnames)throws ioexception {
// 读取bootstrap.yml
yaml yaml = new yaml();
inputstream inputstream = new fileinputstream(new file("src/main/resources/bootstrap.yml"));
map<string, object> obj = yaml.load(inputstream);
inputstream.close();
obj.put("loadjars", jarnames);
// 修改
filewriter writer = new filewriter(new file("src/main/resources/bootstrap.yml"));
dumperoptions options = new dumperoptions();
options.setdefaultflowstyle(dumperoptions.flowstyle.block);
options.setprettyflow(true);
yaml yamlwriter = new yaml(options);
yamlwriter.dump(obj, writer);
}
}
2.动态修改nacos配置
spring cloud alibaba nacos组件完全支持在运行时通过代码动态修改配置，还提供了一些api供开发者在代码里面实现动态修改配置。在每次动态加载或卸载数据治理任务jar包时，执行成功后都会进行动态更新nacos配置。
@configuration
publicclassnacosconfig{
@value("${spring.cloud.nacos.server-addr}")
private string serveraddr;
@value("${spring.cloud.nacos.config.namespace}")
private string namespace;
public configservice configservice()throws nacosexception {
properties properties = new properties();
properties.put("serveraddr", serveraddr);
properties.put("namespace", namespace);
return nacosfactory.createconfigservice(properties);
}
}
/**
* nacos配置中，修改sjzl-loadjars.yml
*
* @author lijianyu
* @date 2023/04/19 17:59
**/
@component
publicclassnacosconfigutil{
privatestatic logger logger = loggerfactory.getlogger(nacosconfigutil.class);
@autowired
private nacosconfig nacosconfig;
private string dataid = "sjzl-loadjars.yml";
@value("${spring.cloud.nacos.config.group}")
private string group;
/**
* 从nacos配置文件中，添加初始化jar包配置
* @param jarname 要移除的jar包名
* @throws exception
*/
publicvoidaddjarname(string jarname)throws exception {
configservice configservice = nacosconfig.configservice();
string content = configservice.getconfig(dataid, group, 5000);
// 修改配置文件内容
yamlmapper yamlmapper = new yamlmapper();
objectmapper jsonmapper = new objectmapper();
object yamlobject = yamlmapper.readvalue(content, object.class);
string jsonstring = jsonmapper.writevalueasstring(yamlobject);
jsonobject jsonobject = jsonobject.parseobject(jsonstring);
list<string> loadjars;
if (jsonobject.containskey("loadjars")) {
loadjars = (list<string>) jsonobject.get("loadjars");
}else{
loadjars = new arraylist<>();
}
if (!loadjars.contains(jarname)) {
loadjars.add(jarname);
}
jsonobject.put("loadjars" , loadjars);
object yaml = yamlmapper.readvalue(jsonmapper.writevalueasstring(jsonobject), object.class);
string newyamlstring = yamlmapper.writevalueasstring(yaml);
boolean b = configservice.publishconfig(dataid, group, newyamlstring);
if(b){
logger.info("nacos配置更新成功");
}else{
logger.info("nacos配置更新失败");
}
}
}
三、分离打包
分离打包时，根据实际情况在pom.xml中修改以下配置
<build>
<plugins>
<plugin>
<groupid>org.apache.maven.plugins</groupid>
<artifactid>maven-shade-plugin</artifactid>
<version>3.2.4</version>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<filters>
<filter>
<artifact>*:*</artifact>
<includes>
<include>com/jy/job/demo/**</include>
</includes>
</filter>
</filters>
<finalname>demojob</finalname>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>
到此这篇关于springboot中动态加载jar包的完整指南的文章就介绍到这了,更多相关springboot动态加载jar包内容请搜索代码网以前的文章或继续浏览下面的相关文章希望大家以后多多支持代码网！
发表评论