想要在程序里監(jiān)控?cái)?shù)據(jù)庫(kù)的操作耗時(shí),想要在底層框架中自動(dòng)傳遞鏈路跟蹤信息,這些需求經(jīng)常會(huì)碰到,特別是在構(gòu)建基礎(chǔ)框架的時(shí)候。
核心目標(biāo)只有一個(gè),那就是在底層封裝好,不用上層使用人員關(guān)心。今天跟大家聊聊常用的底層擴(kuò)展埋點(diǎn)方式是怎么處理的。
框架自帶擴(kuò)展點(diǎn)
如果你使用的框架在設(shè)計(jì)的時(shí)候,就預(yù)留了擴(kuò)展點(diǎn)就很方便了。比如 Mybatis 的攔截器,我們可以在攔截器中對(duì) Sql 進(jìn)行監(jiān)控,改寫(xiě)。
比如阿里的 Sentinel 框架,可以通過(guò) SPI 來(lái)擴(kuò)展 Slot,調(diào)整編排順序,新增自定義的 Slot 來(lái)實(shí)現(xiàn)限流告警等。
開(kāi)源框架的質(zhì)量參差不齊,有在早期設(shè)計(jì)比較好的,留足了各種擴(kuò)展點(diǎn),方便使用者。也有一些沒(méi)有考慮那么全面,導(dǎo)致你在使用的時(shí)候需要進(jìn)行擴(kuò)展,發(fā)現(xiàn)找不到擴(kuò)展點(diǎn),對(duì)于框架本身沒(méi)有提供擴(kuò)展點(diǎn)的場(chǎng)景,請(qǐng)接著看下面。
修改源碼
如果框架沒(méi)有擴(kuò)展點(diǎn),最直接的方式就是修改開(kāi)源框架的源碼來(lái)擴(kuò)展自己想要的功能,通常的做法就是克隆源碼到自己的私有倉(cāng)庫(kù)中,然后修改,測(cè)試,重新打包使用。
像我們之前用了 XXL-JOB 做任務(wù)調(diào)度,也是修改了某些代碼,在界面上擴(kuò)展了監(jiān)控通知的配置信息,默認(rèn)是只支持郵箱,可以擴(kuò)展出手機(jī),釘釘?shù)取?/p>
修改源碼不好的點(diǎn)在于需要跟原框架的版本進(jìn)行對(duì)齊,如果不對(duì)齊,隨便改都沒(méi)事。不對(duì)齊意味著修復(fù)了某些 bug 和新增了某些功能,就無(wú)法使用了。要對(duì)齊,就需要不斷的將新版本的代碼合并到你自己的分支上。
還有很多公司,就是基于開(kāi)源的版本,構(gòu)建了公司內(nèi)部自己的版本,后續(xù)直接就是跟著內(nèi)部的使用需求去擴(kuò)展和維護(hù)了,不會(huì)跟社區(qū)的版本進(jìn)行同步,如果你們有專(zhuān)門(mén)的團(tuán)隊(duì)去做這件事情,也是一種方式。
同名文件覆蓋
改源碼的方式需要經(jīng)常同步新版本的代碼,有的時(shí)候往往只想修改某一個(gè)類(lèi)而已,比如對(duì)底層的某些操作進(jìn)行埋點(diǎn)監(jiān)控,如果框架本身沒(méi)有提供擴(kuò)展點(diǎn)的話只能改源碼來(lái)實(shí)現(xiàn)。
其實(shí)還有個(gè)投機(jī)取巧的方式,就是在項(xiàng)目中創(chuàng)建一個(gè)跟你要修改的一模一樣的類(lèi),包名+類(lèi)目都一樣,方法名也一樣,方法的實(shí)現(xiàn)你可以改。這樣就能覆蓋 jar 包中的類(lèi)了,還是跟類(lèi)加載順序有關(guān)系,先加載你自己定義的。
這樣的方式好處在于不用經(jīng)常去同步新版本的代碼,如果你用的框架版本升級(jí)了,只要包名和類(lèi)名不變,你這個(gè)覆蓋的只是那個(gè)類(lèi)而已,新增的功能和修復(fù)的 bug 都不會(huì)有影響。
切面攔截
切面在做很多統(tǒng)一處理的時(shí)候非常有用,同樣在做底層埋點(diǎn)的場(chǎng)景也適用。
比如我們要對(duì)項(xiàng)目中 Mongodb 的所有操作都進(jìn)行埋點(diǎn)監(jiān)控,可以修改 MongoDB 的驅(qū)動(dòng)源碼,可以創(chuàng)建同名文件進(jìn)行覆蓋,方式有很多種,找到一個(gè)合適,又能實(shí)現(xiàn)需求的最重要。
以 Spring 中操作 Mongodb 來(lái)說(shuō)明,在 Spring Data Mongodb 中會(huì) MongoTemplate 來(lái)操作 Mongodb。最簡(jiǎn)單的方式就是直接對(duì) MongoTemplate 類(lèi)進(jìn)行埋點(diǎn),這樣所有的操作都可以監(jiān)控起來(lái)。
用切面直接切到 MongoTemplate 的所有方法上,然后進(jìn)行埋點(diǎn),就很簡(jiǎn)單了。
@Aspect
public class MongoTemplateAspect {
@Pointcut("execution(* org.springframework.data.mongodb.core.MongoTemplate.*(..))")
public void pointcut() {}
@Around("pointcut()")
public Object around(final ProceedingJoinPoint pjp) throws Throwable {
String callMethod = pjp.getSignature().getDeclaringType().getSimpleName() + "." + pjp.getSignature().getName();
Map data = new HashMap<>();
data.put("params", JsonUtils.toJson(pjp.getArgs()));
return CatTransactionManager.newTransaction(() -> {
try {
return pjp.proceed();
} catch (Throwable throwable) {
throw new RuntimeException(throwable);
}
}, "Mongo", callMethod, data);
}
}
又比如,你還想監(jiān)控 Redis 相關(guān)的,Redis 用的也是跟 Spring 整合的框架,那么也有 RedisTemplate 這個(gè)類(lèi),同樣也可以用切面來(lái)實(shí)現(xiàn)。
基于 Template 類(lèi)來(lái)埋點(diǎn),相對(duì)比較上層,如果還想在底層一點(diǎn)進(jìn)行監(jiān)控,也就是 Connection 這層,Template 里面的操作都是基于 Connection 來(lái)實(shí)現(xiàn)的。
同樣我們可以用切面來(lái)替換 Connection 相關(guān)的實(shí)現(xiàn),比如可以用切面切到獲取 Connection 的方法,然后替換 Connection 的對(duì)象為具備埋點(diǎn)監(jiān)控的對(duì)象。
@Aspect
public class RedisAspect {
@Pointcut("target(org.springframework.data.redis.connection.RedisConnectionFactory)")
public void connectionFactory() {}
@Pointcut("execution(org.springframework.data.redis.connection.RedisConnection *.getConnection(..))")
public void getConnection() {}
@Pointcut("execution(org.springframework.data.redis.connection.RedisClusterConnection *.getClusterConnection(..))")
public void getClusterConnection() {}
@Around("getConnection() && connectionFactory()")
public Object aroundGetConnection(final ProceedingJoinPoint pjp) throws Throwable {
RedisConnection connection = (RedisConnection) pjp.proceed();
return new CatMonitorRedisConnection(connection);
}
@Around("getClusterConnection() && connectionFactory()")
public Object aroundGetClusterConnection(final ProceedingJoinPoint pjp) throws Throwable {
RedisClusterConnection clusterConnection = (RedisClusterConnection) pjp.proceed();
return new CatMonitorRedisClusterConnection(clusterConnection);
}
}
CatMonitorRedisConnection 中對(duì)原生的 RedisConnection 做了增強(qiáng),也不會(huì)影響原有的 RedisConnection 的功能。
public class CatMonitorRedisConnection implements RedisConnection {
private final RedisConnection connection;
private CatMonitorHelper catMonitorHelper;
public CatMonitorRedisConnection(RedisConnection connection) {
this.connection = connection;
this.catMonitorHelper = new CatMonitorHelper();
}
@Override
public byte[] get(byte[] key) {
return catMonitorHelper.execute(RedisCommand.GET, key, () -> connection.get(key));
}
}
Java Agent
Java Agent 可以在運(yùn)行期將已經(jīng)加載的類(lèi)的字節(jié)碼進(jìn)行變更,可以加入我們需要進(jìn)行監(jiān)控的代碼邏輯。無(wú)需對(duì)原有代碼進(jìn)行改造,零侵入性。
在非常多優(yōu)秀的開(kāi)源框架中都看到了 Java Agent 的應(yīng)用,像 APM 框架 SkyWalking,異步傳遞上下文 transmittable-thread-local 等。
Java Agent 相對(duì)其他的方式來(lái)說(shuō),還是有一定的門(mén)檻,畢竟不是日常開(kāi)發(fā)中經(jīng)常會(huì)用到的技術(shù)點(diǎn)。如果想了解這種擴(kuò)展方式,可以看看一些已經(jīng)用了的開(kāi)源框架的源碼,就知道大概怎么使用了。下面貼一段 transmittable-thread-local 中對(duì)線程池進(jìn)行擴(kuò)展的代碼吧,主要就是利用了 javassist 操作字節(jié)碼。
try {
final CtMethod afterExecute = clazz.getDeclaredMethod("afterExecute", new CtClass[]{runnableClass, throwableClass});
// unwrap runnable if IsAutoWrapper
String code = "$1 = com.alibaba.ttl.threadpool.agent.internal.transformlet.impl.Utils.unwrapIfIsAutoWrapper($1);";
logger.info("insert code before method " + signatureOfMethod(afterExecute) + " of class " + afterExecute.getDeclaringClass().getName() + ": " + code);
afterExecute.insertBefore(code);
modified = true;
} catch (NotFoundException e) {
// clazz does not override afterExecute method, do nothing.
}
關(guān)于作者:尹吉?dú)g,簡(jiǎn)單的技術(shù)愛(ài)好者,《Spring Cloud 微服務(wù)-全棧技術(shù)與案例解析》, 《Spring Cloud 微服務(wù) 入門(mén) 實(shí)戰(zhàn)與進(jìn)階》作者。
特別推薦一個(gè)分享架構(gòu)+算法的優(yōu)質(zhì)內(nèi)容,還沒(méi)關(guān)注的小伙伴,可以長(zhǎng)按關(guān)注一下:
長(zhǎng)按訂閱更多精彩▼
如有收獲,點(diǎn)個(gè)在看,誠(chéng)摯感謝
免責(zé)聲明:本文內(nèi)容由21ic獲得授權(quán)后發(fā)布,版權(quán)歸原作者所有,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。文章僅代表作者個(gè)人觀點(diǎn),不代表本平臺(tái)立場(chǎng),如有問(wèn)題,請(qǐng)聯(lián)系我們,謝謝!