作者介紹

我們的核心系統(tǒng)是一個(gè)單體系統(tǒng)，支撐全球多個(gè)國(guó)家和地區(qū)的業(yè)務(wù)。同時(shí)，業(yè)務(wù)部門近年生意紅火，接了幾個(gè)大客戶，針對(duì)這些大客戶的大型項(xiàng)目也在如火如荼地進(jìn)行中。

由于生產(chǎn)環(huán)境只有一套，而且已經(jīng)有業(yè)務(wù)在生產(chǎn)環(huán)境上跑，這些大項(xiàng)目最終也要在這套生產(chǎn)環(huán)境上上線。這套系統(tǒng)是糅合了各地、各不同業(yè)務(wù)的復(fù)雜系統(tǒng)。

之前，為了滿足各個(gè)客戶交付時(shí)間，每個(gè)項(xiàng)目都拉了一個(gè)獨(dú)立的分支進(jìn)行開發(fā)，減少各項(xiàng)目之間的依賴，但這也導(dǎo)致了每個(gè)項(xiàng)目各自為政，互不交流。一旦這些項(xiàng)目開發(fā)完成，要和生產(chǎn)環(huán)境的版本進(jìn)行合并。這種巨型合并勢(shì)必帶來(lái)巨大風(fēng)險(xiǎn)，相互隔絕的開發(fā)模式也將帶來(lái)大量的合并沖突。

我們一直在思考如何降低這種合并風(fēng)險(xiǎn)，以及如何打破各大型項(xiàng)目各自為政的困局，實(shí)現(xiàn)產(chǎn)品化的敏捷交付?；貧w測(cè)試成為實(shí)現(xiàn)這些使命的基礎(chǔ)。

前面提到，目前的開發(fā)模式是針對(duì)不同的大客戶，分別設(shè)立了不同的大型項(xiàng)目進(jìn)行開發(fā)。這些項(xiàng)目的交付周期往往數(shù)以年計(jì)，交付周期長(zhǎng)，風(fēng)險(xiǎn)大。

生產(chǎn)環(huán)境又只有一套，而且已經(jīng)有業(yè)務(wù)在生產(chǎn)環(huán)境上跑，代碼合并困難，上線風(fēng)險(xiǎn)巨大。

我們希望能打破這種大型項(xiàng)目的交付形式，以產(chǎn)品化的思維進(jìn)行管理。

具體實(shí)施的思路是：

要實(shí)現(xiàn)以上模式，上線前的回歸測(cè)試至關(guān)重要。而且由于一個(gè)Sprint內(nèi)，也就是一個(gè)月內(nèi)，要完成Sprint交付計(jì)劃內(nèi)所有用戶故事的需求澄清、設(shè)計(jì)、開發(fā)、測(cè)試、用戶驗(yàn)收和上線，時(shí)間非常緊，回歸測(cè)試也必須在一、兩天內(nèi)完成。

如何實(shí)現(xiàn)既能充分保護(hù)生產(chǎn)環(huán)境，又能實(shí)現(xiàn)快速反饋的回歸測(cè)試，成為一個(gè)重要議題。

對(duì)于如何設(shè)計(jì)和實(shí)施覆蓋率高、執(zhí)行穩(wěn)定而且快速的自動(dòng)化回歸測(cè)試，一直是一個(gè)難題。

我們?cè)?jīng)的一個(gè)思路是把現(xiàn)有的功能測(cè)試用例進(jìn)行自動(dòng)化，但很快發(fā)現(xiàn)這個(gè)思路不可行，主要原因如下：

我們必須要尋找一種方法，以最小的投入獲取最大的保障。

我們對(duì)回歸測(cè)試自動(dòng)化的預(yù)期進(jìn)行了重新定位。我們進(jìn)行回歸測(cè)試，就是要保護(hù)生產(chǎn)環(huán)境的關(guān)鍵業(yè)務(wù)可以照常進(jìn)行。我們要防止的，是新的特性發(fā)布造成生產(chǎn)環(huán)境災(zāi)難，也就是導(dǎo)致關(guān)鍵業(yè)務(wù)無(wú)法進(jìn)行的大面積故障。對(duì)于非災(zāi)難性的小故障，完全可以通過(guò)運(yùn)維手段來(lái)處理。

因此，我們不應(yīng)該把回歸測(cè)試定位為防止一切問(wèn)題。

基于以上對(duì)回歸測(cè)試預(yù)期的重新定位，我們和業(yè)務(wù)部門協(xié)商，請(qǐng)他們列舉出當(dāng)前在生產(chǎn)環(huán)境上最關(guān)鍵的業(yè)務(wù)過(guò)程有哪些。我們要保證的是，當(dāng)新的特性上線后的首個(gè)交易日，原有的最關(guān)鍵的業(yè)務(wù)過(guò)程不會(huì)受到嚴(yán)重影響。

基于這個(gè)預(yù)期，我們以業(yè)務(wù)部門提供的關(guān)鍵業(yè)務(wù)過(guò)程作為測(cè)試用例，并形成以下的回歸測(cè)試思路：

準(zhǔn)備階段：

執(zhí)行階段：

簡(jiǎn)單總結(jié)，就是對(duì)比兩個(gè)系統(tǒng)版本在相同測(cè)試環(huán)境、相同環(huán)境數(shù)據(jù)、相同交易日、相同輸入的情況下，輸出是否有非預(yù)期的差異。

這個(gè)思路的最大特點(diǎn)是，以不變應(yīng)萬(wàn)變。生產(chǎn)環(huán)境的關(guān)鍵業(yè)務(wù)過(guò)程不會(huì)經(jīng)常變化，也就是說(shuō)測(cè)試用例基本上比較固定。通過(guò)反復(fù)運(yùn)行固定的測(cè)試用例實(shí)現(xiàn)回歸測(cè)試的目標(biāo)，保護(hù)生產(chǎn)環(huán)境上的關(guān)鍵業(yè)務(wù)過(guò)程，避免災(zāi)難。以最少的用例實(shí)現(xiàn)最大的保護(hù)。

而且測(cè)試的結(jié)果驗(yàn)證是通過(guò)比對(duì)不同版本的輸出，我們不必在乎具體的輸出內(nèi)容，只需要關(guān)注輸出是否有非預(yù)期差異。

當(dāng)然，一旦有新的大客戶上線，也就是有新的關(guān)鍵業(yè)務(wù)過(guò)程，這些過(guò)程也應(yīng)該放入到回歸測(cè)試用例中，當(dāng)然，用例的選擇還是以避免災(zāi)難為準(zhǔn)則。

在前面提到的功能測(cè)試思路里，我們需要不斷增加測(cè)試用例以增加測(cè)試覆蓋率，但是由于測(cè)試只能在UI進(jìn)行，這樣無(wú)限增加功能測(cè)試用例是不可持續(xù)的。

通過(guò)實(shí)踐，我們發(fā)現(xiàn)要充分發(fā)揮這個(gè)新思路的價(jià)值，要注意以下幾點(diǎn)：

以這個(gè)思路建立了回歸測(cè)試框架，我們便可以著手執(zhí)行過(guò)程的自動(dòng)化，從而提升其執(zhí)行的效率。

我們的核心系統(tǒng)是一套單體復(fù)雜系統(tǒng)，支撐全球多個(gè)國(guó)家和地區(qū)不同的業(yè)務(wù)。

為了實(shí)現(xiàn)敏捷交付，我們希望打破目前以大型項(xiàng)目為形式的各自為政，把各項(xiàng)目的所有需求放在統(tǒng)一的Backlog通過(guò)Scrum的方法進(jìn)行持續(xù)交付。

要實(shí)現(xiàn)這一點(diǎn)，我們需要在每個(gè)Sprint都進(jìn)行有效的回歸測(cè)試，以保護(hù)生產(chǎn)環(huán)境的關(guān)鍵業(yè)務(wù)在新特性上線后不會(huì)有災(zāi)難性的故障。

通過(guò)對(duì)比兩個(gè)系統(tǒng)版本在相同測(cè)試環(huán)境、相同環(huán)境數(shù)據(jù)、相同交易日、相同輸入的情況下，執(zhí)行關(guān)鍵業(yè)務(wù)過(guò)程的有限的測(cè)試用例，輸出是否有非預(yù)期的差異的回歸測(cè)試方法，以少勝多，以不變應(yīng)萬(wàn)變，持續(xù)保護(hù)生產(chǎn)環(huán)境的核心業(yè)務(wù)，為持續(xù)交付保駕護(hù)航。

特別推薦一個(gè)分享架構(gòu)+算法的優(yōu)質(zhì)內(nèi)容，還沒(méi)關(guān)注的小伙伴，可以長(zhǎng)按關(guān)注一下：
長(zhǎng)按訂閱更多精彩▼
如有收獲，點(diǎn)個(gè)在看，誠(chéng)摯感謝