座談交流:你寫過最復(fù)雜的架構(gòu)是啥
2022-09-26
伍總監(jiān):“目前為止你寫過最復(fù)雜的架構(gòu)是什么?我們車企需要自己研發(fā)中間件,對架構(gòu)方面要求頗高?!?/span>
他重點(diǎn)是“我寫過”什么架構(gòu),而不是“我用過”什么架構(gòu)。
我……省略一萬字說了個(gè)不痛不癢的應(yīng)用層架構(gòu)。很多年不怎么寫應(yīng)用程序了,最多寫些測試用例,近年一直干著預(yù)研的工作,很少涉及具體應(yīng)用。
2個(gè)我寫的架構(gòu)
其實(shí)2015-2018年干應(yīng)用層的時(shí)候,倒是寫過幾個(gè)架構(gòu),其中有2個(gè)架構(gòu)不是孤芳自賞,它們還得到同事的認(rèn)可,在其他項(xiàng)目上也得到應(yīng)用。
MiniShellEx:誕生于2014年中旬,應(yīng)用程序命令行接口,提供命令補(bǔ)全、提示功能,最有價(jià)值的是可以依靠它去編寫單元測試, 節(jié)省單元測試代碼量。其實(shí)還有一個(gè)精簡版MiniShell Tiny,用于stm32單片機(jī)后臺(tái)調(diào)試,MiniShell Tiny它不依賴Linux庫libreadline。
EpollServerX:誕生于2015年初,看名字都知到他是基于epoll的以太網(wǎng)服務(wù)器庫,它與MiniShellEx結(jié)合起來,可以搭建遠(yuǎn)程單元測試框架, 既可以做服務(wù)器,也可以做客戶端。若當(dāng)時(shí)我知道libevent的存在,或許我不會(huì)重復(fù)造輪子。
它們的鏈接如下(你可能需要梯子):
-
https://github.com/MenglongWu/EpollServerX
-
https://gitee.com/MenglongWu/MiniShellEx
最復(fù)雜架構(gòu)
我所認(rèn)為的架構(gòu),應(yīng)該是盡可能使用現(xiàn)存架構(gòu),除非確認(rèn)已存在的架構(gòu)存在瓶頸,才少量嘗試創(chuàng)新、突破。
2015年干過一個(gè)最復(fù)雜的架構(gòu),我毫掩飾地評價(jià)它是最惡心架構(gòu),說他惡心的根本原因是我本可以編寫少量、甚至不編寫代碼,也就是上文說所的盡可能使用現(xiàn)存架構(gòu), 不僅同時(shí)用上EpollServerX和MiniShellEx,還寫了一個(gè)本不應(yīng)該寫的軟路由,最后該工程框架成了公司祖?zhèn)鞔a,后面2個(gè)同事拿著它做二次開發(fā)。
我們的工程是這樣的,一個(gè)19寸機(jī)箱里有13快業(yè)務(wù)板和1塊軟路由板。像這樣的機(jī)箱有百來個(gè),他們都與服務(wù)器發(fā)生數(shù)據(jù)交互。
行業(yè)里的做法應(yīng)該是軟路由上搭建NAPT,服務(wù)器向軟路由發(fā)起連接,根據(jù)端口區(qū)分業(yè)務(wù)板。例如:
-
軟路由IP:192.168.1.5
-
業(yè)務(wù)板服務(wù)器和端口:192.168.0.1:1000
-
業(yè)務(wù)板服務(wù)器和端口:192.168.0.2:1000
-
當(dāng)服務(wù)器要像業(yè)務(wù)板1通信,則連接192.168.1.5:10001;
-
當(dāng)服務(wù)器要像業(yè)務(wù)板2通信,則連接192.168.1.5:10002;
-
軟路由做的工作叫做端口映射NAPT;
而我們產(chǎn)品經(jīng)理偏不按常理出牌,要要在軟路由上開放端口2000,軟路由連接機(jī)框內(nèi)各業(yè)務(wù)板,服務(wù)器只連接軟路由,開發(fā)服務(wù)器的工程師說擔(dān)心服務(wù)器處理不過來,畢竟幾百個(gè)機(jī)框累計(jì)起來,服務(wù)器得維護(hù)數(shù)前個(gè)連接呢,只連接軟路僅幾百個(gè)連接。
我納悶:“數(shù)千個(gè)連接不多呀,你不是用Windows下的完成端口模式嗎,應(yīng)該沒什么壓力,而且我們的業(yè)務(wù)板也不是事實(shí)都有數(shù)據(jù)流量?!?/span>
Windows的完成端口設(shè)計(jì)目的與Linux的epoll一樣,都是應(yīng)對多連接場景。
老工程師:“以前都是如此干的,要?jiǎng)蛹軜?gòu)不太好改。”
好吧,擰不過老干部。于是我開始實(shí)現(xiàn)又長又臭的業(yè)務(wù)。
如此設(shè)計(jì)
第1秀:私有命令碼
EpollServerX監(jiān)聽兩個(gè)端口,端口2000是項(xiàng)目業(yè)務(wù)所需要的,協(xié)議按照項(xiàng)目的來。業(yè)務(wù)命令碼有近100條,我特意向產(chǎn)品經(jīng)理申請一條私有命令碼。留下一條后門,專門用于傳送字符串,字符串的內(nèi)容提供給MiniShellEx解析,使我有更多的方式去調(diào)試。
開發(fā)階段,軟路由就在我的桌面,我完全可以ssh、telnet遠(yuǎn)程登錄操作板卡。當(dāng)真正上業(yè)務(wù)后,運(yùn)營商會(huì)封死任何與業(yè)務(wù)無關(guān)的端口,真要出問題我就抓瞎了。擁有私有命令碼后,依靠現(xiàn)有端口完全可以秀各種操作,包括shell反彈、連接重定向。
第2秀:自連接
EpollServerX目的是充當(dāng)服務(wù)器,其二也可以充當(dāng)客戶端。但你有想過服務(wù)器自己連接自己嗎?
開放2000端口,然后自己連接自己,為什么有奇葩需求?——為了編寫測試用例,實(shí)現(xiàn)除了軟路由之外的業(yè)務(wù)。
某飛機(jī)操作系統(tǒng),或者說飛機(jī)上的應(yīng)用程序,下載后文件有百萬行,實(shí)際使用的代碼只有幾萬航而已,其他的都是他的測試用例。通常我們會(huì)把測試用例與業(yè)務(wù)代碼分離出來,不過飛機(jī)項(xiàng)目可是把測試用例與業(yè)務(wù)一同編譯、打包、發(fā)布。
當(dāng)初設(shè)計(jì)時(shí)我沒打算向飛機(jī)項(xiàng)目看齊,僅僅是當(dāng)時(shí)年輕,提出反對意見沒人聽,倘若老干部的代碼有BUG我要是沒有足夠證據(jù)去證明,老干部是不承認(rèn)的。
于是未雨綢繆,把他們的業(yè)務(wù)都實(shí)現(xiàn)了(傳遞的是假數(shù)據(jù)),集成測試能夠自己先測試。
第3秀:數(shù)據(jù)流
正式業(yè)務(wù)數(shù)據(jù)流很簡單,業(yè)務(wù)數(shù)據(jù)從以太網(wǎng)來,指定業(yè)務(wù)端口,數(shù)據(jù)流直上到應(yīng)用層,最后從原路返回。
測試階段我可以用命令行,在本地ttyX終端執(zhí)行任何測試用例子:
如果測試用例屬于本地查詢業(yè)務(wù),則執(zhí)1、2流程;如果測試用例屬于主動(dòng)向其他板卡發(fā)送指令,則執(zhí)3、4流程;
當(dāng)業(yè)務(wù)開通后,運(yùn)營商只開通業(yè)務(wù)端口2000,真?zhèn)€數(shù)據(jù)流和第二張圖幾乎一抹一樣,差別在于一個(gè)命令來源于ttyX、另一個(gè)來源于私有命令碼。
當(dāng)同事還沒開發(fā)完成業(yè)務(wù)板、服務(wù)器,我則使用ttyX對自己的軟路由做自連接測試,ttyX啟動(dòng)測試用例,模擬其他網(wǎng)絡(luò)節(jié)點(diǎn)向軟路由發(fā)送數(shù)據(jù)。
好了,框圖還是比較好畫的,至于具體實(shí)現(xiàn)要牽扯到數(shù)據(jù)結(jié)構(gòu),太多,以后有空再寫,其實(shí)本項(xiàng)目可以用無鎖編程,調(diào)試起來會(huì)麻煩一點(diǎn),當(dāng)年還是用上了少量的鎖。
開發(fā)
記得我和同事A討論:“測試50號(hào)命令,代碼在8千xx行?!?/span>
旁邊的另一個(gè)同事B聽著:“你不是做軟路由嗎,幾行代碼不就寫完了,怎么搞出8千行。給你年輕人減輕壓力,看來也做不出什么東西?!?/span>
同事A是知道我實(shí)現(xiàn)3份代碼的,沒多爭辯:“他實(shí)現(xiàn)的內(nèi)容會(huì)比你實(shí)現(xiàn)的東西穩(wěn)定得多?!崩^續(xù)和我調(diào)試。
項(xiàng)目第一階段我是開發(fā)最久的,其他兩人大概2.5月完成,我花了3個(gè)月。核心業(yè)務(wù)其實(shí)不超過6千行,為了6千行的穩(wěn)定寫了8千行去實(shí)現(xiàn)其他業(yè)務(wù)的代碼,以及幾千行測試用例。測試用例子與實(shí)際業(yè)務(wù)工作量差不多是4:1。
在測試階段,我借助著MiniShellEx只花費(fèi)1天時(shí)間測試萬80多條命令。反觀幾天后甲方來與我們聯(lián)調(diào),3天時(shí)間測試不足20條命令。
收貨
項(xiàng)目第一階段交付,交付后甲方提出下一階段的要求,列出若干新增業(yè)務(wù),業(yè)務(wù)板、軟路由板、服務(wù)器3塊業(yè)務(wù)開發(fā)的同事都分配到了任務(wù)。
粗略計(jì)算大概要1個(gè)多月才能提交第二階段,我呢在一周后叫到:“完工,什么時(shí)候可以和你們集成測試?”
之前嘲諷我為什么寫8千多行代碼的同事:“灌鴨子?。∵@么快!”
我挺得意:“不僅僅功能實(shí)現(xiàn),測試用例也跑了一遍,現(xiàn)在就等你們完工給我真實(shí)數(shù)據(jù)?!蔽⑿δ槨?/span>
工作量守恒定律。前面看似吃點(diǎn)虧把其它不歸我的業(yè)務(wù)也實(shí)現(xiàn)了,正是我在第一階段實(shí)現(xiàn)了3塊業(yè)務(wù),它也創(chuàng)造一個(gè)測試環(huán)境,我可以不依賴其他同事任務(wù)進(jìn)度,獨(dú)自完成軟路由的功能測試。其二,我的架構(gòu)能同時(shí)兼容3種業(yè)務(wù)的實(shí)現(xiàn),也證明架構(gòu)有一定的彈性。