[導讀]問題描述C保險公司業(yè)務系統(tǒng)中，團體保險明細查詢速度很慢。查詢時輸入保單號，要返回團體保單包含的所有被保險人的信息。較小的保單，包含1萬個被保險人，返回頁面需要等待7.5分鐘。較大的保單，包含100萬被保險人，返回頁面等待了4個小時沒有出來。團體保險明細比較大，分兩個數(shù)據(jù)庫保存。每...
問題描述
C保險公司業(yè)務系統(tǒng)中，團體保險明細查詢速度很慢。查詢時輸入保單號，要返回團體保單包含的所有被保險人的信息。較小的保單，包含1萬個被保險人，返回頁面需要等待7.5分鐘。較大的保單，包含100萬被保險人，返回頁面等待了4個小時沒有出來。團體保險明細比較大，分兩個數(shù)據(jù)庫保存。每個團體保單的數(shù)據(jù)，在兩個庫中都有可能出現(xiàn)。數(shù)據(jù)庫是Oracle，SQL語句共163行，如下圖：分析解決
面對性能問題，需要仔細分析數(shù)據(jù)和計算的特征，定位性能關鍵點，通過改變數(shù)據(jù)的存儲方式和計算方法逐步優(yōu)化。第一步，確認需求前提。團體保險明細查詢是應用系統(tǒng)中的一個功能，需要查詢最新數(shù)據(jù)。如果采用ETL定時將數(shù)據(jù)導出計算的方式，不能滿足這個要求。因此，還是要想辦法從數(shù)據(jù)庫取數(shù)、庫外計算，來優(yōu)化性能。第二步，了解業(yè)務需求特征。團體保險明細數(shù)據(jù)存放在兩個數(shù)據(jù)庫db1、db2，每個數(shù)據(jù)庫都有兩個表m1、m2。這四個表在查詢時要合并查詢結果，我們統(tǒng)一稱為團體保險明細表。四個團體保險明細表有所不同，但是都可以查詢出主要字段：保單號、保險成員號、批改次數(shù)、業(yè)務編號1、業(yè)務編號2、業(yè)務標志，還有姓名、性別年齡等個人信息“批改”是針對保險合同的調(diào)整，系統(tǒng)將調(diào)整后的最新保險明細也保存在團體保險明細表中，不會修改原保險明細，保留軌跡。在數(shù)據(jù)中通過“批改次數(shù)”字段體現(xiàn)。查詢時，要查詢批改次數(shù)最大的一次，也就是最新的數(shù)據(jù)。明細數(shù)據(jù)中還有一部分是無效數(shù)據(jù)。要看業(yè)務編號1和業(yè)務標志連接成的字符串是否在無效集合中。無效集合是指：同一個保單號的數(shù)據(jù)中，批改次數(shù)小于9，并且業(yè)務標志為D或者U時，業(yè)務編號2和字母A連接成的字符串形成的集合。如果業(yè)務編號1和業(yè)務標志連接成的字符串出現(xiàn)在無效集合中，這條記錄就是無效的記錄，要舍棄掉。第三步，梳理研究計算過程。SQL雖然比較長，但是可以分成幾個部分。第一部分是兩個數(shù)據(jù)庫的4個團體保險明細表，各自按照保單號查詢需要的數(shù)據(jù)，再用union合并在一起。第二部分是條件過濾，包括去掉無效數(shù)據(jù)和另外幾個簡單的條件。第三部分是用窗口函數(shù)row_number() OVER(PARTITION BY 保險成員號 ORDER BY 批改次數(shù) desc)，查找批改次數(shù)最大的明細記錄。第一部分單獨執(zhí)行時，返回的結果數(shù)據(jù)量是幾萬到幾百萬，全部返回的時間比較長。如果用數(shù)據(jù)庫JDBC游標的話，很快就能返回部分數(shù)據(jù)，比如幾秒就可以返回幾千條。第二部分，單獨從數(shù)據(jù)庫中取得無效集合只需要幾秒，而且返回結果數(shù)據(jù)量不大，可以全內(nèi)存。但是，第一部分和第二部分合并執(zhí)行的時候，速度就變得很慢，即使是游標方式分批返回，也還是很慢。如果再加上第三部分，就更慢了。第四步，設計呈現(xiàn)方案。根據(jù)SQL分段執(zhí)行的情況，確定采用流式大報表的方式實現(xiàn)提速，原理如下圖：從數(shù)據(jù)庫取數(shù)和呈現(xiàn)采用兩個異步線程，取數(shù)線程發(fā)出 SQL 后不斷取出數(shù)據(jù)經(jīng)過復雜計算后，緩存到本地。再由呈現(xiàn)線程從本地緩存中獲取數(shù)據(jù)進行顯示。這樣，已經(jīng)取出并緩存的數(shù)據(jù)就能快速呈現(xiàn)，不再有等待感。第五步，設計計算過程優(yōu)化方案。我們考慮將取數(shù)和計算分三段實現(xiàn)。第一段，上面說的第一部分SQL加上按照保險成員號和批改次數(shù)降序排序之后，用數(shù)據(jù)庫JDBC游標依然能夠快速分批取出部分數(shù)據(jù)。加上排序，可以在分批取出數(shù)據(jù)時，保證一個保險成員的數(shù)據(jù)相鄰取出，在后續(xù)第三段中，就能夠快速找到批改次數(shù)最大的最新數(shù)據(jù)。第二段，我們將這個保單的無效集合一次性取出到內(nèi)存中，對第一段分批取出的數(shù)據(jù)進行過濾，計算出符合條件的有效明細。無效數(shù)據(jù)并不多，不會過濾掉太多的明細數(shù)據(jù)。第三段，根據(jù)被保險人號是否改變，判斷是不是一個被保險人的第一條數(shù)據(jù)。因為明細數(shù)據(jù)按照被保險人和批改次數(shù)有序，所以當被保險人號改變的時候，第一條數(shù)據(jù)就是當前被保險人批改次數(shù)的最大值。這樣就起到了，和上面說到的窗口函數(shù)一樣的作用。由于每個保險成員的數(shù)據(jù)量都不大，一般是最多十幾條數(shù)據(jù)（對應幾次到十幾次批改），而且無效數(shù)據(jù)并不多。所以第一部分分批取出的數(shù)據(jù)量不需要很多，就可以向前端批量返回數(shù)據(jù)了。這是流式大報表能夠快速展現(xiàn)的必要條件。第六步，設計代碼實現(xiàn)方案。使用延遲游標的方法實現(xiàn)上述三個分段。延遲游標的原理是，先依次定義三個分段的游標計算，定義的時候并不真的執(zhí)行計算，而是在三個分段都定義好之后再執(zhí)行。延遲計算的好處是可以一次遍歷完成三個分段計算，不必生成中間結果占用空間，可以把查詢結果分批提交給前端去展現(xiàn)。第三段游標計算比較復雜，需要用程序游標來實現(xiàn)。原理如下圖：程序游標要做到被調(diào)用的時候，邊計算邊返回結果，這樣才能達到流式大報表的要求。實際效果
根據(jù)計算特征擬定了優(yōu)化方案后，需要選擇合適的工具來實現(xiàn)計算和展現(xiàn)的性能優(yōu)化。直接使用Java當然可以實現(xiàn)，但編碼量過大，實現(xiàn)周期過長，容易出現(xiàn)代碼錯誤隱患，也很難調(diào)試和維護。而開源的集算器SPL語言提供上述所有的算法支持，包括延遲游標、游標有序分段取出、程序游標等機制，能夠讓我們用較少的代碼量快速實現(xiàn)這種個性化的計算。前端呈現(xiàn)需要支持流式大報表機制的報表工具，我們選擇了潤乾報表來實現(xiàn)。僅僅經(jīng)過1天時間的編程、調(diào)試和測試，就完成了性能優(yōu)化的驗證，而且查詢的響應速度非?？?。較小的保單，包含1萬個被保險人，原來返回頁面需要等待7.5分鐘，優(yōu)化后的報表首頁只需要3秒即可展現(xiàn)出來。較大的保單，包含100萬被保險人，原來返回頁面等待了4個小時沒有出來，優(yōu)化后的報表首頁僅7秒即可展現(xiàn)出來，響應速度提高了2000倍還多。在編程難度方面，SPL做了大量封裝，提供了豐富的函數(shù)，內(nèi)置了上述優(yōu)化方案需要的基本算法和存儲機制。實際編寫的代碼很短，開發(fā)效率很高。上述取數(shù)的三段代碼只有這么幾行：后記
解決性能優(yōu)化難題，最重要的是設計出高性能的計算方案，有效降低計算復雜度，最終把速度提上去。因此，一方面要充分理解計算和數(shù)據(jù)的特征，另一方面也要熟知常見的高性能算法，才能因地制宜地設計出合理的優(yōu)化方案。本次工作中用到的基本高性能算法，都可以從下面這門課程中找到：點擊這里學習性能優(yōu)化課程（底部原文中可點擊鏈接），有興趣的同學可以參考。很遺憾的是，當前業(yè)界主流大數(shù)據(jù)體系仍以關系數(shù)據(jù)庫為基礎，無論是傳統(tǒng)的MPP還是HADOOP體系以及新的一些技術，都在努力將編程接口向SQL靠攏。兼容SQL確實能讓用戶更容易上手，但受制于理論限制的SQL卻無法實現(xiàn)大多數(shù)高性能算法，眼睜睜地看著硬件資源被浪費，還沒有辦法改進。SQL不應是大數(shù)據(jù)計算的未來。有了優(yōu)化方案后，還要用好的程序語言來高效地實現(xiàn)這個算法。雖然常見的高級語言能夠?qū)崿F(xiàn)大多數(shù)優(yōu)化算法，但代碼過于冗長，開發(fā)效率過低，會嚴重影響程序的可維護性。開源SPL是個很好的選擇，它有足夠的算法底層支持，代碼能做到很簡潔，還提供了友好的可視化調(diào)試機制，能有效提高開發(fā)效率，以及降低維護成本。
對于本例中的報表呈現(xiàn)，還需要有能支持流式呈現(xiàn)的報表工具，這方面潤乾報表有獨特的優(yōu)勢，不需要全部取出數(shù)據(jù)就可以開始呈現(xiàn)，也不依賴于數(shù)據(jù)庫分頁機制（這種方法可能造成數(shù)據(jù)不一致）就可以支持高速前后翻頁。這樣才能獲得業(yè)務用戶的良好體驗。正在為 SQL 性能優(yōu)化頭疼的同學們，可以和我們一起探討：《慢得受不了的查詢跑批》
本站聲明： 本文章由作者或相關機構授權發(fā)布，目的在于傳遞更多信息，并不代表本站贊同其觀點，本站亦不保證或承諾內(nèi)容真實性等。需要轉載請聯(lián)系該專欄作者，如若文章內(nèi)容侵犯您的權益，請及時聯(lián)系本站刪除。
阿聯(lián)酋迪拜2025年8月26日 /美通社/ -- 納斯達克上市公司Robo.ai Inc.今日正式宣布完成品牌煥新升級，并于8月26日正式啟用全新納斯達克股票代碼"...
關鍵字：
AI
人工智能
代碼
智能科技
北京——2025年8月15日，亞馬遜云科技日前宣布，Amazon DocumentDB Serverless已正式可用，這是Amazon DocumentDB(兼容MongoDB)的一種全新配置，能夠根據(jù)應用程序需求自動...
關鍵字：
數(shù)據(jù)庫
服務器
濟南2025年8月12日 /美通社/ -- 近年來，國家大力推進信創(chuàng)產(chǎn)業(yè)發(fā)展，明確要求關鍵行業(yè)信息系統(tǒng)實現(xiàn) "自主可控、安全可靠"，老年教育領域作為民生服務的重要陣地，其信息化建設的國產(chǎn)化適配已成為行...
關鍵字：
全棧
BSP
數(shù)據(jù)庫
加密
北京2025年8月13日 /美通社/ -- 近日，北京積算科技有限公司（以下簡稱"積算科技"）推出一站式AlphaFold3在線算力服務，現(xiàn)已開放免費使用。其內(nèi)置優(yōu)化后的AlphaFold3模型，支持...
關鍵字：
ALPHA
代碼
圖形化
蛋白質(zhì)
北京2025年7月21日 /美通社/ -- 浪潮信息宣布元腦企智一體機已率先完成對Kimi K2 萬億參數(shù)大模型的適配支持，并實現(xiàn)單用戶70 tokens/s的流暢輸出速度，為企業(yè)客戶高效部署應用大模型提供高處...
關鍵字：
模型
AGENT
TOKEN
代碼
在云計算與數(shù)據(jù)庫高可用場景中，LVM（Logical Volume Manager）的動態(tài)擴展能力已成為保障業(yè)務連續(xù)性的關鍵技術。某金融企業(yè)通過LVM在線擴容將數(shù)據(jù)庫停機時間從2小時縮短至30秒，但操作不當仍可能導致數(shù)據(jù)...
關鍵字：
LVM
數(shù)據(jù)庫
7月18日，一則“微信安卓安裝包出現(xiàn)5處fxxk”的話題，迅速登上微博熱搜，吸引了眾多網(wǎng)友的熱議和關注。
關鍵字：
代碼
程序員
北京 2025年7月10日 /美通社/ -- 全球向量數(shù)據(jù)庫的先行者Zilliz利用亞馬遜云科技的生成式AI技術與云服務，為全球企業(yè)及開發(fā)者提供高可擴展、安全穩(wěn)定的向量數(shù)據(jù)庫解決方案，助力企業(yè)全面釋放數(shù)據(jù)潛能。此外，依...
關鍵字：
亞馬遜
向量
數(shù)據(jù)庫
AI
北京 2025年7月3日 /美通社/ -- 近日，北京積算科技有限公司（以下簡稱"積算科技"）正式推出GPU裸金屬算力服務套件，幫助客戶實現(xiàn)并行環(huán)境的分鐘級部署與出廠級性能校準，在GPU裸金屬算力上...
關鍵字：
金屬
GPU
性能優(yōu)化
操作系統(tǒng)
n8n是一個連接API、數(shù)據(jù)庫和服務的開源工作流自動化平臺。實際上，它允許非程序員使用可視化界面構建復雜的系統(tǒng)，同時為開發(fā)人員提供強大且可擴展的自動化設計方法。它是部署AI代理、結合觸發(fā)器、語言模型(llm)和外部工具的...
關鍵字：
n8n
API
數(shù)據(jù)庫
ESP32
上海 2025年6月20日 /美通社/ -- 在2025亞馬遜云科技中國峰會上，全球知名的汽車制造商長城汽車宣布應用亞馬遜云科技Amazon Connect構建全球聯(lián)絡中心，實現(xiàn)了全球客服從統(tǒng)一渠道、客戶投訴分級與跟進...
關鍵字：
亞馬遜
汽車
NEC
數(shù)據(jù)庫
或者，如果你是一家企業(yè)，你在業(yè)務中使用某種工具的頻率是多少?操作那臺機器的費用是多少?敏感實驗室設備周圍的電壓有多穩(wěn)定?你所在位置接收到的電能質(zhì)量如何?例如，您可以使用這些信息來更好地估計產(chǎn)品成本，或者通過進行異常檢測或...
關鍵字：
Web應用程序
樹莓派
數(shù)據(jù)庫
上海——2025年6月20日 在2025亞馬遜云科技中國峰會上，全球知名的汽車制造商長城汽車宣布應用亞馬遜云科技Amazon Connect構建全球聯(lián)絡中心，實現(xiàn)了全球客服從統(tǒng)一渠道、客戶投訴分級與跟進、閉關管理到統(tǒng)計考...
關鍵字：
計算
存儲
數(shù)據(jù)庫
共鑒AI未來，緬懷先輩貢獻 深圳 2025年5月21日 /美通社/ -- 5月16日下午，深圳市金澄智創(chuàng)AI+傳承迎來了喬遷之喜，一場意義非凡的活動在新址盛大舉行?；顒蝇F(xiàn)場星光熠熠，莊世平前輩之子莊榮新先生、南方財經(jīng)...
關鍵字：
AI
AI技術
BSP
代碼
C語言代碼優(yōu)化與性能提升是軟件開發(fā)中至關重要的一環(huán)。優(yōu)化C語言代碼不僅可以提高程序的執(zhí)行效率，還可以減少資源消耗，提升用戶體驗。
關鍵字：
C語言
代碼
Qt 路線圖致力于實現(xiàn)與各行業(yè)技術棧的無縫集成，助力企業(yè)與開發(fā)者使用自選工具，更高效地構建、擴展和維護軟件解決方案。 芬蘭埃斯波 2025年5月7日 /美通社/ -- 在今日舉行的2025年Qt全球峰會上，Qt...
關鍵字：
GROUP
生態(tài)系統(tǒng)
開發(fā)者
代碼
——首批"專家級數(shù)字員工"部署上崗，構建組織傳承與人才戰(zhàn)略的AI導師矩陣 北京2025年4月25日 /美通社/ -- 在生成式AI技術加速重構組織能力與人才機制的當下，如何留住專家經(jīng)驗、培養(yǎng)管理人才...
關鍵字：
AI
智能體
矩陣
代碼
在現(xiàn)代軟件系統(tǒng)中，數(shù)據(jù)庫與緩存是兩個重要的組成部分。數(shù)據(jù)庫負責數(shù)據(jù)的持久化存儲，而緩存則用于加速數(shù)據(jù)訪問速度。然而，如何保證數(shù)據(jù)庫與緩存之間數(shù)據(jù)的一致性是一個具有挑戰(zhàn)性的問題。本文將探討數(shù)據(jù)庫與緩存數(shù)據(jù)一致性問題，并關注...
關鍵字：
緩存
數(shù)據(jù)庫
深圳2025年4月21日 /美通社/ --?近日，國家發(fā)展改革委公布第 31 批國家企業(yè)技術中心認定名單，華測檢測認證集團股份有限公司（股票代碼：300012.SZ，簡稱 "CTI 華測檢測"）憑借在檢驗檢測領域的全鏈條...
關鍵字：
TI
IC
代碼
半導體
下載文檔
