還在用分頁?太Low?!試試?MyBatis?流式查詢,真心強大!
時間:2021-08-19 15:18:11
手機看文章
掃描二維碼
隨時隨地手機看文章
[導(dǎo)讀]基本概念流式查詢指的是查詢成功后不是返回一個集合而是返回一個迭代器,應(yīng)用每次從迭代器取一條查詢結(jié)果。流式查詢的好處是能夠降低內(nèi)存使用。如果沒有流式查詢,我們想要從數(shù)據(jù)庫取1000萬條記錄而又沒有足夠的內(nèi)存時,就不得不分頁查詢,而分頁查詢效率取決于表設(shè)計,如果設(shè)計的不好,就無法執(zhí)行...
基本概念
流式查詢指的是查詢成功后不是返回一個集合而是返回一個迭代器,應(yīng)用每次從迭代器取一條查詢結(jié)果。流式查詢的好處是能夠降低內(nèi)存使用。如果沒有流式查詢,我們想要從數(shù)據(jù)庫取 1000 萬條記錄而又沒有足夠的內(nèi)存時,就不得不分頁查詢,而分頁查詢效率取決于表設(shè)計,如果設(shè)計的不好,就無法執(zhí)行高效的分頁查詢。因此流式查詢是一個數(shù)據(jù)庫訪問框架必須具備的功能。流式查詢的過程當(dāng)中,數(shù)據(jù)庫連接是保持打開狀態(tài)的,因此要注意的是:執(zhí)行一個流式查詢后,數(shù)據(jù)庫訪問框架就不負責(zé)關(guān)閉數(shù)據(jù)庫連接了,需要應(yīng)用在取完數(shù)據(jù)后自己關(guān)閉。MyBatis 流式查詢接口
MyBatis 提供了一個叫?org.apache.ibatis.cursor.Cursor
?的接口類用于流式查詢,這個接口繼承了?java.io.Closeable
?和?java.lang.Iterable
?接口,由此可知:- Cursor 是可關(guān)閉的;
- Cursor 是可遍歷的。
isOpen()
:用于在取數(shù)據(jù)之前判斷 Cursor 對象是否是打開狀態(tài)。只有當(dāng)打開時 Cursor 才能取數(shù)據(jù);isConsumed()
:用于判斷查詢結(jié)果是否全部取完。getCurrentIndex()
:返回已經(jīng)獲取了多少條數(shù)據(jù)
但構(gòu)建 Cursor 的過程不簡單
我們舉個實際例子。下面是一個 Mapper 類:@Mapper??public?interface?FooMapper?{??
????@Select("select?*?from?foo?limit?#{limit}")??
????Cursor
}??方法
scan()
是一個非常簡單的查詢。通過指定 Mapper 方法的返回值為 Cursor 類型,MyBatis 就知道這個查詢方法一個流式查詢。然后我們再寫一個 SpringMVC Controller 方法來調(diào)用 Mapper(無關(guān)的代碼已經(jīng)省略):@GetMapping("foo/scan/0/{limit}")??public?void?scanFoo0(@PathVariable("limit")?int?limit)?throws?Exception?{??
????try?(Cursor
????????cursor.forEach(foo?->?{});??????????????????????//?2??
????}??
}??
java.lang.IllegalStateException:?A?Cursor?is?already?closed.
這是因為我們前面說了在取數(shù)據(jù)的過程中需要保持數(shù)據(jù)庫連接,而 Mapper 方法通常在執(zhí)行完后連接就關(guān)閉了,因此 Cusor 也一并關(guān)閉了。所以,解決這個問題的思路不復(fù)雜,保持數(shù)據(jù)庫連接打開即可。我們至少有三種方案可選。方案一:SqlSessionFactory
我們可以用 SqlSessionFactory 來手工打開數(shù)據(jù)庫連接,將 Controller 方法修改如下:@GetMapping("foo/scan/1/{limit}")??public?void?scanFoo1(@PathVariable("limit")?int?limit)?throws?Exception?{??
????try?(??
????????SqlSession?sqlSession?=?sqlSessionFactory.openSession();??//?1??
????????Cursor
??????????????sqlSession.getMapper(FooMapper.class).scan(limit)???//?2??
????)?{??
????????cursor.forEach(foo?->?{?});??
????}??
}??
方案二:TransactionTemplate
在 Spring 中,我們可以用 TransactionTemplate 來執(zhí)行一個數(shù)據(jù)庫事務(wù),這個過程中數(shù)據(jù)庫連接同樣是打開的。代碼如下:@GetMapping("foo/scan/2/{limit}")??public?void?scanFoo2(@PathVariable("limit")?int?limit)?throws?Exception?{??
????TransactionTemplate?transactionTemplate?=???
????????????new?TransactionTemplate(transactionManager);??//?1??
??
????transactionTemplate.execute(status?->?{???????????????//?2??
????????try?(Cursor
????????????cursor.forEach(foo?->?{?});??
????????}?catch?(IOException?e)?{??
????????????e.printStackTrace();??
????????}??
????????return?null;??
????});??
}??
方案三:@Transactional 注解
這個本質(zhì)上和方案二一樣,代碼如下:@GetMapping("foo/scan/3/{limit}")??@Transactional??
public?void?scanFoo3(@PathVariable("limit")?int?limit)?throws?Exception?{??
????try?(Cursor
????????cursor.forEach(foo?->?{?});??
????}??
}??
@Transactional
?注解。這個方案看上去最簡潔,但請注意 Spring 框架當(dāng)中注解使用的坑:只在外部調(diào)用時生效。在當(dāng)前類中調(diào)用這個方法,依舊會報錯。以上是三種實現(xiàn) MyBatis 流式查詢的方法。