MySQL數(shù)據(jù)庫引擎介紹、區(qū)別、創(chuàng)建和性能測試
數(shù)據(jù)庫引擎介紹
MySQL數(shù)據(jù)庫引擎取決于MySQL在安裝的時候是如何被編譯的。要添加一個新的引擎,就必須重新編譯MYSQL。在缺省情況下,MYSQL支持三個引擎:ISAM、MYISAM和HEAP。另外兩種類型INNODB和BERKLEY(BDB),也常常可以使用。如果技術高超,還可以使用MySQL+API自己做一個引擎。下面介紹幾種數(shù)據(jù)庫引擎:
? ??ISAM:ISAM是一個定義明確且歷經(jīng)時間考驗的數(shù)據(jù)表格管理方法,它在設計之時就考慮到
數(shù)據(jù)庫被查詢的次數(shù)要遠大于更新的次數(shù)。因此,ISAM執(zhí)行讀取操作的速度很快,而且不占用大量的內(nèi)存和存儲資源。ISAM的兩個主要不足之處在于,它不 支持事務處理,也不能夠容錯:如果你的硬盤崩潰了,那么數(shù)據(jù)文件就無法恢復了。如果你正在把ISAM用在關鍵任務應用程序里,那就必須經(jīng)常備份你所有的實
時數(shù)據(jù),通過其復制特性,MYSQL能夠支持這樣的備份應用程序。
? ??MyISAM:MyISAM是MySQL的ISAM擴展格式和缺省的數(shù)據(jù)庫引擎。除了提供ISAM里所沒有的索引和字段管理的大量功能,MyISAM還使用一種表格鎖定的機制,來優(yōu)化多個并發(fā)的讀寫操作,其代價是你需要經(jīng)常運行OPTIMIZE
TABLE命令,來恢復被更新機制所浪費的空間。MyISAM還有一些有用的擴展,例如用來修復數(shù)據(jù)庫文件的MyISAMCHK工具和用來恢復浪費空間的 MyISAMPACK工具。MYISAM強調了快速讀取操作,這可能就是為什么MySQL受到了WEB開發(fā)如此青睞的主要原因:在WEB開發(fā)中你所進行的大量數(shù)據(jù)操作都是讀取操作。所以,大多數(shù)虛擬主機提供商和INTERNET平臺提供商只允許使用MYISAM格式。MyISAM格式的一個重要缺陷就是不能在表損壞后恢復數(shù)據(jù)。
? ??HEAP:HEAP允許只駐留在內(nèi)存里的臨時表格。駐留在內(nèi)存里讓HEAP要比ISAM和MYISAM都快,但是它所管理的數(shù)據(jù)是不穩(wěn)定的,而且如果在關機之前沒有進行保存,那么所有的數(shù)據(jù)都會丟失。在數(shù)據(jù)行被刪除的時候,HEAP也不會浪費大量的空間。HEAP表格在你需要使用SELECT表達式來選擇和操控數(shù)據(jù)的時候非常有用。要記住,在用完表格之后就刪除表格。
? ??InnoDB:InnoDB數(shù)據(jù)庫引擎都是造就MySQL靈活性的技術的直接產(chǎn)品,這項技術就是MYSQL+API。在使用MYSQL的時候,你所面對的每一個挑戰(zhàn)幾乎都源于ISAM和MyISAM數(shù)據(jù)庫引擎不支持事務處理(transaction
process)也不支持外來鍵。盡管要比ISAM和 MyISAM引擎慢很多,但是InnoDB包括了對事務處理和外來鍵的支持,這兩點都是前兩個引擎所沒有的。如前所述,如果你的設計需要這些特性中的一者 或者兩者,那你就要被迫使用后兩個引擎中的一個了。
? ? 如果感覺自己的確技術高超,你還能夠使用MySQL+API來創(chuàng)建自己的數(shù)據(jù)庫引擎。這個API為你提供了操作字段、記錄、表格、數(shù)據(jù)庫、連接、安全帳號的功能,以及建立諸如MySQL這樣DBMS所需要的所有其他無數(shù)功能。深入講解API已經(jīng)超出了本文的范圍,但是你需要了解MySQL+API的存在及其可交換引擎背后的技術,這一點是很重要的。估計這個插件式數(shù)據(jù)庫引擎的模型甚至能夠被用來為MySQL創(chuàng)建本地的XML提供器(XML
provider)。(任何讀到本文的MySQL+API開發(fā)人員可以把這一點當作是個要求。)
MyISAM與InnoDB的區(qū)別
InnoDB和MyISAM是許多人在使用MySQL時最常用的兩個表類型,這兩個表類型各有優(yōu)劣,視具體應用而定?;镜牟顒e為:MyISAM類型不支持事務處理等高級處理,而InnoDB類型支持。MyISAM類型的表強調的是性能,其執(zhí)行數(shù)度比InnoDB類型更快,但是不提供事務支持,而InnoDB提供事務支持已經(jīng)外部鍵等高級數(shù)據(jù)庫功能。
以下是一些細節(jié)和具體實現(xiàn)的差別:
1.InnoDB不支持FULLTEXT類型的索引。
2.InnoDB 中不保存表的具體行數(shù),也就是說,執(zhí)行select count(*) fromtable時,InnoDB要掃描一遍整個表來計算有多少行,但是MyISAM只要簡單的讀出保存好的行數(shù)即可。注意的是,當count(*)語句包含where條件時,兩種表的操作是一樣的。
3.對于AUTO_INCREMENT類型的字段,InnoDB中必須包含只有該字段的索引,但是在MyISAM表中,可以和其他字段一起建立聯(lián)合索引。
4.DELETE FROM table時,InnoDB不會重新建立表,而是一行一行的刪除。
5.LOAD TABLE FROMMASTER操作對InnoDB是不起作用的,解決方法是首先把InnoDB表改成MyISAM表,導入數(shù)據(jù)后再改成InnoDB表,但是對于使用的額外的InnoDB特性(例如外鍵)的表不適用。
另外,InnoDB表的行鎖也不是絕對的,假如在執(zhí)行一個SQL語句時MySQL不能確定要掃描的范圍,InnoDB表同樣會鎖全表,例如updatetable set num=1 where name like “a%”
兩種類型最主要的差別就是Innodb支持事務處理與外鍵和行級鎖.而MyISAM不支持.所以MyISAM往往就容易被人認為只適合在小項目中使用。
我作為使用MySQL的用戶角度出發(fā),Innodb和MyISAM都是比較喜歡的,但是從我目前運維的數(shù)據(jù)庫平臺要達到需求:99.9%的穩(wěn)定性,方便的擴展性和高可用性來說的話,MyISAM絕對是我的首選。
原因如下:
1、首先我目前平臺上承載的大部分項目是讀多寫少的項目,而MyISAM的讀性能是比Innodb強不少的。
2、MyISAM的索引和數(shù)據(jù)是分開的,并且索引是有壓縮的,內(nèi)存使用率就對應提高了不少。能加載更多索引,而Innodb是索引和數(shù)據(jù)是緊密捆綁的,沒有使用壓縮從而會造成Innodb比MyISAM體積龐大不小。
3、從平臺角度來說,經(jīng)常隔1,2個月就會發(fā)生應用開發(fā)人員不小心update一個表where寫的范圍不對,導致這個表沒法正常用了,這個時候MyISAM的優(yōu)越性就體現(xiàn)出來了,隨便從當天拷貝的壓縮包取出對應表的文件,隨便放到一個數(shù)據(jù)庫目錄下,然后dump成sql再導回到主庫,并把對應的binlog補上。如果是Innodb,恐怕不可能有這么快速度,別和我說讓Innodb定期用導出xxx.sql機制備份,因為我平臺上最小的一個數(shù)據(jù)庫實例的數(shù)據(jù)量基本都是幾十G大小。
4、從我接觸的應用邏輯來說,select count(*) 和order by是最頻繁的,大概能占了整個sql總語句的60%以上的操作,而這種操作Innodb其實也是會鎖表的,很多人以為Innodb是行級鎖,那個只是where對它主鍵是有效,非主鍵的都會鎖全表的。
5、還有就是經(jīng)常有很多應用部門需要我給他們定期某些表的數(shù)據(jù),MyISAM的話很方便,只要發(fā)給他們對應那表的frm.MYD,MYI的文件,讓他們自己在對應版本的數(shù)據(jù)庫啟動就行,而Innodb就需要導出xxx.sql了,因為光給別人文件,受字典數(shù)據(jù)文件的影響,對方是無法使用的。
6、如果和MyISAM比insert寫操作的話,Innodb還達不到MyISAM的寫性能,如果是針對基于索引的update操作,雖然MyISAM可能會遜色Innodb,但是那么高并發(fā)的寫,從庫能否追的上也是一個問題,還不如通過多實例分庫分表架構來解決。
7、如果是用MyISAM的話,merge引擎可以大大加快應用部門的開發(fā)速度,他們只要對這個merge表做一些selectcount(*)操作,非常適合大項目總量約幾億的rows某一類型(如日志,調查統(tǒng)計)的業(yè)務表。
當然Innodb也不是絕對不用,用事務的項目如模擬炒股項目,我就是用Innodb的,活躍用戶20多萬時候,也是很輕松應付了,因此我個人也是很喜歡Innodb的,只是如果從數(shù)據(jù)庫平臺應用出發(fā),我還是會首選MyISAM。
另外,可能有人會說你MyISAM無法抗太多寫操作,但是我可以通過架構來彌補,說個我現(xiàn)有用的數(shù)據(jù)庫平臺容量:主從數(shù)據(jù)總量在幾百T以上,每天十多億pv的動態(tài)頁面,還有幾個大項目是通過數(shù)據(jù)接口方式調用未算進pv總數(shù),(其中包括一個大項目因為初期memcached沒部署,導致單臺數(shù)據(jù)庫每天處理9千萬的查詢)。而我的整體數(shù)據(jù)庫服務器平均負載都在0.5-1左右。
? ??一般來說,MyISAM適合:(1)做很多count
的計算;(2)插入不頻繁,查詢非常頻繁;(3)沒有事務。
? ? ? ? ? ? ? ? ? ? ? ? ?InnoDB適合:(1)可靠性要求比較高,或者要求事務;(2)表更新和查詢都相當?shù)念l繁,并且表鎖定的機會比較大的情況
指定數(shù)據(jù)引擎的創(chuàng)建
? ? 讓所有的靈活性成為可能的開關是提供給ANSI SQL的MySQL擴展——TYPE參數(shù)。MySQL能夠讓你在表格這一層指定數(shù)據(jù)庫引擎,所以它們有時候也指的是table formats。下面的示例代碼表明了如何創(chuàng)建分別使用MyISAM、ISAM和HEAP引擎的表格。要注意,創(chuàng)建每個表格的代碼是相同的,除了最后的 TYPE參數(shù),這一參數(shù)用來指定數(shù)據(jù)引擎。
? ? 以下為引用的內(nèi)容:
[sql]?view plaincopy CREATE?TABLE?tblMyISAM?(?? id?INT?NOT?NULL?AUTO_INCREMENT,?? PRIMARY?KEY?(id),?? value_a?TINYINT?? )?TYPE=MyISAM?? CREATE?TABLE?tblISAM?(?? id?INT?NOT?NULL?AUTO_INCREMENT,?? PRIMARY?KEY?(id),?? value_a?TINYINT?? )?TYPE=ISAM?? CREATE?TABLE?tblHeap?(?? id?INT?NOT?NULL?AUTO_INCREMENT,?? PRIMARY?KEY?(id),?? value_a?TINYINT?? )?TYPE=Heap??
? ? 你也可以使用ALTER TABLE命令,把原有的表格從一個引擎移動到另一個引擎。下面的代碼顯示了如何使用ALTER TABLE把MyISAM表格移動到InnoDB的引擎:
? ? 以下為引用的內(nèi)容:
[delphi]?view plaincopy ALTER?TABLE?tblMyISAM?CHANGE?TYPE=InnoDB?? ? ? MySQL用三步來實現(xiàn)這一目的。首先,這個表格的一個副本被創(chuàng)建。然后,任何輸入數(shù)據(jù)的改變都被排入隊列,同時這個副本被移動到另一個引擎。最后,任何排入隊列的數(shù)據(jù)改變都被送交到新的表格里,而原來的表格被刪除。 [sql]?view plaincopy ALTER?TABLE捷徑??
? ? 如果只是想把表格從ISAM更新為MyISAM,你可以使用MySQL_convert_table_format命令,而不需要編寫ALTER TABLE表達式。
? ? 你可以使用SHOW TABLE命令(這是MySQL對ANSI標準的另一個擴展)來確定哪個引擎在管理著特定的表格。SHOW TABLE會返回一個帶有多數(shù)據(jù)列的結果集,你可以用這個結果集來查詢獲得所有類型的信息:數(shù)據(jù)庫引擎的名稱在Type字段里。下面的示例代碼說明了 SHOW TABLE的用法:
[sql]?view plaincopy SHOW?TABLE?STATUS?FROM?tblInnoDB?? ? ? 你可以用SHOW CREATE TABLE [TableName]來取回SHOW TABLE能夠取回的信息。
??? 一般情況下,MySQL會默認提供多種存儲引擎,可以通過下面的查看:
? ? (1)看你的MySQL現(xiàn)在已提供什么存儲引擎: mysql>?show engines;
? ? (2)看你的MySQL當前默認的存儲引擎: mysql>?show variables like '%storage_engine%';
? ? (3)你要看某個表用了什么引擎(在顯示結果里參數(shù)engine后面的就表示該表當前用的存儲引擎): mysql>?show create
table 表名;
? ? 最后,如果你想使用沒有被編譯成MySQL也沒有被激活的引擎,那是沒有用的,MySQL不會提示這一點。而它只會給你提供一個缺省格式(MyISAM)的表格。除了使用缺省的表格格式外,還有辦法讓MySQL給出錯誤提示,但是就現(xiàn)在而言,如果不能肯定特定的數(shù)據(jù)庫引擎是否可用的話,你要使用SHOW TABLE來檢查表格格式。
? ? 更多的選擇意味著更好的性能
? ? 用于特定表格的引擎都需要重新編譯和追蹤,考慮到這種的額外復雜性,為什么你還是想要使用非缺省的數(shù)據(jù)庫引擎呢?答案很簡單:要調整數(shù)據(jù)庫來滿足你的要求。
? ? 可以肯定的是,MyISAM的確快,但是如果你的邏輯設計需要事務處理,你就可以自由使用支持事務處理的引擎。進一步講,由于MySQL能夠允許你在表格這一層應用數(shù)據(jù)庫引擎,所以你可以只對需要事務處理的表格來進行性能優(yōu)化,而把不需要事務處理的表格交給更加輕便的MyISAM引擎。對于 MySQL而言,靈活性才是關鍵。
性能測試
?所有的性能測試在:Micrisoft window xp sp2 , Intel(R) Pentinum(R) M processor 1.6oGHz 1G 內(nèi)存的電腦上測試。
?測試方法:連續(xù)提交10個query, 表記錄總數(shù):38萬 , 時間單位 s
? ? ? ? 引擎類型 ? ? ? ? ? ? ? ? ? ?MyISAM ? ? ? ? ? ? ? ?InnoDB ? ? ? ? ? ? ?性能相差
? ? ? ? count ? ? ? ? ? ? ? ? ? ? ? ? 0.0008357 ? ? ? ? ? ?3.0163 ? ? ? ? ? ? ? ?3609
? ? ? ? 查詢主鍵 ? ? ? ? ? ? ? ? ? 0.005708 ? ? ? ? ? ? ?0.1574 ? ? ? ? ? ? ? ?27.57
? ? ? ? 查詢非主鍵 ? ? ? ? ? ? ? 24.01 ? ? ? ? ? ? ? ? ? ? 80.37 ? ? ? ? ? ? ? ? ?3.348
? ? ? ? 更新主鍵 ? ? ? ? ? ? ? ? ? 0.008124 ? ? ? ? ? ? ?0.8183 ? ? ? ? ? ? ? ?100.7
? ? ? ? 更新非主鍵 ? ? ? ? ? ? ? 0.004141 ? ? ? ? ? ? ?0.02625 ? ? ? ? ? ? ?6.338
? ? ? ? 插入 ? ? ? ? ? ? ? ? ? ? ? ? ? 0.004188 ? ? ? ? ? ? ?0.3694 ? ? ? ? ? ? ? ?88.21
? ? (1)加了索引以后,對于MyISAM查詢可以加快:4 206.09733倍,對InnoDB查詢加快510.72921倍,同時對MyISAM更新速度減慢為原來的1/2,InnoDB的更新速度減慢為原來的1/30。要看情況決定是否要加索引,比如不查詢的log表,不要做任何的索引。
? ? (2)如果你的數(shù)據(jù)量是百萬級別的,并且沒有任何的事務處理,那么用MyISAM是性能最好的選擇。
? ? (3)InnoDB表的大小更加的大,用MyISAM可省很多的硬盤空間。
? ? ? ? 在我們測試的這個38w的表中,表占用空間的情況如下:
? ? ? ? ? ? 引擎類型 ? ? ? ? ? ? ? ? ? ?MyISAM ? ? ? ? ? ? ? InnoDB
? ? ? ? ? ? 數(shù)據(jù) ? ? ? ? ? ? ? ? ? ? ? ? ?53,924 KB ? ? ? ? ? 58,976 KB
? ? ? ? ? ? 索引 ? ? ? ? ? ? ? ? ? ? ? ? 13,640 KB ? ? ? ? ? 21,072 KB
? ? ? ? ? ? 占用總空間 ? ? ? ? ? ? 67,564 KB ? ? ? ? ? 80,048 KB?
? ? ? ? 另外一個176W萬記錄的表, 表占用空間的情況如下:
? ? ? ? ? ? 引擎類型 ? ? ? ? ? ? ? ?MyIsam ? ? ? ? ? ? ? InnorDB
? ? ? ? ? ? 數(shù)據(jù) ? ? ? ? ? ? ? ? ? ? ?56,166 KB ? ? ? ? ? 90,736 KB
? ? ? ? ? ? 索引 ? ? ? ? ? ? ? ? ? ? ?67,103 KB ? ? ? ? ? 88,848 KB
? ? ? ? ? ? 占用總空間 ? ? ? ? ?123,269 KB ? ? ? ?179,584 KB
其他
? ??MySQL 官方對InnoDB是這樣解釋的:InnoDB給MySQL提供了具有提交、回滾和崩潰恢復能力的事務安全(ACID兼容)存儲引擎。InnoDB鎖定在行級并且也在SELECT語句提供一個Oracle風格一致的非鎖定讀,這些特色增加了多用戶部署和性能。沒有在InnoDB中擴大鎖定的需要,因為在InnoDB中行級鎖定適合非常小的空間。InnoDB也支持FOREIGN
KEY強制。在SQL查詢中,你可以自由地將InnoDB類型的表與其它MySQL的表的類型混合起來,甚至在同一個查詢中也可以混合。
? ??InnoDB是為處理巨大數(shù)據(jù)量時的最大性能設計,它的CPU效率可能是任何其它基于磁盤的關系數(shù)據(jù)庫引擎所不能匹敵的。
? ??InnoDB存儲引擎被完全與MySQL服務器整合,InnoDB存儲引擎為在主內(nèi)存中緩存數(shù)據(jù)和索引而維持它自己的緩沖池。InnoDB存儲它的表&索引在一個表空間中,表空間可以包含數(shù)個文件(或原始磁盤分區(qū))。這與MyISAM表不同,比如在MyISAM表中每個表被存在分離的文件中。InnoDB
表可以是任何尺寸,即使在文件尺寸被限制為2GB的操作系統(tǒng)上。
? ??InnoDB默認地被包含在MySQL二進制分發(fā)中。Windows
Essentials installer使InnoDB成為Windows上MySQL的默認表。
? ??InnoDB被用來在眾多需要高性能的大型數(shù)據(jù)庫站點上產(chǎn)生。著名的Internet新聞站點Slashdot.org運行在InnoDB上。 Mytrix, Inc.在InnoDB上存儲超過1TB的數(shù)據(jù),還有一些其它站點在InnoDB上處理平均每秒800次插入/更新的