| 概覽

ShardingSphere-Jdbc定位為輕量級(jí)Java框架，在Java的Jdbc層提供的額外服務(wù)。它使用客戶(hù)端直連數(shù)據(jù)庫(kù)，以jar包形式提供服務(wù)，可理解為增強(qiáng)版的Jdbc驅(qū)動(dòng)，完全兼容Jdbc和各種ORM框架。

| MySQL主從復(fù)制

1）docker配置mysql主從復(fù)制

1）創(chuàng)建主服務(wù)器所需目錄mkdir -p /usr/local/mysqlData/master/cnf
mkdir -p /usr/local/mysqlData/master/data
2）定義主服務(wù)器配置文件

vim /usr/local/mysqlData/master/cnf/mysql.cnf
[mysqld]
## 設(shè)置server_id,注意要唯一
server-id=1
## 開(kāi)啟binlog
log-bin=mysql-bin
## binlog緩存
binlog_cache_size=1M
## binlog格式(mixed、statement、row,默認(rèn)格式是statement)
binlog_format=mixed
3）創(chuàng)建并啟動(dòng)mysql主服務(wù)

docker run -itd -p 3306:3306 --name master -v /usr/local/mysqlData/master/cnf:/etc/mysql/conf.d -v /usr/local/mysqlData/master/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7
4）添加復(fù)制master數(shù)據(jù)的用戶(hù)reader，供從服務(wù)器使用

[root@aliyun /]# docker ps
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                               NAMES
6af1df686fff        mysql:5.7 "docker-entrypoint..." 5 seconds ago       Up 4 seconds        0.0.0.0:3306->3306/tcp, 33060/tcp   master
[root@aliyun /]# docker exec -it master /bin/bash
root@41d795785db1:/# mysql -u root -p123456

mysql> GRANT REPLICATION SLAVE ON *.* to 'reader'@'%' identified by 'reader';
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)
5）創(chuàng)建從服務(wù)器所需目錄，編輯配置文件

mkdir /usr/local/mysqlData/slave/cnf -p
mkdir /usr/local/mysqlData/slave/cnf -p
vim /usr/local/mysqlData/slave/cnf/mysql.cnf
[mysqld]
## 設(shè)置server_id,注意要唯一
server-id=2
## 開(kāi)啟binlog,以備Slave作為其它Slave的Master時(shí)使用
log-bin=mysql-slave-bin
## relay_log配置中繼日志
relay_log=edu-mysql-relay-bin
## 如果需要同步函數(shù)或者存儲(chǔ)過(guò)程
log_bin_trust_function_creators=true
## binlog緩存
binlog_cache_size=1M
## binlog格式(mixed、statement、row,默認(rèn)格式是statement)
binlog_format=mixed
## 跳過(guò)主從復(fù)制中遇到的所有錯(cuò)誤或指定類(lèi)型的錯(cuò)誤,避免slave端復(fù)制中斷
## 如:1062錯(cuò)誤是指一些主鍵重復(fù),1032錯(cuò)誤是因?yàn)橹鲝臄?shù)據(jù)庫(kù)數(shù)據(jù)不一致
slave_skip_errors=1062
6）創(chuàng)建并運(yùn)行mysql從服務(wù)器

docker run -itd -p 3307:3306 --name slaver -v /usr/local/mysqlData/slave/cnf:/etc/mysql/conf.d -v /usr/local/mysqlData/slave/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7
7）在從服務(wù)器上配置連接主服務(wù)器的信息首先主服務(wù)器上查看master_log_file、master_log_pos兩個(gè)參數(shù)，然后切換到從服務(wù)器上進(jìn)行主服務(wù)器的連接信息的設(shè)置。

主服務(wù)上執(zhí)行：

root@6af1df686fff:/# mysql -u root -p123456

mysql> show master status;
------------------ ---------- -------------- ------------------ -------------------
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
------------------ ---------- -------------- ------------------ -------------------
| mysql-bin.000003 |      591 |              |                  |                   |
------------------ ---------- -------------- ------------------ -------------------
1 row in set (0.00 sec)
docker查看主服務(wù)器容器的ip地址：

[root@aliyun /]# docker inspect --format='{{.NetworkSettings.IPAddress}}' master
172.17.0.2
從服務(wù)器上執(zhí)行：

[root@aliyun /]# docker exec -it slaver /bin/bash
root@fe8b6fc2f1ca:/# mysql -u root -p123456

mysql> change master to master_host='172.17.0.2',master_user='reader',master_password='reader',master_log_file='mysql-bin.000003',master_log_pos=591;
8）從服務(wù)器啟動(dòng)I/O 線程和SQL線程

mysql> start slave;
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 172.17.0.2
Master_User: reader
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000003
Read_Master_Log_Pos: 591
Relay_Log_File: edu-mysql-relay-bin.000002
Relay_Log_Pos: 320
Relay_Master_Log_File: mysql-bin.000003
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Slave_IO_Running: Yes，Slave_SQL_Running: Yes即表示啟動(dòng)成功。

2）binlog和redo log回顧

1）redo log（重做日志）

InnoDB首先將redo log放入到redo log buffer，然后按一定頻率將其刷新到redo log file。下列三種情況下會(huì)將redo log buffer刷新到redo log file：

• Master Thread每一秒將redo log buffer刷新到redo log file。
• 每個(gè)事務(wù)提交時(shí)會(huì)將redo log buffer刷新到redo log file。
• 當(dāng)redo log緩沖池剩余空間小于1/2時(shí)，會(huì)將redo log buffer刷新到redo log file。

MySQL里常說(shuō)的WAL技術(shù)，全稱(chēng)是Write Ahead Log，即當(dāng)事務(wù)提交時(shí)，先寫(xiě)redo log，再修改頁(yè)。也就是說(shuō)，當(dāng)有一條記錄需要更新的時(shí)候，InnoDB會(huì)先把記錄寫(xiě)到redo log里面，并更新Buffer Pool的page，這個(gè)時(shí)候更新操作就算完成了。Buffer Pool是物理頁(yè)的緩存，對(duì)InnoDB的任何修改操作都會(huì)首先在Buffer Pool的page上進(jìn)行，然后這樣的頁(yè)將被標(biāo)記為臟頁(yè)并被放到專(zhuān)門(mén)的Flush List上，后續(xù)將由專(zhuān)門(mén)的刷臟線程階段性的將這些頁(yè)面寫(xiě)入磁盤(pán)。InnoDB的redo log是固定大小的，比如可以配置為一組4個(gè)文件，每個(gè)文件的大小是1GB，循環(huán)使用，從頭開(kāi)始寫(xiě)，寫(xiě)到末尾就又回到開(kāi)頭循環(huán)寫(xiě)（順序?qū)?，?jié)省了隨機(jī)寫(xiě)磁盤(pán)的IO消耗）。

Write Pos是當(dāng)前記錄的位置，一邊寫(xiě)一邊后移，寫(xiě)到第3號(hào)文件末尾后就回到0號(hào)文件開(kāi)頭。Check Point是當(dāng)前要擦除的位置，也是往后推移并且循環(huán)的，擦除記錄前要把記錄更新到數(shù)據(jù)文件。
Write Pos和Check Point之間空著的部分，可以用來(lái)記錄新的操作。如果Write Pos追上Check Point，這時(shí)候不能再執(zhí)行新的更新，需要停下來(lái)擦掉一些記錄，把Check Point推進(jìn)一下。當(dāng)數(shù)據(jù)庫(kù)發(fā)生宕機(jī)時(shí)，數(shù)據(jù)庫(kù)不需要重做所有的日志，因?yàn)镃heck Point之前的頁(yè)都已經(jīng)刷新回磁盤(pán)，只需對(duì)Check Point后的redo log進(jìn)行恢復(fù)，從而縮短了恢復(fù)的時(shí)間。當(dāng)緩沖池不夠用時(shí)，根據(jù)LRU算法會(huì)溢出最近最少使用的頁(yè)，若此頁(yè)為臟頁(yè)，那么需要強(qiáng)制執(zhí)行Check Point，將臟頁(yè)刷新回磁盤(pán)。2）binlog（歸檔日志）

MySQL整體來(lái)看就有兩塊：一塊是Server層，主要做的是MySQL功能層面的事情；還有一塊是引擎層，負(fù)責(zé)存儲(chǔ)相關(guān)的具體事宜。redo log是InnoDB引擎特有的日志，而Server層也有自己的日志，稱(chēng)為binlog。binlog記錄了對(duì)MySQL數(shù)據(jù)庫(kù)執(zhí)行更改的所有操作，不包括SELECT和SHOW這類(lèi)操作，主要作用是用于數(shù)據(jù)庫(kù)的主從復(fù)制及數(shù)據(jù)的增量恢復(fù)。使用mysqldump備份時(shí)，只是對(duì)一段時(shí)間的數(shù)據(jù)進(jìn)行全備，但是如果備份后突然發(fā)現(xiàn)數(shù)據(jù)庫(kù)服務(wù)器故障，這個(gè)時(shí)候就要用到binlog的日志了。binlog格式有三種：STATEMENT，ROW，MIXED。

• STATEMENT模式：binlog里面記錄的就是SQL語(yǔ)句的原文。優(yōu)點(diǎn)是并不需要記錄每一行的數(shù)據(jù)變化，減少了binlog日志量，節(jié)約IO，提高性能。缺點(diǎn)是在某些情況下會(huì)導(dǎo)致master-slave中的數(shù)據(jù)不一致。
• ROW模式：不記錄每條SQL語(yǔ)句的上下文信息，僅需記錄哪條數(shù)據(jù)被修改了，修改成什么樣了，解決了STATEMENT模式下出現(xiàn)master-slave中的數(shù)據(jù)不一致。缺點(diǎn)是會(huì)產(chǎn)生大量的日志，尤其是alter table的時(shí)候會(huì)讓日志暴漲。
• MIXED模式：以上兩種模式的混合使用，一般的復(fù)制使用STATEMENT模式保存binlog，對(duì)于STATEMENT模式無(wú)法復(fù)制的操作使用ROW模式保存binlog，MySQL會(huì)根據(jù)執(zhí)行的SQL語(yǔ)句選擇日志保存方式。

3）redo log和binlog日志的不同

• redo log是InnoDB引擎特有的；binlog是MySQL的Server層實(shí)現(xiàn)的，所有引擎都可以使用。

  
  

• redo log是物理日志，記錄的是在某個(gè)數(shù)據(jù)也上做了什么修改；binlog是邏輯日志，記錄的是這個(gè)語(yǔ)句的原始邏輯，比如給ID=2這一行的c字段加1。

  
  

• redo log是循環(huán)寫(xiě)的，空間固定會(huì)用完；binlog是可以追加寫(xiě)入的，binlog文件寫(xiě)到一定大小后會(huì)切換到下一個(gè)，并不會(huì)覆蓋以前的日志。

  
  

4）兩階段提交

create table T(ID int primary key, c int);
update T set c=c 1 where ID=2;
執(zhí)行器和InnoDB引擎在執(zhí)行這個(gè)update語(yǔ)句時(shí)的內(nèi)部流程：

• 執(zhí)行器先找到引擎取ID=2這一行。ID是主鍵，引擎直接用樹(shù)搜索找到這一行。如果ID=2這一行所在的數(shù)據(jù)也本來(lái)就在內(nèi)存中，就直接返回給執(zhí)行器；否則，需要先從磁盤(pán)讀入內(nèi)存，然后再返回。
• 執(zhí)行器拿到引擎給的行數(shù)據(jù)，把這個(gè)值加上1，得到新的一行數(shù)據(jù)，再調(diào)用引擎接口寫(xiě)入這行新數(shù)據(jù)。
• 引擎將這行新數(shù)據(jù)更新到內(nèi)存中，同時(shí)將這個(gè)更新操作記錄到redo log里面，此時(shí)redo log處于prepare狀態(tài)。然后告知執(zhí)行器執(zhí)行完成了，隨時(shí)可以提交事務(wù)。
• 執(zhí)行器生成這個(gè)操作的binlog，并把binlog寫(xiě)入磁盤(pán)
• 執(zhí)行器調(diào)用引擎的提交事務(wù)接口，引擎把剛剛寫(xiě)入的redo log改成提交狀態(tài)，更新完成。

update語(yǔ)句的執(zhí)行流程圖如下，圖中淺色框表示在InnoDB內(nèi)部執(zhí)行的，深色框表示是在執(zhí)行器中執(zhí)行的。

將redo log的寫(xiě)入拆成了兩個(gè)步驟：prepare和commit，這就是兩階段提交。

3）MySQL主從復(fù)制原理

從庫(kù)B和主庫(kù)A之間維持了一個(gè)長(zhǎng)連接。主庫(kù)A內(nèi)部有一個(gè)線程，專(zhuān)門(mén)用于服務(wù)從庫(kù)B的這個(gè)長(zhǎng)連接。一個(gè)事務(wù)日志同步的完整過(guò)程如下：

• 在從庫(kù)B上通過(guò)change master命令，設(shè)置主庫(kù)A的IP、端口、用戶(hù)名、密碼，以及要從哪個(gè)位置開(kāi)始請(qǐng)求binlog，這個(gè)位置包含文件名和日志偏移量。
• 在從庫(kù)B上執(zhí)行start slave命令，這時(shí)從庫(kù)會(huì)啟動(dòng)兩個(gè)線程，就是圖中的I/O線程和SQL線程。其中I/O線程負(fù)責(zé)與主庫(kù)建立連接。
• 主庫(kù)A校驗(yàn)完用戶(hù)名、密碼后，開(kāi)始按照從庫(kù)B傳過(guò)來(lái)的位置，從本地讀取binlog，發(fā)給B。
• 從庫(kù)B拿到binlog后，寫(xiě)到本地文件，稱(chēng)為中繼日志。
• SQL線程讀取中繼日志，解析出日志里的命令，并執(zhí)行。

由于多線程復(fù)制方案的引入，SQL線程演化成了多個(gè)線程。主從復(fù)制不是完全實(shí)時(shí)地進(jìn)行同步，而是異步實(shí)時(shí)。這中間存在主從服務(wù)之間的執(zhí)行延時(shí)，如果主服務(wù)器的壓力很大，則可能導(dǎo)致主從服務(wù)器延時(shí)較大。

| Sharding-Jdbc實(shí)現(xiàn)讀寫(xiě)分離

1）新建Springboot工程，引入相關(guān)依賴(lài)

org.springframework.boot
spring-boot-starter-web


org.mybatis.spring.boot
mybatis-spring-boot-starter
2.1.4


mysql
mysql-connector-java
runtime


com.alibaba
druid-spring-boot-starter
1.1.21


org.apache.shardingsphere
sharding-jdbc-spring-boot-starter
4.0.0-RC1


org.projectlombok
lombok
true


org.springframework.boot
spring-boot-starter-test
test



2）application.properties配置文件

spring.main.allow-bean-definition-overriding=true
#顯示sql
spring.shardingsphere.props.sql.show=true

#配置數(shù)據(jù)源
spring.shardingsphere.datasource.names=ds1,ds2,ds3

#master-ds1數(shù)據(jù)庫(kù)連接信息
spring.shardingsphere.datasource.ds1.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ds1.url=jdbc:mysql://47.101.58.187:3306/sharding-jdbc-db?useUnicode=true