基于 docker 搭建主从 mysql5.7

1,206 阅读22分钟

简介

本文例子是以docker基础上搭建Mysql 5.7 版本的主从,可以直接用于物理服务器上.

部署环境

  • macOS Mojave 10.14
  • docker 18.09.9

部署Mysql主从

创建主库的my.cnf 文件

vim ~/Item/conf/mysql_master.cnf ## 这是macOS下路径,仅作参考

[client] 
port = 3306 
socket = /tmp/mysql.sock

[mysqld] 
port = 3306 
socket = /tmp/mysql.sock

# 不启用避免 error-message file not find
# basedir = /usr/share/mysql/
datadir = /var/lib/mysql
pid-file = /var/lib/mysql/mysql.pid 
user = mysql 
bind-address = 0.0.0.0
server-id = 1 #表示是本机的序号为1,一般来讲就是master的意思

#log-bin设置此参数表示启用binlog功能,并指定路径名称
log-bin=/var/lib/mysql/mysql-bin
sync_binlog=0
#设置日志的过期天数,最好避免7,30等数字,避免被人恶意利用
expire_logs_days=8

skip-name-resolve 
# 禁止MySQL对外部连接进行DNS解析,使用这一选项可以消除MySQL进行DNS解析的时间。但需要注意,如果开启该选项, 
# 则所有远程主机连接授权都要使用IP地址方式,否则MySQL将无法正常处理连接请求

# 关闭MySQL的TCP/IP连接方式
# 仅在单机情况下使用
#skip-networking

back_log = 600 
# MySQL能有的连接数量。当主要MySQL线程在一个很短时间内得到非常多的连接请求,这就起作用, 
# 然后主线程花些时间(尽管很短)检查连接并且启动一个新线程。back_log值指出在MySQL暂时停止回答新请求之前的短时间内多少个请求可以被存在堆栈中。 
# 如果期望在一个短时间内有很多连接,你需要增加它。也就是说,如果MySQL的连接数据达到max_connections时,新来的请求将会被存在堆栈中, 
# 以等待某一连接释放资源,该堆栈的数量即back_log,如果等待连接的数量超过back_log,将不被授予连接资源。 
# 另外,这值(back_log)限于您的操作系统对到来的TCP/IP连接的侦听队列的大小。 
# 你的操作系统在这个队列大小上有它自己的限制(可以检查你的OS文档找出这个变量的最大值),试图设定back_log高于你的操作系统的限制将是无效的。

max_connections = 1000 
# MySQL的最大连接数,如果服务器的并发连接请求量比较大,建议调高此值,以增加并行连接数量,当然这建立在机器能支撑的情况下,因为如果连接数越多,介于MySQL会为每个连接提供连接缓冲区,就会开销越多的内存,所以要适当调整该值,不能盲目提高设值。可以过’conn%’通配符查看当前状态的连接数量,以定夺该值的大小。

max_connect_errors = 6000 
# 对于同一主机,如果有超出该参数值个数的中断错误连接,则该主机将被禁止连接。如需对该主机进行解禁,执行:FLUSH HOST。

open_files_limit = 65535 
# MySQL打开的文件描述符限制,默认最小1024;当open_files_limit没有被配置的时候,比较max_connections*5和ulimit -n的值,哪个大用哪个, 
# 当open_file_limit被配置的时候,比较open_files_limit和max_connections*5的值,哪个大用哪个。

table_open_cache = 128 
# MySQL每打开一个表,都会读入一些数据到table_open_cache缓存中,当MySQL在这个缓存中找不到相应信息时,才会去磁盘上读取。默认值64 
# 假定系统有200个并发连接,则需将此参数设置为200*N(N为每个连接所需的文件描述符数目); 
# 当把table_open_cache设置为很大时,如果系统处理不了那么多文件描述符,那么就会出现客户端失效,连接不上

max_allowed_packet = 4M 
# 接受的数据包大小;增加该变量的值十分安全,这是因为仅当需要时才会分配额外内存。例如,仅当你发出长查询或MySQLd必须返回大的结果行时MySQLd才会分配更多内存。 
# 该变量之所以取较小默认值是一种预防措施,以捕获客户端和服务器之间的错误信息包,并确保不会因偶然使用大的信息包而导致内存溢出。

binlog_cache_size = 1M 
# 一个事务,在没有提交的时候,产生的日志,记录到Cache中;等到事务提交需要提交的时候,则把日志持久化到磁盘。默认binlog_cache_size大小32K

max_heap_table_size = 8M 
# 定义了用户可以创建的内存表(memory table)的大小。这个值用来计算内存表的最大行数值。这个变量支持动态改变

tmp_table_size = 16M 
# MySQL的heap(堆积)表缓冲大小。所有联合在一个DML指令内完成,并且大多数联合甚至可以不用临时表即可以完成。 
# 大多数临时表是基于内存的(HEAP)表。具有大的记录长度的临时表 (所有列的长度的和)或包含BLOB列的表存储在硬盘上。 
# 如果某个内部heap(堆积)表大小超过tmp_table_size,MySQL可以根据需要自动将内存中的heap表改为基于硬盘的MyISAM表。还可以通过设置tmp_table_size选项来增加临时表的大小。也就是说,如果调高该值,MySQL同时将增加heap表的大小,可达到提高联接查询速度的效果

read_buffer_size = 2M 
# MySQL读入缓冲区大小。对表进行顺序扫描的请求将分配一个读入缓冲区,MySQL会为它分配一段内存缓冲区。read_buffer_size变量控制这一缓冲区的大小。 
# 如果对表的顺序扫描请求非常频繁,并且你认为频繁扫描进行得太慢,可以通过增加该变量值以及内存缓冲区大小提高其性能

read_rnd_buffer_size = 8M 
# MySQL的随机读缓冲区大小。当按任意顺序读取行时(例如,按照排序顺序),将分配一个随机读缓存区。进行排序查询时, 
# MySQL会首先扫描一遍该缓冲,以避免磁盘搜索,提高查询速度,如果需要排序大量数据,可适当调高该值。但MySQL会为每个客户连接发放该缓冲空间,所以应尽量适当设置该值,以避免内存开销过大

sort_buffer_size = 8M 
# MySQL执行排序使用的缓冲大小。如果想要增加ORDER BY的速度,首先看是否可以让MySQL使用索引而不是额外的排序阶段。 
# 如果不能,可以尝试增加sort_buffer_size变量的大小

join_buffer_size = 8M 
# 联合查询操作所能使用的缓冲区大小,和sort_buffer_size一样,该参数对应的分配内存也是每连接独享

thread_cache_size = 8 
# 这个值(默认8)表示可以重新利用保存在缓存中线程的数量,当断开连接时如果缓存中还有空间,那么客户端的线程将被放到缓存中, 
# 如果线程重新被请求,那么请求将从缓存中读取,如果缓存中是空的或者是新的请求,那么这个线程将被重新创建,如果有很多新的线程, 
# 增加这个值可以改善系统性能.通过比较Connections和Threads_created状态的变量,可以看到这个变量的作用。(–>表示要调整的值) 
# 根据物理内存设置规则如下: 
# 1G —> 8 
# 2G —> 16 
# 3G —> 32 
# 大于3G —> 64

query_cache_size = 8M 
#MySQL的查询缓冲大小(从4.0.1开始,MySQL提供了查询缓冲机制)使用查询缓冲,MySQL将SELECT语句和查询结果存放在缓冲区中, 
# 今后对于同样的SELECT语句(区分大小写),将直接从缓冲区中读取结果。根据MySQL用户手册,使用查询缓冲最多可以达到238%的效率。 
# 通过检查状态值’Qcache_%’,可以知道query_cache_size设置是否合理:如果Qcache_lowmem_prunes的值非常大,则表明经常出现缓冲不够的情况, 
# 如果Qcache_hits的值也非常大,则表明查询缓冲使用非常频繁,此时需要增加缓冲大小;如果Qcache_hits的值不大,则表明你的查询重复率很低, 
# 这种情况下使用查询缓冲反而会影响效率,那么可以考虑不用查询缓冲。此外,在SELECT语句中加入SQL_NO_CACHE可以明确表示不使用查询缓冲

query_cache_limit = 2M 
#指定单个查询能够使用的缓冲区大小,默认1M

key_buffer_size = 4M 
#指定用于索引的缓冲区大小,增加它可得到更好处理的索引(对所有读和多重写),到你能负担得起那样多。如果你使它太大, 
# 系统将开始换页并且真的变慢了。对于内存在4GB左右的服务器该参数可设置为384M或512M。通过检查状态值Key_read_requests和Key_reads, 
# 可以知道key_buffer_size设置是否合理。比例key_reads/key_read_requests应该尽可能的低, 
# 至少是1:100,1:1000更好(上述状态值可以使用SHOW STATUS LIKE ‘key_read%’获得)。注意:该参数值设置的过大反而会是服务器整体效率降低

ft_min_word_len = 4 
# 分词词汇最小长度,默认4

transaction_isolation = REPEATABLE-READ 
# MySQL支持4种事务隔离级别,他们分别是: 
# READ-UNCOMMITTED, READ-COMMITTED, REPEATABLE-READ, SERIALIZABLE. 
# 如没有指定,MySQL默认采用的是REPEATABLE-READ,ORACLE默认的是READ-COMMITTED

log_bin = mysql-bin 
binlog_format = mixed 
expire_logs_days = 30 #超过30天的binlog删除

# 日志暂时不启动 
# log_error = /var/log/mysql/mysql-error.log #错误日志路径 
# slow_query_log = 1 
# long_query_time = 1 #慢查询时间 超过1秒则为慢查询 
# slow_query_log_file = /var/log/mysql/mysql-slow.log

performance_schema = 0 
explicit_defaults_for_timestamp

#lower_case_table_names = 1 #不区分大小写

skip-external-locking #MySQL选项以避免外部锁定。该选项默认开启

default-storage-engine = InnoDB #默认存储引擎

innodb_file_per_table = 1 
# InnoDB为独立表空间模式,每个数据库的每个表都会生成一个数据空间 
# 独立表空间优点: 
# 1.每个表都有自已独立的表空间。 
# 2.每个表的数据和索引都会存在自已的表空间中。 
# 3.可以实现单表在不同的数据库中移动。 
# 4.空间可以回收(除drop table操作处,表空不能自已回收) 
# 缺点: 
# 单表增加过大,如超过100G 
# 结论: 
# 共享表空间在Insert操作上少有优势。其它都没独立表空间表现好。当启用独立表空间时,请合理调整:innodb_open_files

innodb_open_files = 500 
# 限制Innodb能打开的表的数据,如果库里的表特别多的情况,请增加这个。这个值默认是300

innodb_buffer_pool_size = 64M 
# InnoDB使用一个缓冲池来保存索引和原始数据, 不像MyISAM. 
# 这里你设置越大,你在存取表里面数据时所需要的磁盘I/O越少. 
# 在一个独立使用的数据库服务器上,你可以设置这个变量到服务器物理内存大小的80% 
# 不要设置过大,否则,由于物理内存的竞争可能导致操作系统的换页颠簸. 
# 注意在32位系统上你每个进程可能被限制在 2-3.5G 用户层面内存限制, 
# 所以不要设置的太高.

innodb_write_io_threads = 4 
innodb_read_io_threads = 4 
# innodb使用后台线程处理数据页上的读写 I/O(输入输出)请求,根据你的 CPU 核数来更改,默认是4 
# 注:这两个参数不支持动态改变,需要把该参数加入到my.cnf里,修改完后重启MySQL服务,允许值的范围从 1-64

innodb_thread_concurrency = 0 
# 默认设置为 0,表示不限制并发数,这里推荐设置为0,更好去发挥CPU多核处理能力,提高并发量

innodb_purge_threads = 1 
# InnoDB中的清除操作是一类定期回收无用数据的操作。在之前的几个版本中,清除操作是主线程的一部分,这意味着运行时它可能会堵塞其它的数据库操作。 
# 从MySQL5.5.X版本开始,该操作运行于独立的线程中,并支持更多的并发数。用户可通过设置innodb_purge_threads配置参数来选择清除操作是否使用单 
# 独线程,默认情况下参数设置为0(不使用单独线程),设置为 1 时表示使用单独的清除线程。建议为1

innodb_flush_log_at_trx_commit = 2 
# 0:如果innodb_flush_log_at_trx_commit的值为0,log buffer每秒就会被刷写日志文件到磁盘,提交事务的时候不做任何操作(执行是由mysql的master thread线程来执行的。 
# 主线程中每秒会将重做日志缓冲写入磁盘的重做日志文件(REDO LOG)中。不论事务是否已经提交)默认的日志文件是ib_logfile0,ib_logfile1 
# 1:当设为默认值1的时候,每次提交事务的时候,都会将log buffer刷写到日志。 
# 2:如果设为2,每次提交事务都会写日志,但并不会执行刷的操作。每秒定时会刷到日志文件。要注意的是,并不能保证100%每秒一定都会刷到磁盘,这要取决于进程的调度。 
# 每次事务提交的时候将数据写入事务日志,而这里的写入仅是调用了文件系统的写入操作,而文件系统是有 缓存的,所以这个写入并不能保证数据已经写入到物理磁盘 
# 默认值1是为了保证完整的ACID。当然,你可以将这个配置项设为1以外的值来换取更高的性能,但是在系统崩溃的时候,你将会丢失1秒的数据。 
# 设为0的话,mysqld进程崩溃的时候,就会丢失最后1秒的事务。设为2,只有在操作系统崩溃或者断电的时候才会丢失最后1秒的数据。InnoDB在做恢复的时候会忽略这个值。 
# 总结 
# 设为1当然是最安全的,但性能页是最差的(相对其他两个参数而言,但不是不能接受)。如果对数据一致性和完整性要求不高,完全可以设为2,如果只最求性能,例如高并发写的日志服务器,设为0来获得更高性能

innodb_log_buffer_size = 2M
# 此参数确定些日志文件所用的内存大小,以M为单位。缓冲区更大能提高性能,但意外的故障将会丢失数据。MySQL开发人员建议设置为1-8M之间

innodb_log_file_size = 32M 
# 此参数确定数据日志文件的大小,更大的设置可以提高性能,但也会增加恢复故障数据库所需的时间

innodb_log_files_in_group = 3 
# 为提高性能,MySQL可以以循环方式将日志文件写到多个文件。推荐设置为3

innodb_max_dirty_pages_pct = 90 
# innodb主线程刷新缓存池中的数据,使脏数据比例小于90%

innodb_lock_wait_timeout = 120 
# InnoDB事务在被回滚之前可以等待一个锁定的超时秒数。InnoDB在它自己的锁定表中自动检测事务死锁并且回滚事务。InnoDB用LOCK TABLES语句注意到锁定设置。默认值是50秒

bulk_insert_buffer_size = 8M 
# 批量插入缓存大小, 这个参数是针对MyISAM存储引擎来说的。适用于在一次性插入100-1000+条记录时, 提高效率。默认值是8M。可以针对数据量的大小,翻倍增加。

myisam_sort_buffer_size = 8M 
# MyISAM设置恢复表之时使用的缓冲区的尺寸,当在REPAIR TABLE或用CREATE INDEX创建索引或ALTER TABLE过程中排序 MyISAM索引分配的缓冲区

myisam_max_sort_file_size = 10G 
# 如果临时文件会变得超过索引,不要使用快速排序索引方法来创建一个索引。注释:这个参数以字节的形式给出

myisam_repair_threads = 1 
# 如果该值大于1,在Repair by sorting过程中并行创建MyISAM表索引(每个索引在自己的线程内)

interactive_timeout = 28800 
# 服务器关闭交互式连接前等待活动的秒数。交互式客户端定义为在mysql_real_connect()中使用CLIENT_INTERACTIVE选项的客户端。默认值:28800秒(8小时)

wait_timeout = 28800 
# 服务器关闭非交互连接之前等待活动的秒数。在线程启动时,根据全局wait_timeout值或全局interactive_timeout值初始化会话wait_timeout值, 
# 取决于客户端类型(由mysql_real_connect()的连接选项CLIENT_INTERACTIVE定义)。参数默认值:28800秒(8小时) 
# MySQL服务器所支持的最大连接数是有上限的,因为每个连接的建立都会消耗内存,因此我们希望客户端在连接到MySQL Server处理完相应的操作后, 
# 应该断开连接并释放占用的内存。如果你的MySQL Server有大量的闲置连接,他们不仅会白白消耗内存,而且如果连接一直在累加而不断开, 
# 最终肯定会达到MySQL Server的连接上限数,这会报’too many connections’的错误。对于wait_timeout的值设定,应该根据系统的运行情况来判断。 
# 在系统运行一段时间后,可以通过show processlist命令查看当前系统的连接状态,如果发现有大量的sleep状态的连接进程,则说明该参数设置的过大, 
# 可以进行适当的调整小些。要同时设置interactive_timeout和wait_timeout才会生效。

## 参考:https://blog.csdn.net/chushoutaizhong/article/details/79972768

创建Mysql 主库

## my.cnf 配置文件存放位置以实际情况而定,笔者这里是Mac下的路径
docker rm -f mysql_master \     ## 防止多次重复创建
docker run -d --name mysql_master \
-v /Users/a/Item/conf/mysql_master.cnf:/etc/mysql/my.cnf \
-p 33306:3306 \
-e MYSQL_ROOT_PASSWORD=123456 \
mysql:5.7 

## 返回容器ID
>>> 2dca79d4ce07350294d9620cfea5050189ee074cbb1f84772e7c3eefd0144c8f

## 顺便获取主库的内网IP
docker inspect mysql_master | grep -w IPAddress

>>>"IPAddress": "172.17.0.2"

#### 创建从库的`my.cnf` 文件
```conf
[mysqld]
server-id=2     ## copy一份主库的配置后,只需要修改这里

创建从库的my.cnf 文件

可以直接从主库copy一份过来,改下 server-id 就是从库的配置文件了

cp -f mysql_master.cnf mysql_slave.cnf
sed "s/server-id=1/server-id=2/g" mysql_slave.cnf

## 或者手动修改server-id 不为主库相同值
vim mysql_slave.cnf

[mysqld]
server-id = 2       ## 不跟主库相同即为从库


创建Mysql 从库

## 注意:这里没有写对外开放端口,如果需要可以 -p port:port
docker rm -f mysql_slave \     ## 防止多次重复创建
docker run -d --name mysql_slave \
-v /Users/a/Item/conf/mysql_slave.cnf:/etc/mysql/my.cnf \
-p 33307:3306 \
-e MYSQL_ROOT_PASSWORD=123456 \
mysql:5.7 

## 返回容器ID
>>> 3578a4bf3da66bb644bf29cb8c5d81ca8099c81c8a7b41d32b99b88594271044

## 顺便获取从库的内网IP
docker inspect mysql_slave | grep -w IPAddress

>>>"IPAddress": "172.17.0.3"

创建授权账号允许从库复制

每个从库使用MySQL用户名和密码连接到主库,因此主库上必须有用户帐户,从库可以连接。任何帐户都可以用于此操作,只要它已被授予 REPLICATION SLAVE权限。可以选择为每个从库创建不同的帐户,或者每个从库使用相同帐户连接到主库

虽然不必专门为复制创建帐户,但应注意,复制用到的用户名和密码会以纯文本格式存储在主信息存储库文件或表中 。因此,需要创建一个单独的帐户,该帐户只具有复制过程的权限,尽量控制

## 注!生产环境上禁止把密码写在命令行上
docker exec -it mysql_master mysql -uroot -p123456

以root登陆主库,给从库添加账号和授权,每增加一个从库都得需要重新授权

GRANT REPLICATION SLAVE,RELOAD,SUPER ON *.*  TO 'slave_copy'@'172.17.0.3'  IDENTIFIED BY 'RememberChargePass';
grant FILE on *.* to 'slave_copy'@'172.17.0.3' identified by 'RememberChargePass';
flush privileges;

查看 Master-Server ,binlog File 文件名称和 Position值位置 并且记下来

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000003 |      904 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

从库连接主库并开启复制线程

要设置从库与主库进行通信,进行复制,在从库下执行以下语句

docker exec -it mysql_slave mysql -uroot -p123456

参数格式

mysql> CHANGE MASTER TO
    -> MASTER_HOST='master_host_name',
    -> MASTER_USER='replication_user_name',
    -> MASTER_PASSWORD='replication_password',
    -> MASTER_LOG_FILE='recorded_log_file_name',
    -> MASTER_LOG_POS=recorded_log_position;

实际情况

CHANGE MASTER TO
MASTER_HOST='172.17.0.2',
MASTER_USER='slave_copy',
MASTER_PASSWORD='RememberChargePass',
MASTER_LOG_FILE='mysql-bin.000003',
MASTER_LOG_POS=904;

从库开启复制线程

mysql> START SLAVE;
Query OK, 0 rows affected (0.01 sec)

查看从库同步状态

mysql> show slave status\G;
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 172.17.0.2
                  Master_User: slave_copy
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000003
          Read_Master_Log_Pos: 904
               Relay_Log_File: 779f104f69e3-relay-bin.000002
                Relay_Log_Pos: 1070
        Relay_Master_Log_File: mysql-bin.000003
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB:
          Replicate_Ignore_DB:
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno: 0
                   Last_Error:
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 904
              Relay_Log_Space: 1284
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File:
           Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
               Master_SSL_Key:
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
               Last_SQL_Errno: 0
               Last_SQL_Error:
  Replicate_Ignore_Server_Ids:
             Master_Server_Id: 1
                  Master_UUID: dbd0d8d2-ea7c-11e9-9b86-0242ac110002
             Master_Info_File: /var/lib/mysql/master.info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
           Master_Retry_Count: 86400
                  Master_Bind:
      Last_IO_Error_Timestamp:
     Last_SQL_Error_Timestamp:
               Master_SSL_Crl:
           Master_SSL_Crlpath:
           Retrieved_Gtid_Set:
            Executed_Gtid_Set:
                Auto_Position: 0
         Replicate_Rewrite_DB:
                 Channel_Name:
           Master_TLS_Version:
1 row in set (0.00 sec)

检查主从复制通信状态

  • Slave_IO_State #从站的当前状态
  • Slave_IO_Running Yes #读取主程序二进制日志的I/O线程是否正在运行
  • Slave_SQL_Running Yes #执行读取主服务器中二进制日志事件的SQL线程是否正在运行。与I/O线程一样
  • Seconds_Behind_Master #是否为0,0就是已经同步了

测试主从复制工具准备

在主库创建一张测试表并快速生成百万条测试数据

## 登陆主库
docker exec -it mysql_master mysql -uroot -p123456
-- 避免发生1814错误
set global log_bin_trust_function_creators=TRUE;
-- 创建生成长度为n的随机字符串的函数
DELIMITER // -- 修改MySQL delimiter:'//'
DROP FUNCTION IF EXISTS `rand_string` //
SET NAMES utf8 //
CREATE FUNCTION `rand_string` (n INT) RETURNS VARCHAR(255) CHARSET 'utf8'
BEGIN 
    DECLARE char_str varchar(100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789';
    DECLARE return_str varchar(255) DEFAULT '';
    DECLARE i INT DEFAULT 0;
    WHILE i < n DO
        SET return_str = concat(return_str, substring(char_str, FLOOR(1 + RAND()*62), 1));
        SET i = i+1;
    END WHILE;
    RETURN return_str;
END //

-- 创建插入数据的存储过程
DROP PROCEDURE IF EXISTS `add_vote_record_memory` //
CREATE PROCEDURE `add_vote_record_memory`(IN n INT)
BEGIN
    DECLARE i INT DEFAULT 1;
    DECLARE vote_num INT DEFAULT 0;
    DECLARE group_id INT DEFAULT 0;
    DECLARE status TINYINT DEFAULT 1;
    WHILE i < n DO
        SET vote_num = FLOOR(1 + RAND() * 10000);
        SET group_id = FLOOR(0 + RAND()*3);
        SET status = FLOOR(1 + RAND()*2);
        INSERT INTO `vote_record_memory` VALUES (NULL, rand_string(20), vote_num, group_id, status, NOW());
        SET i = i + 1;
    END WHILE;
END //
DELIMITER ;  -- 改回默认的 MySQL delimiter:';'

-- 调用存储过程 生成1000条数据
CALL add_vote_record_memory(1000);

查看生成数据数量以及写入到普通表中

-- 查看内存表生成数据
mysql> SELECT count(*) FROM `vote_record_memory`;
+----------+
| count(*) |
+----------+
|      999 |
+----------+
1 row in set (0.00 sec)

-- 把数据从内存表插入到普通表中
mysql> REPLACE INTO vote_record SELECT * FROM `vote_record_memory`;
Query OK, 999 rows affected (0.02 sec)
Records: 999  Duplicates: 0  Warnings: 0

-- 查询普通表已的生成记录
SELECT count(*) FROM `vote_record`;
-- count(*)
-- 105646

主从库检验统一性

安装 mysqldiff

## Mac 
brew install mysql-utilities

## Centos 6.5 +
yum install mysql-utilities

使用方法

mysqldiff --server1='用户名:密码@mysql服务器地址' --server2='用户名:密码@mysql服务器地址' 数据库名:数据库名 --force

检验结果

mysqldiff --server1='root:123456@172.17.0.2:3306' --server2='root:123456@172.17.0.3:3306' test_data:test_data --forc

# WARNING: Using a password on the command line interface can be insecure.
# server1 on 172.17.0.2: ... connected.
# server2 on 172.17.0.3: ... connected.
# WARNING: Objects in server1.test_data but not in server2.test_data:
# PROCEDURE: add_vote_record_memory
# FUNCTION: rand_string
# Comparing `test_data` to `test_data`                             [PASS]
# Comparing `test_data`.`runoob_tbl` to `test_data`.`runoob_tbl`   [PASS]
# Comparing `test_data`.`vote_record` to `test_data`.`vote_record`   [FAIL]
# Object definitions differ. (--changes-for=server1)
#

--- `test_data`.`vote_record`
+++ `test_data`.`vote_record`
@@ -7,4 +7,4 @@
   `create_time` datetime NOT NULL DEFAULT '2019-01-01 00:00:00' COMMENT '创建时间',
   PRIMARY KEY (`id`),
   KEY `index_user_id` (`user_id`) USING HASH COMMENT '用户ID哈希索引'
-) ENGINE=InnoDB AUTO_INCREMENT=1000 DEFAULT CHARSET=utf8 COMMENT='投票记录表'
+) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='投票记录表'
# Comparing `test_data`.`vote_record_memory` to `test_data`.`vote_record_memory`   [FAIL]
# Object definitions differ. (--changes-for=server1)
#

--- `test_data`.`vote_record_memory`
+++ `test_data`.`vote_record_memory`
@@ -7,4 +7,4 @@
   `create_time` datetime NOT NULL DEFAULT '2019-01-01 00:00:00',
   PRIMARY KEY (`id`),
   KEY `index_user_id` (`user_id`) USING HASH
-) ENGINE=InnoDB AUTO_INCREMENT=1000 DEFAULT CHARSET=utf8
+) ENGINE=InnoDB DEFAULT CHARSET=utf8
# Compare failed. One or more differences found.

显示从库并没有同步,排查原因


解决问题

查看从库的同步状态

mysql> show slave status\G;
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 172.17.0.2
                  Master_User: slave_copy
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000004
          Read_Master_Log_Pos: 130170909
               Relay_Log_File: bc723c0c914e-relay-bin.000004
                Relay_Log_Pos: 9444
        Relay_Master_Log_File: mysql-bin.000004
             Slave_IO_Running: Yes
            Slave_SQL_Running: No
              Replicate_Do_DB:
          Replicate_Ignore_DB:
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno: 1418
                   Last_Error: Error 'This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA in its declaration and binary logging is enabled (you *might* want to use the less safe log_bin_trust_function_creators variable)' on query. Default database: 'test_data'. Query: 'CREATE DEFINER=`root`@`%` FUNCTION `rand_string`(n INT) RETURNS varchar(255) CHARSET utf8
BEGIN
    DECLARE char_str varchar(100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789';
    DECLARE return_str varchar(255) DEFAULT '';
    DECLARE i INT DEFAULT 0;
    WHILE i < n DO
        SET return_str = concat(return_str, substring(char_str, FLOOR(1 + RAND()*62), 1));
        SET i = i+1;
    END WHILE;
    RETURN return_str;
END'
......
......
1 row in set (0.00 sec)

发现是主库创建函数后,因为CREATE PROCEDURE, CREATE FUNCTION, ALTER PROCEDURE,ALTER FUNCTION,CALL, DROP PROCEDURE, DROP FUNCTION等语句都会被写进二进制日志,然后在从服务器上执行。但是,一个执行更新的不确定子程序(存储过程、函数、触发器)是不可重复的,在从服务器上执行(相对与主服务器是重复执行)可能会造成恢复的数据与原始数据不同,从服务器不同于主服务器的情况。

为了解决这个问题,MySQL强制要求: 在主服务器上,除非子程序被声明为确定性的或者不更改数据,否则创建或者替换子程序将被拒绝。 这意味着当创建一个子程序的时候,必须要么声明它是确定性的,要么它不改变数据

在从库开启log_bin_trust_function_creators

-- 1. 检查从库的参数状态
mysql> show variables like '%function%';
+---------------------------------+-------+
| Variable_name                   | Value |
+---------------------------------+-------+
| log_bin_trust_function_creators | OFF   |
+---------------------------------+-------+
1 row in set (0.01 sec)

-- 2.暂停复制线程
mysql> stop slave;
Query OK, 0 rows affected (0.01 sec)

-- 3.设置log_bin_trust_function_creators 参数开启
mysql> set global log_bin_trust_function_creators=1;
Query OK, 0 rows affected (0.00 sec)

-- 4.检查是否开启
mysql> show variables like '%func%';
+---------------------------------+-------+
| Variable_name                   | Value |
+---------------------------------+-------+
| log_bin_trust_function_creators | ON    |
+---------------------------------+-------+
1 row in set (0.01 sec)

-- 5. 启动复制线程
mysql> start  slave;
Query OK, 0 rows affected (0.01 sec)

-- 6. 检查从库状态.正常
mysql> show  slave status \G;
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 172.17.0.2
                  Master_User: slave_copy
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000004
          Read_Master_Log_Pos: 130170909
               Relay_Log_File: bc723c0c914e-relay-bin.000005
                Relay_Log_Pos: 320
        Relay_Master_Log_File: mysql-bin.000004
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB:
          Replicate_Ignore_DB:
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno: 0
                   Last_Error:
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 130170909
              Relay_Log_Space: 130171502
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File:
           Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
               Master_SSL_Key:
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
               Last_SQL_Errno: 0
               Last_SQL_Error:
  Replicate_Ignore_Server_Ids:
             Master_Server_Id: 1
                  Master_UUID: 841e9d15-ee45-11e9-b0cf-0242ac110002
             Master_Info_File: /var/lib/mysql/master.info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
           Master_Retry_Count: 86400
                  Master_Bind:
      Last_IO_Error_Timestamp:
     Last_SQL_Error_Timestamp:
               Master_SSL_Crl:
           Master_SSL_Crlpath:
           Retrieved_Gtid_Set:
            Executed_Gtid_Set:
                Auto_Position: 0
         Replicate_Rewrite_DB:
                 Channel_Name:
           Master_TLS_Version:
1 row in set (0.00 sec)