Apache Flink 漫谈系列 - 流表对偶(duality)性

打开binlog.txt 内容如下:

/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/; 
/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/; 
DELIMITER /*!*/; 
# at 4 
#180430 22:29:33 server id 1  end_log_pos 124 CRC32 0xff61797c  Start: binlog v 4, server v 8.0.11 created 180430 22:29:33 at startup 
# Warning: this binlog is either in use or was not closed properly. 
ROLLBACK/*!*/; 
# at 124 
#180430 22:29:33 server id 1  end_log_pos 155 CRC32 0x629ae755  Previous-GTIDs 
# [empty] 
# at 155 
#180430 22:32:11 server id 1  end_log_pos 228 CRC32 0xbde49fca  Anonymous_GTID  last_committed=0        sequence_number=1       rbr_only=no     original_committed_timestamp=1525098731207902   immediate_commit_timestamp=1525098731207902     transaction_length=213 
# original_commit_timestamp=1525098731207902 (2018-04-30 22:32:11.207902 CST) 
# immediate_commit_timestamp=1525098731207902 (2018-04-30 22:32:11.207902 CST) 
/*!80001 SET @@session.original_commit_timestamp=1525098731207902*//*!*/; 
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/; 
# at 228 
#180430 22:32:11 server id 1  end_log_pos 368 CRC32 0xe5f330e7  Query   thread_id=9     exec_time=0     error_code=0    Xid = 22 
use `Apache Flinkdb`/*!*/; 
SET TIMESTAMP=1525098731/*!*/; 
SET @@session.pseudo_thread_id=9/*!*/; 
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/; 
SET @@session.sql_mode=1168113696/*!*/; 
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/; 
/*!C utf8mb4 *//*!*/; 
SET @@session.character_set_client=255,@@session.collation_connection=255,@@session.collation_server=255/*!*/; 
SET @@session.lc_time_names=0/*!*/; 
SET @@session.collation_database=DEFAULT/*!*/; 
/*!80005 SET @@session.default_collation_for_utf8mb4=255*//*!*/; 
DROP TABLE `tab` /* generated by server */ 
/*!*/; 
# at 368 
#180430 22:32:21 server id 1  end_log_pos 443 CRC32 0x50e5acb7  Anonymous_GTID  last_committed=1        sequence_number=2       rbr_only=no     original_committed_timestamp=1525098741628960   immediate_commit_timestamp=1525098741628960     transaction_length=302 
# original_commit_timestamp=1525098741628960 (2018-04-30 22:32:21.628960 CST) 
# immediate_commit_timestamp=1525098741628960 (2018-04-30 22:32:21.628960 CST) 
/*!80001 SET @@session.original_commit_timestamp=1525098741628960*//*!*/; 
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/; 
# at 443 
#180430 22:32:21 server id 1  end_log_pos 670 CRC32 0xe1353dd6  Query   thread_id=9     exec_time=0     error_code=0    Xid = 23 
SET TIMESTAMP=1525098741/*!*/; 
create table tab( 
   id INT NOT NULL AUTO_INCREMENT, 
   user VARCHAR(100) NOT NULL, 
   clicks INT NOT NULL, 
   PRIMARY KEY (id) 
) 
/*!*/; 
# at 670 
#180430 22:36:53 server id 1  end_log_pos 745 CRC32 0xcf436fbb  Anonymous_GTID  last_committed=2        sequence_number=3       rbr_only=yes    original_committed_timestamp=1525099013988373   immediate_commit_timestamp=1525099013988373     transaction_length=301 
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/; 
# original_commit_timestamp=1525099013988373 (2018-04-30 22:36:53.988373 CST) 
# immediate_commit_timestamp=1525099013988373 (2018-04-30 22:36:53.988373 CST) 
/*!80001 SET @@session.original_commit_timestamp=1525099013988373*//*!*/; 
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/; 
# at 745 
#180430 22:36:53 server id 1  end_log_pos 823 CRC32 0x71c64dd2  Query   thread_id=9     exec_time=0     error_code=0 
SET TIMESTAMP=1525099013/*!*/; 
BEGIN 
/*!*/; 
# at 823 
#180430 22:36:53 server id 1  end_log_pos 890 CRC32 0x63792f6b  Table_map: `Apache Flinkdb`.`tab` mapped to number 96 
# at 890 
#180430 22:36:53 server id 1  end_log_pos 940 CRC32 0xf2dade22  Write_rows: table id 96 flags: STMT_END_F 
### INSERT INTO `Apache Flinkdb`.`tab` 
### SET 
###   @11=1 
###   @2='Mary' 
###   @3=1 
# at 940 
#180430 22:36:53 server id 1  end_log_pos 971 CRC32 0x7db3e61e  Xid = 25 
COMMIT/*!*/; 
# at 971 
#180430 22:37:06 server id 1  end_log_pos 1046 CRC32 0xd05dd12c         Anonymous_GTID  last_committed=3        sequence_number=4       rbr_only=yes    original_committed_timestamp=1525099026328547   immediate_commit_timestamp=1525099026328547     transaction_length=300 
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/; 
# original_commit_timestamp=1525099026328547 (2018-04-30 22:37:06.328547 CST) 
# immediate_commit_timestamp=1525099026328547 (2018-04-30 22:37:06.328547 CST) 
/*!80001 SET @@session.original_commit_timestamp=1525099026328547*//*!*/; 
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/; 
# at 1046 
#180430 22:37:06 server id 1  end_log_pos 1124 CRC32 0x80f259e0         Query   thread_id=9     exec_time=0     error_code=0 
SET TIMESTAMP=1525099026/*!*/; 
BEGIN 
/*!*/; 
# at 1124 
#180430 22:37:06 server id 1  end_log_pos 1191 CRC32 0x255903ba         Table_map: `Apache Flinkdb`.`tab` mapped to number 96 
# at 1191 
#180430 22:37:06 server id 1  end_log_pos 1240 CRC32 0xe76bfc79         Write_rows: table id 96 flags: STMT_END_F 
### INSERT INTO `Apache Flinkdb`.`tab` 
### SET 
###   @1=2 
###   @2='Bob' 
###   @3=1 
# at 1240 
#180430 22:37:06 server id 1  end_log_pos 1271 CRC32 0x83cddfef         Xid = 26 
COMMIT/*!*/; 
# at 1271 
#180430 22:37:15 server id 1  end_log_pos 1346 CRC32 0x7095baee         Anonymous_GTID  last_committed=4        sequence_number=5       rbr_only=yes    original_committed_timestamp=1525099035811597   immediate_commit_timestamp=1525099035811597     transaction_length=326 
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/; 
# original_commit_timestamp=1525099035811597 (2018-04-30 22:37:15.811597 CST) 
# immediate_commit_timestamp=1525099035811597 (2018-04-30 22:37:15.811597 CST) 
/*!80001 SET @@session.original_commit_timestamp=1525099035811597*//*!*/; 
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/; 
# at 1346 
#180430 22:37:15 server id 1  end_log_pos 1433 CRC32 0x70ef97e2         Query   thread_id=9     exec_time=0     error_code=0 
SET TIMESTAMP=1525099035/*!*/; 
BEGIN 
/*!*/; 
# at 1433 
#180430 22:37:15 server id 1  end_log_pos 1500 CRC32 0x75f1f399         Table_map: `Apache Flinkdb`.`tab` mapped to number 96 
# at 1500 
#180430 22:37:15 server id 1  end_log_pos 1566 CRC32 0x256bd4b8         Update_rows: table id 96 flags: STMT_END_F 
### UPDATE `Apache Flinkdb`.`tab` 
### WHERE 
###   @11=1 
###   @2='Mary' 
###   @3=1 
### SET 
###   @11=1 
###   @2='Mary' 
###   @3=2 
# at 1566 
#180430 22:37:15 server id 1  end_log_pos 1597 CRC32 0x93c86579         Xid = 27 
COMMIT/*!*/; 
# at 1597 
#180430 22:37:27 server id 1  end_log_pos 1672 CRC32 0xe8bd63e7         Anonymous_GTID  last_committed=5        sequence_number=6       rbr_only=yes    original_committed_timestamp=1525099047219517   immediate_commit_timestamp=1525099047219517     transaction_length=300 
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/; 
# original_commit_timestamp=1525099047219517 (2018-04-30 22:37:27.219517 CST) 
# immediate_commit_timestamp=1525099047219517 (2018-04-30 22:37:27.219517 CST) 
/*!80001 SET @@session.original_commit_timestamp=1525099047219517*//*!*/; 
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/; 
# at 1672 
#180430 22:37:27 server id 1  end_log_pos 1750 CRC32 0x5356c3c7         Query   thread_id=9     exec_time=0     error_code=0 
SET TIMESTAMP=1525099047/*!*/; 
BEGIN 
/*!*/; 
# at 1750 
#180430 22:37:27 server id 1  end_log_pos 1817 CRC32 0x37e6b1ce         Table_map: `Apache Flinkdb`.`tab` mapped to number 96 
# at 1817 
#180430 22:37:27 server id 1  end_log_pos 1866 CRC32 0x6ab1bbe6         Write_rows: table id 96 flags: STMT_END_F 
### INSERT INTO `Apache Flinkdb`.`tab` 
### SET 
###   @1=3 
###   @2='Llz' 
###   @3=1 
# at 1866 
#180430 22:37:27 server id 1  end_log_pos 1897 CRC32 0x3b62b153         Xid = 28 
COMMIT/*!*/; 
# at 1897 
#180430 22:37:36 server id 1  end_log_pos 1972 CRC32 0x603134c1         Anonymous_GTID  last_committed=6        sequence_number=7       rbr_only=yes    original_committed_timestamp=1525099056866022   immediate_commit_timestamp=1525099056866022     transaction_length=324 
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/; 
# original_commit_timestamp=1525099056866022 (2018-04-30 22:37:36.866022 CST) 
# immediate_commit_timestamp=1525099056866022 (2018-04-30 22:37:36.866022 CST) 
/*!80001 SET @@session.original_commit_timestamp=1525099056866022*//*!*/; 
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/; 
# at 1972 
#180430 22:37:36 server id 1  end_log_pos 2059 CRC32 0xe17df4e4         Query   thread_id=9     exec_time=0     error_code=0 
SET TIMESTAMP=1525099056/*!*/; 
BEGIN 
/*!*/; 
# at 2059 
#180430 22:37:36 server id 1  end_log_pos 2126 CRC32 0x53888b05         Table_map: `Apache Flinkdb`.`tab` mapped to number 96 
# at 2126 
#180430 22:37:36 server id 1  end_log_pos 2190 CRC32 0x85f34996         Update_rows: table id 96 flags: STMT_END_F 
### UPDATE `Apache Flinkdb`.`tab` 
### WHERE 
###   @1=2 
###   @2='Bob' 
###   @3=1 
### SET 
###   @1=2 
###   @2='Bob' 
###   @3=2 
# at 2190 
#180430 22:37:36 server id 1  end_log_pos 2221 CRC32 0x877f1e23         Xid = 29 
COMMIT/*!*/; 
# at 2221 
#180430 22:37:45 server id 1  end_log_pos 2296 CRC32 0xfbc7e868         Anonymous_GTID  last_committed=7        sequence_number=8       rbr_only=yes    original_committed_timestamp=1525099065089940   immediate_commit_timestamp=1525099065089940     transaction_length=326 
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/; 
# original_commit_timestamp=1525099065089940 (2018-04-30 22:37:45.089940 CST) 
# immediate_commit_timestamp=1525099065089940 (2018-04-30 22:37:45.089940 CST) 
/*!80001 SET @@session.original_commit_timestamp=1525099065089940*//*!*/; 
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/; 
# at 2296 
#180430 22:37:45 server id 1  end_log_pos 2383 CRC32 0x8a514364         Query   thread_id=9     exec_time=0     error_code=0 
SET TIMESTAMP=1525099065/*!*/; 
BEGIN 
/*!*/; 
# at 2383 
#180430 22:37:45 server id 1  end_log_pos 2450 CRC32 0xdf18ca60         Table_map: `Apache Flinkdb`.`tab` mapped to number 96 
# at 2450 
#180430 22:37:45 server id 1  end_log_pos 2516 CRC32 0xd50de69f         Update_rows: table id 96 flags: STMT_END_F 
### UPDATE `Apache Flinkdb`.`tab` 
### WHERE 
###   @11=1 
###   @2='Mary' 
###   @3=2 
### SET 
###   @11=1 
###   @2='Mary' 
###   @33=3 
# at 2516 
#180430 22:37:45 server id 1  end_log_pos 2547 CRC32 0x94f89393         Xid = 30 
COMMIT/*!*/; 
SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by MySQLbinlog */ /*!*/; 
DELIMITER ; 
# End of log file 
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/; 
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/; 

• 梳理操作和binlog的记录关系







• 简化一下binlog



• replay binlog会得到如下表数据(按timestamp顺序)



• 表与binlog的关系简单示意如下

流表对偶(duality)性

（编辑：鹤壁站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!