mstcfxwTRX4

1. MSSQL Server 自定義的函數

[client]
port = 3306
socket = /tmp/mysql.sock
[mysqld]
port = 3306
socket = /tmp/mysql.sock

basedir = /usr/local/mysql
datadir = /data/mysql
pid-file = /data/mysql/mysql.pid
user = mysql
bind-address = 0.0.0.0
server-id = 1 #表示是本機的序號為1,一般來講就是master的意思

skip-name-resolve
# 禁止MySQL對外部連接進行DNS解析，使用這一選項可以消除MySQL進行DNS解析的時間。但需要注意，如果開啟該選項，
# 則所有遠程主機連接授權都要使用IP地址方式，否則MySQL將無法正常處理連接請求

#skip-networking

back_log = 600
# MySQL能有的連接數量。當主要MySQL線程在一個很短時間內得到非常多的連接請求，這就起作用，
# 然後主線程花些時間(盡管很短)檢查連接並且啟動一個新線程。back_log值指出在MySQL暫時停止回答新請求之前的短時間內多少個請求可以被存在堆棧中。
# 如果期望在一個短時間內有很多連接，你需要增加它。也就是說，如果MySQL的連接數據達到max_connections時，新來的請求將會被存在堆棧中，
# 以等待某一連接釋放資源，該堆棧的數量即back_log，如果等待連接的數量超過back_log，將不被授予連接資源。
# 另外，這值（back_log）限於您的操作系統對到來的TCP/IP連接的偵聽隊列的大小。
# 你的操作系統在這個隊列大小上有它自己的限制（可以檢查你的OS文檔找出這個變數的最大值），試圖設定back_log高於你的操作系統的限制將是無效的。

max_connections = 1000
#
MySQL的最大連接數，如果伺服器的並發連接請求量比較大，建議調高此值，以增加並行連接數量，當然這建立在機器能支撐的情況下，因為如果連接數越多，
介於MySQL會為每個連接提供連接緩沖區，就會開銷越多的內存，所以要適當調整該值，不能盲目提高設值。可以過'conn%'通配符查看當前狀態的連接
數量，以定奪該值的大小。

max_connect_errors = 6000
# 對於同一主機，如果有超出該參數值個數的中斷錯誤連接，則該主機將被禁止連接。如需對該主機進行解禁，執行：FLUSH HOST。

open_files_limit = 65535
# MySQL打開的文件描述符限制，默認最小1024;當open_files_limit沒有被配置的時候，比較max_connections*5和ulimit -n的值，哪個大用哪個，
# 當open_file_limit被配置的時候，比較open_files_limit和max_connections*5的值，哪個大用哪個。

table_open_cache = 128
# MySQL每打開一個表，都會讀入一些數據到table_open_cache緩存中，當MySQL在這個緩存中找不到相應信息時，才會去磁碟上讀取。默認值64
# 假定系統有200個並發連接，則需將此參數設置為200*N(N為每個連接所需的文件描述符數目)；
# 當把table_open_cache設置為很大時，如果系統處理不了那麼多文件描述符，那麼就會出現客戶端失效，連接不上

max_allowed_packet = 4M
# 接受的數據包大小；增加該變數的值十分安全，這是因為僅當需要時才會分配額外內存。例如，僅當你發出長查詢或MySQLd必須返回大的結果行時MySQLd才會分配更多內存。
# 該變數之所以取較小默認值是一種預防措施，以捕獲客戶端和伺服器之間的錯誤信息包，並確保不會因偶然使用大的信息包而導致內存溢出。

binlog_cache_size = 1M
# 一個事務，在沒有提交的時候，產生的日誌，記錄到Cache中；等到事務提交需要提交的時候，則把日誌持久化到磁碟。默認binlog_cache_size大小32K

max_heap_table_size = 8M
# 定義了用戶可以創建的內存表(memory table)的大小。這個值用來計算內存表的最大行數值。這個變數支持動態改變

tmp_table_size = 16M
# MySQL的heap（堆積）表緩沖大小。所有聯合在一個DML指令內完成，並且大多數聯合甚至可以不用臨時表即可以完成。
# 大多數臨時表是基於內存的(HEAP)表。具有大的記錄長度的臨時表 (所有列的長度的和)或包含BLOB列的表存儲在硬碟上。
#

如果某個內部heap（堆積）表大小超過tmp_table_size，MySQL可以根據需要自動將內存中的heap表改為基於硬碟的MyISAM表。
還可以通過設置tmp_table_size選項來增加臨時表的大小。也就是說，如果調高該值，MySQL同時將增加heap表的大小，可達到提高聯接查
詢速度的效果

read_buffer_size = 2M
# MySQL讀入緩沖區大小。對表進行順序掃描的請求將分配一個讀入緩沖區，MySQL會為它分配一段內存緩沖區。read_buffer_size變數控制這一緩沖區的大小。
# 如果對表的順序掃描請求非常頻繁，並且你認為頻繁掃描進行得太慢，可以通過增加該變數值以及內存緩沖區大小提高其性能

read_rnd_buffer_size = 8M
# MySQL的隨機讀緩沖區大小。當按任意順序讀取行時(例如，按照排序順序)，將分配一個隨機讀緩存區。進行排序查詢時，
# MySQL會首先掃描一遍該緩沖，以避免磁碟搜索，提高查詢速度，如果需要排序大量數據，可適當調高該值。但MySQL會為每個客戶連接發放該緩沖空間，所以應盡量適當設置該值，以避免內存開銷過大

sort_buffer_size = 8M
# MySQL執行排序使用的緩沖大小。如果想要增加ORDER BY的速度，首先看是否可以讓MySQL使用索引而不是額外的排序階段。
# 如果不能，可以嘗試增加sort_buffer_size變數的大小

join_buffer_size = 8M
# 聯合查詢操作所能使用的緩沖區大小，和sort_buffer_size一樣，該參數對應的分配內存也是每連接獨享

thread_cache_size = 8
# 這個值（默認8）表示可以重新利用保存在緩存中線程的數量，當斷開連接時如果緩存中還有空間，那麼客戶端的線程將被放到緩存中，
# 如果線程重新被請求，那麼請求將從緩存中讀取,如果緩存中是空的或者是新的請求，那麼這個線程將被重新創建,如果有很多新的線程，
# 增加這個值可以改善系統性能.通過比較Connections和Threads_created狀態的變數，可以看到這個變數的作用。(–>表示要調整的值)
# 根據物理內存設置規則如下：
# 1G —> 8
# 2G —> 16
# 3G —> 32
# 大於3G —> 64

query_cache_size = 8M
#MySQL的查詢緩沖大小（從4.0.1開始，MySQL提供了查詢緩沖機制）使用查詢緩沖，MySQL將SELECT語句和查詢結果存放在緩沖區中，
# 今後對於同樣的SELECT語句（區分大小寫），將直接從緩沖區中讀取結果。根據MySQL用戶手冊，使用查詢緩沖最多可以達到238%的效率。
# 通過檢查狀態值'Qcache_%'，可以知道query_cache_size設置是否合理：如果Qcache_lowmem_prunes的值非常大，則表明經常出現緩沖不夠的情況，
# 如果Qcache_hits的值也非常大，則表明查詢緩沖使用非常頻繁，此時需要增加緩沖大小；如果Qcache_hits的值不大，則表明你的查詢重復率很低，
# 這種情況下使用查詢緩沖反而會影響效率，那麼可以考慮不用查詢緩沖。此外，在SELECT語句中加入SQL_NO_CACHE可以明確表示不使用查詢緩沖

query_cache_limit = 2M
#指定單個查詢能夠使用的緩沖區大小，默認1M

key_buffer_size = 4M
#指定用於索引的緩沖區大小，增加它可得到更好處理的索引(對所有讀和多重寫)，到你能負擔得起那樣多。如果你使它太大，
# 系統將開始換頁並且真的變慢了。對於內存在4GB左右的伺服器該參數可設置為384M或512M。通過檢查狀態值Key_read_requests和Key_reads，
# 可以知道key_buffer_size設置是否合理。比例key_reads/key_read_requests應該盡可能的低，
# 至少是1:100，1:1000更好(上述狀態值可以使用SHOW STATUS LIKE 'key_read%'獲得)。注意：該參數值設置的過大反而會是伺服器整體效率降低

ft_min_word_len = 4
# 分詞詞彙最小長度，默認4

transaction_isolation = REPEATABLE-READ
# MySQL支持4種事務隔離級別，他們分別是：
# READ-UNCOMMITTED, READ-COMMITTED, REPEATABLE-READ, SERIALIZABLE.
# 如沒有指定，MySQL默認採用的是REPEATABLE-READ，ORACLE默認的是READ-COMMITTED

log_bin = mysql-bin
binlog_format = mixed
expire_logs_days = 30 #超過30天的binlog刪除

log_error = /data/mysql/mysql-error.log #錯誤日誌路徑
slow_query_log = 1
long_query_time = 1 #慢查詢時間 超過1秒則為慢查詢
slow_query_log_file = /data/mysql/mysql-slow.log

performance_schema = 0
explicit_defaults_for_timestamp

#lower_case_table_names = 1 #不區分大小寫

skip-external-locking #MySQL選項以避免外部鎖定。該選項默認開啟

default-storage-engine = InnoDB #默認存儲引擎

innodb_file_per_table = 1
# InnoDB為獨立表空間模式，每個資料庫的每個表都會生成一個數據空間
# 獨立表空間優點：
# 1．每個表都有自已獨立的表空間。
# 2．每個表的數據和索引都會存在自已的表空間中。
# 3．可以實現單表在不同的資料庫中移動。
# 4．空間可以回收（除drop table操作處，表空不能自已回收）
# 缺點：
# 單表增加過大，如超過100G
# 結論：
# 共享表空間在Insert操作上少有優勢。其它都沒獨立表空間表現好。當啟用獨立表空間時，請合理調整：innodb_open_files

innodb_open_files = 500
# 限制Innodb能打開的表的數據，如果庫里的表特別多的情況，請增加這個。這個值默認是300

innodb_buffer_pool_size = 64M
# InnoDB使用一個緩沖池來保存索引和原始數據, 不像MyISAM.
# 這里你設置越大,你在存取表裡面數據時所需要的磁碟I/O越少.
# 在一個獨立使用的資料庫伺服器上,你可以設置這個變數到伺服器物理內存大小的80%
# 不要設置過大,否則,由於物理內存的競爭可能導致操作系統的換頁顛簸.
# 注意在32位系統上你每個進程可能被限制在 2-3.5G 用戶層面內存限制,
# 所以不要設置的太高.

innodb_write_io_threads = 4
innodb_read_io_threads = 4
# innodb使用後台線程處理數據頁上的讀寫 I/O(輸入輸出)請求,根據你的 CPU 核數來更改,默認是4
# 注:這兩個參數不支持動態改變,需要把該參數加入到my.cnf里，修改完後重啟MySQL服務,允許值的范圍從 1-64

innodb_thread_concurrency = 0
# 默認設置為 0,表示不限制並發數，這里推薦設置為0，更好去發揮CPU多核處理能力，提高並發量

innodb_purge_threads = 1
# InnoDB中的清除操作是一類定期回收無用數據的操作。在之前的幾個版本中，清除操作是主線程的一部分，這意味著運行時它可能會堵塞其它的資料庫操作。
# 從MySQL5.5.X版本開始，該操作運行於獨立的線程中,並支持更多的並發數。用戶可通過設置innodb_purge_threads配置參數來選擇清除操作是否使用單
# 獨線程,默認情況下參數設置為0(不使用單獨線程),設置為 1 時表示使用單獨的清除線程。建議為1

innodb_flush_log_at_trx_commit = 2
# 0：如果innodb_flush_log_at_trx_commit的值為0,log buffer每秒就會被刷寫日誌文件到磁碟，提交事務的時候不做任何操作（執行是由mysql的master thread線程來執行的。
# 主線程中每秒會將重做日誌緩沖寫入磁碟的重做日誌文件(REDO LOG)中。不論事務是否已經提交）默認的日誌文件是ib_logfile0,ib_logfile1
# 1：當設為默認值1的時候，每次提交事務的時候，都會將log buffer刷寫到日誌。
# 2：如果設為2,每次提交事務都會寫日誌，但並不會執行刷的操作。每秒定時會刷到日誌文件。要注意的是，並不能保證100%每秒一定都會刷到磁碟，這要取決於進程的調度。
# 每次事務提交的時候將數據寫入事務日誌，而這里的寫入僅是調用了文件系統的寫入操作，而文件系統是有 緩存的，所以這個寫入並不能保證數據已經寫入到物理磁碟
# 默認值1是為了保證完整的ACID。當然，你可以將這個配置項設為1以外的值來換取更高的性能，但是在系統崩潰的時候，你將會丟失1秒的數據。
# 設為0的話，mysqld進程崩潰的時候，就會丟失最後1秒的事務。設為2,只有在操作系統崩潰或者斷電的時候才會丟失最後1秒的數據。InnoDB在做恢復的時候會忽略這個值。
# 總結
# 設為1當然是最安全的，但性能頁是最差的（相對其他兩個參數而言，但不是不能接受）。如果對數據一致性和完整性要求不高，完全可以設為2，如果只最求性能，例如高並發寫的日誌伺服器，設為0來獲得更高性能

innodb_log_buffer_size = 2M
# 此參數確定些日誌文件所用的內存大小，以M為單位。緩沖區更大能提高性能，但意外的故障將會丟失數據。MySQL開發人員建議設置為1－8M之間

innodb_log_file_size = 32M
# 此參數確定數據日誌文件的大小，更大的設置可以提高性能，但也會增加恢復故障資料庫所需的時間

innodb_log_files_in_group = 3
# 為提高性能，MySQL可以以循環方式將日誌文件寫到多個文件。推薦設置為3

innodb_max_dirty_pages_pct = 90
# innodb主線程刷新緩存池中的數據，使臟數據比例小於90%

innodb_lock_wait_timeout = 120
# InnoDB事務在被回滾之前可以等待一個鎖定的超時秒數。InnoDB在它自己的鎖定表中自動檢測事務死鎖並且回滾事務。InnoDB用LOCK TABLES語句注意到鎖定設置。默認值是50秒

bulk_insert_buffer_size = 8M
# 批量插入緩存大小， 這個參數是針對MyISAM存儲引擎來說的。適用於在一次性插入100-1000+條記錄時， 提高效率。默認值是8M。可以針對數據量的大小，翻倍增加。

myisam_sort_buffer_size = 8M
# MyISAM設置恢復表之時使用的緩沖區的尺寸，當在REPAIR TABLE或用CREATE INDEX創建索引或ALTER TABLE過程中排序 MyISAM索引分配的緩沖區

myisam_max_sort_file_size = 10G
# 如果臨時文件會變得超過索引，不要使用快速排序索引方法來創建一個索引。注釋：這個參數以位元組的形式給出

myisam_repair_threads = 1
# 如果該值大於1，在Repair by sorting過程中並行創建MyISAM表索引(每個索引在自己的線程內)

interactive_timeout = 28800
# 伺服器關閉互動式連接前等待活動的秒數。互動式客戶端定義為在mysql_real_connect()中使用CLIENT_INTERACTIVE選項的客戶端。默認值：28800秒（8小時）

wait_timeout = 28800
# 伺服器關閉非交互連接之前等待活動的秒數。在線程啟動時，根據全局wait_timeout值或全局interactive_timeout值初始化會話wait_timeout值，
# 取決於客戶端類型(由mysql_real_connect()的連接選項CLIENT_INTERACTIVE定義)。參數默認值：28800秒（8小時）
# MySQL伺服器所支持的最大連接數是有上限的，因為每個連接的建立都會消耗內存，因此我們希望客戶端在連接到MySQL Server處理完相應的操作後，
# 應該斷開連接並釋放佔用的內存。如果你的MySQL Server有大量的閑置連接，他們不僅會白白消耗內存，而且如果連接一直在累加而不斷開，
# 最終肯定會達到MySQL Server的連接上限數，這會報'too many connections'的錯誤。對於wait_timeout的值設定，應該根據系統的運行情況來判斷。
# 在系統運行一段時間後，可以通過show processlist命令查看當前系統的連接狀態，如果發現有大量的sleep狀態的連接進程，則說明該參數設置的過大，
# 可以進行適當的調整小些。要同時設置interactive_timeout和wait_timeout才會生效。

[mysqlmp]
quick
max_allowed_packet = 16M #伺服器發送和接受的最大包長度
[myisamchk]
key_buffer_size = 8M
sort_buffer_size = 8M
read_buffer = 4M
write_buffer = 4M

2. 怎麼判斷mysql是否是半同步復制

在談這個特性之前，我們先來看看mysql的復制架構衍生史。 MySQL的復制分為三種： 第一種，即普通的replication。 搭建簡單，使用非常廣泛，從mysql誕生之初，就產生了這種架構，性能非常好，可謂非常成熟。 但是這種架構數據是非同步的，所以有丟失資料庫的風險。 第二種，即mysql cluster。 搭建也簡單，本身也比較穩定，是mysql裡面對數據保護最最靠譜的架構，也是唯一一個數據完全同步的架構，絕對的零丟失。不過性能就差遠些了。 第三種，即semi-sync replication，半同步，性能，功能都介於以上兩者之間。從mysql5.5開始誕生，目的是為了折中上述兩種架構的性能以及優缺點。「我們今天談論第三種架構

我們知道，普通的replication，也即mysql的非同步復制，依靠mysql二進制日誌也即binary log進行數據復制。比如兩台機器，一台主機也即master，另外一台是從機，也即slave。

1. 正常的復制為：事務一（t1）寫入binlog buffer；mper 線程通知slave有新的事務t1；binlog buffer 進行checkpoint；slave的io線程接收到t1並寫入到自己的的relay log；slave的sql線程寫入到本地資料庫。 這時，master和slave都能看到這條新的事務，即使master掛了，slave可以提升為新的master。 2. 異常的復制為：事務一（t1）寫入binlog buffer；mper 線程通知slave有新的事務t1；binlog buffer 進行checkpoint；slave因為網路不穩定，一直沒有收到t1；master 掛掉，slave提升為新的master，t1丟失。

3. 很大的問題是：主機和從機事務更新的不同步，就算是沒有網路或者其他系統的異常，當業務並發上來時，slave因為要順序執行master批量事務，導致很大的延遲。

為了彌補以上幾種場景的不足，mysql從5.5開始推出了半同步。

即在master的mper線程通知slave後，增加了一個ack，即是否成功收到t1的標志碼。也就是mper線程除了發送t1到slave，還承擔了接收slave的ack工作。如果出現異常，沒有收到ack，那麼將自動降級為普通的復制，直到異常修復。

我們可以看到半同步帶來的新問題： 1. 如果異常發生，會降級為普通的復制。 那麼從機出現數據不一致的幾率會減少，並不是完全消失。 2. 主機mper線程承擔的工作變多了，這樣顯然會降低整個資料庫的性能。 3. 在MySQL 5.5和5.6使用after_commit的模式下, 即如果slave 沒有收到事務，也就是還沒有寫入到relay log 之前，網路出現異常或者不穩定，此時剛好master掛了，系統切換到從機，兩邊的數據就會出現不一致。 在此情況下，slave會少一個事務的數據。

隨著MySQL 5.7版本的發布，半同步復制技術升級為全新的Loss-less Semi-Synchronous Replication架構，其成熟度、數據一致性與執行效率得到顯著的提升。

MySQL 5.7對數據復制效率進行了改進1 主從一致性加強支持在事務commit前等待ACK

新版本的semi sync 增加了rpl_semi_sync_master_wait_point參數 來控制半同步模式下 主庫在返回給會話事務成功之前提交事務的方式。

該參數有兩個值：

• AFTER_COMMIT（5.6默認值）

master將每個事務寫入binlog ,傳遞到slave 刷新到磁碟(relay log)，同時主庫提交事務。master等待slave 反饋收到relay log，只有收到ACK後master才將commit OK結果反饋給客戶端。

• AFTER_SYNC（5.7默認值，但5.6中無此模式）

master 將每個事務寫入binlog , 傳遞到slave 刷新到磁碟(relay log)。master等待slave 反饋接收到relay log的ack之後，再提交事務並且返回commit OK結果給客戶端。即使主庫crash，所有在主庫上已經提交的事務都能保證已經同步到slave的relay log中。

因此5.7引入了after_sync模式，帶來的主要收益是解決after_commit導致的master crash主從間數據不一致問題，因此在引入after_sync模式後，所有提交的數據已經都被復制，故障切換時數據一致性將得到提升。

• 2 性能提升支持發送binlog和接受ack的非同步化

舊版本的semi sync 受限於mp thread ，原因是mp thread 承擔了兩份不同且又十分頻繁的任務：傳送binlog 給slave ，還需要等待slave反饋信息，而且這兩個任務是串列的，mp thread 必須等待 slave 返回之後才會傳送下一個 events 事務。mp thread 已然成為整個半同步提高性能的瓶頸。在高並發業務場景下，這樣的機制會影響資料庫整體的TPS .

• 圖：Without ACK receiving thread

為了解決上述問題，在5.7版本的semi sync 框架中，獨立出一個 ack collector thread ，專門用於接收slave 的反饋信息。這樣master 上有兩個線程獨立工作，可以同時發送binlog 到slave ，和接收slave的反饋。

• 圖：With ACK receiving thread3 性能提升控制主庫接收slave 寫事務成功反饋數量

MySQL 5.7新增了rpl_semi_sync_master_wait_slave_count參數，可以用來控制主庫接受多少個slave寫事務成功反饋，給高可用架構切換提供了靈活性。

• 如圖所示，當count值為2時，master需等待兩個slave的ack

4 性能提升

• Binlog 互斥鎖改進

舊版本半同步復制在主提交binlog的寫會話和mp thread讀binlog的操作都會對binlog添加互斥鎖，導致binlog文件的讀寫是串列化的，存在並發度的問題。

• MySQL 5.7對binlog lock進行了以下兩方面優化

1.移除了mp thread對binlog的互斥鎖

2.加入了安全邊際保證binlog的讀安全

• 5 性能提升組提交

5.7引入了新的變數slave-parallel-type，其可以配置的值有：

• DATABASE （5.7之前默認值），基於庫的並行復制方式；LOGICAL_CLOCK （5.7新增值），基於組提交的並行復制方式；

MySQL 5.6版本也支持所謂的並行復制，但是其並行只是基於DATABASE的，也就是基於庫的。如果用戶的MySQL資料庫實例中存在多個DATABASE ，對於從機復制的速度的確可以有比較大的幫助，如果用戶實例僅有一個庫，那麼就無法實現並行回放，甚至性能會比原來的單線程更差。

MySQL5.7中增加了一種新的並行模式：為同時進入COMMIT階段的事務分配相同的序列號，這些擁有相同序列號的事務在備庫是可以並發執行的。

MySQL 5.7真正實現的並行復制，這其中最為主要的原因就是slave伺服器的回放與主機是一致的即master伺服器上是怎麼並行執行的slave上就怎樣進行並行回放。不再有庫的並行復制限制，對於二進制日誌格式也無特殊的要求（基於庫的並行復制也沒有要求）。

因此下面的序列中可以並發的序列為（其中前面一個數字為last_committed ，後面一個數字為sequence_number ）：

• trx1 1…..2trx2 1………….3trx3 1…………………….4trx4 2……………………….5trx5 3…………………………..6trx6 3………………………………7trx7 6………………………………..8

備庫並行規則：當分發一個事務時，其last_committed 序列號比當前正在執行的事務的最小sequence_number要小時，則允許執行。

• 因此，

a)trx1執行，last_commit<2的可並發，trx2, trx3可繼續分發執行

b)trx1執行完成後，last_commit < 3的可以執行， trx4可分發

c)trx2執行完成後，last_commit< 4的可以執行， trx5, trx6可分發

d)trx3、trx4、trx5完成後，last_commit < 7的可以執行，trx7可分發

• 綜上所述

我們認為MySQL 5.7版對Loss-Less半同步復制技術的優化，使得其成熟度和執行效率都得到了質的提高。我們建議在使用MySQL 5.7作為生產環境的部署時，可以使用半同步技術作為高可用與讀寫分離方案的數據復制方案。