gossip協議去中心化

㈠ elasticsearch的自動發現節點機制是怎麼實現的，原理是怎樣

著作權歸作者所有。
商業轉載請聯系作者獲得授權，非商業轉載請註明出處。
作者：ben well
鏈接：http://www.hu.com/question/29360024/answer/55368070
來源：知乎

早期 es 版本有 split brain 問題，俗稱腦裂。ES 採用的是一種 P2P 的 gossip 選舉方式，Gossip 演算法因為 Cassandra 而名聲大噪。
背景:
Gossip 演算法, 靈感來自辦公室八卦, 只要一個人八卦一下, 在有限的時間內所有人都會知道該八卦的信息,
這種方式也與病毒傳播類似, 因為 Gossip 有眾多的別名"閑話演算法"、"疫情傳播演算法"、"病毒感染演算法"、"謠言傳播(Rumor-Mongering)演算法".
但 Gossip 並不是一個新東西, 之前的泛洪查找、路由演算法都歸屬於這個范疇, 不同的是 Gossip 給這類演算法提供了明確的語義、具體實施方法及收斂性證明.

特點:
Gossip 演算法又被稱為反熵(Anti-Entropy), 熵是物理學上的一個概念, 代表雜亂無章, 而反熵就是在雜亂無章中尋求一致,
這充分說明了 Gossip 的特點：在一個有界網路中, 每個節點都隨機地與其他節點通信, 經過一番雜亂無章的通信,
最終所有節點的狀態都會達成一致. 每個節點可能知道所有其他節點, 也可能僅知道幾個鄰居節點,
只要這些節可以通過網路連通, 最終他們的狀態都是一致的, 當然這也是疫情傳播的特點.
要注意到的一點是, 即使有的節點因宕機而重啟, 有新節點加入, 但經過一段時間後,
這些節點的狀態也會與其他節點達成一致, 也就是說, Gossip 天然具有分布式容錯的優點.

本質:
Gossip 是一個帶冗餘的容錯演算法, 更進一步, Gossip 是一個最終一致性演算法。
雖然無法保證在某個時刻所有節點狀態一致, 但可以保證在」最終「所有節點一致, 」最終「是一個現實中存在, 但理論上無法證明的時間點。
因為 Gossip 不要求節點知道所有其他節點, 因此又具有去中心化的特點, 節點之間完全對等, 不需要任何的中心節點。
實際上 Gossip 可以用於眾多能接受「最終一致性」的領域：失敗檢測、路由同步、Pub/Sub、動態負載均衡。
但 Gossip 的缺點也很明顯, 冗餘通信會對網路帶寬、CPU 資源造成很大的負載, 而這些負載又受限於通信頻率, 該頻率又影響著演算法收斂的速度。

總結:
Gossip 是一種去中心化、容錯而又最終一致性的絕妙演算法, 其收斂性不但得到證明還具有指數級的收斂速度。
使用 Gossip 的系統可以很容易的把 Server 擴展到更多的節點, 滿足彈性擴展輕而易舉。
唯一的缺點是收斂是最終一致性, 不適應那些強一致性的場景, 比如 2PC。

㈡ Dynamo的高級分析

有了上面一章里的兩個基礎介紹之後，我們開始進入Dynamo的世界。
Dynamo的數據分區與作用
在Dynamo的實現中提到一個關鍵的東西，就是數據分區。 假設我們的數據的key的范圍是0到2的64次方（不用懷疑你的數據量會超過它，正常甚至變態情況下你都是超不過的，甚至像伏地魔等其他類Dynamo系統是使用的 2的32次方），然後設置一個常數，比如說1000，將我們的key的范圍分成1000份。然後再將這1000份key的范圍均勻分配到所有的節點（s個節點），這樣每個節點負責的分區數就是1000/s份分區。
如圖二，假設我們有A、B、C三台機器，然後將我們的分區定義了12個。
圖二：三個節點分12個區的數據的情況
因為數據是均勻離散到這個環上的（有人開始會認為數據的key是從1、2、3、4……這樣子一直下去的，其實不是的，哈希計算出來的值，都是一個離散的結果），所以我們每個分區的數據量是大致相等的。從圖上我們可以得出，每台機器都分到了三個分區里的數據，並且因為分區是均勻的，在分區數量是相當大的時候，數據的分布會更加的均勻，與此同時，負載也被均勻地分開了（當然了，如果硬要說你的負載還是只集中在一個分區里，那就不是在這里要討論的問題了，有可能是你的哈希函數是不是有什麼樣的問題了）。
為什麼要進行這樣的分布呢，分布的好處在於，在有新機器加入的時候，只需要替換原有分區即可，如圖三所示：
圖三：加入一個新的節點D的情況
同樣是圖二里的情況，12個分區分到ABC三個節點，圖三中就是再進入了一個新的節點D，從圖上的重新分布情況可以得出，所有節點里只需要轉移四分之一的數據到新來的節點即可，同時，新節點的負載也伴隨分區的轉移而轉移了（這里的12個分區太少了，如果是1200個分區甚至是12000個分區的話，這個結論就是正確的了，12個分區只為演示用）。
從Dynamo的NRW看CAP法則
在Dynamo系統中，第一次提出來了NRW的方法。
N：復制的次數；
R：讀數據的最小節點數；
W：寫成功的最小分區數。
這三個數的具體作用是用來靈活地調整Dynamo系統的可用性與一致性。
舉個例子來說，如果R=1的話，表示最少只需要去一個節點讀數據即可，讀到即返回，這時是可用性是很高的，但並不能保證數據的一致性，如果說W同時為1的 話，那可用性更新是最高的一種情況，但這時完全不能保障數據的一致性，因為在可供復制的N個節點里，只需要寫成功一次就返回了，也就意味著，有可能在讀的這一次並沒有真正讀到需要的數據（一致性相當的不好）。如果W=R=N=3的話，也就是說，每次寫的時候，都保證所有要復制的點都寫成功，讀的時候也是都讀到，這樣子讀出來的數據一定是正確的，但是其性能大打折扣，也就是說，數據的一致性非常的高，但系統的可用性卻非常低了。如果R + W > N能夠保證我們「讀我們所寫」，Dynamo推薦使用322的組合。
Dynamo系統的數據分區讓整個網路的可擴展性其實是一個固定值（你分了多少區，實際上網路里擴展節點的上限就是這個數），通過NRW來達到另外兩個方 向上的調整。
Dynamo的一些增加可用性的補救
針對一些經常可能出現的問題，Dynamo還提供了一些解決的方法。
第一個是hinted handoff數據的加入：在一個節點出現臨時性故障時，數據會自動進入列表中的下一個節點進行寫操作，並標記為handoff數據，在收到通知需要原節點恢復時重新把數據推回去。這能使系統的寫入成功大大提升。
第二個是向量時鍾來做版本控制：用一個向量（比如說[a,1]表示這個數據在a節點第一次寫入）來標記數據的版本，這樣在有版本沖突的時候，可以追溯到出現問題的地方。這可以使數據的最終一致成為可能。（Cassandra未用vector clock，而只用client timestamps也達到了同樣效果。）
第三個是Merkle tree來提速數據變動時的查找：使用Merkle tree為數據建立索引，只要任意數據有變動，都將快速反饋出來。
第四個是Gossip協議：一種通訊協議，目標是讓節點與節點之間通信，省略中心節點的存在，使網路達到去中心化。提高系統的可用性。

㈢ 為什麼 elasticsearch 獲取節點信息失敗

為什麼 elasticsearch 獲取節點信息失敗
早期 es 版本有 split brain 問題，俗稱腦裂。ES 採用的是一種 P2P 的 gossip 選舉方式，Gossip 演算法因為 Cassandra 而名聲大噪。
背景:
Gossip 演算法, 靈感來自辦公室八卦, 只要一個人八卦一下, 在有限的時間內所有人都會知道該八卦的信息,
這種方式也與病毒傳播類似, 因為 Gossip 有眾多的別名"閑話演算法"、"疫情傳播演算法"、"病毒感染演算法"、"謠言傳播(Rumor-Mongering)演算法".
但 Gossip 並不是一個新東西, 之前的泛洪查找、路由演算法都歸屬於這個范疇, 不同的是 Gossip 給這類演算法提供了明確的語義、具體實施方法及收斂性證明.

特點:
Gossip 演算法又被稱為反熵(Anti-Entropy), 熵是物理學上的一個概念, 代表雜亂無章, 而反熵就是在雜亂無章中尋求一致,
這充分說明了 Gossip 的特點：在一個有界網路中, 每個節點都隨機地與其他節點通信, 經過一番雜亂無章的通信,
最終所有節點的狀態都會達成一致. 每個節點可能知道所有其他節點, 也可能僅知道幾個鄰居節點,
只要這些節可以通過網路連通, 最終他們的狀態都是一致的, 當然這也是疫情傳播的特點.
要注意到的一點是, 即使有的節點因宕機而重啟, 有新節點加入, 但經過一段時間後,
這些節點的狀態也會與其他節點達成一致, 也就是說, Gossip 天然具有分布式容錯的優點.

本質:
Gossip 是一個帶冗餘的容錯演算法, 更進一步, Gossip 是一個最終一致性演算法。
雖然無法保證在某個時刻所有節點狀態一致, 但可以保證在」最終「所有節點一致, 」最終「是一個現實中存在, 但理論上無法證明的時間點。
因為 Gossip 不要求節點知道所有其他節點, 因此又具有去中心化的特點, 節點之間完全對等, 不需要任何的中心節點。
實際上 Gossip 可以用於眾多能接受「最終一致性」的領域：失敗檢測、路由同步、Pub/Sub、動態負載均衡。
但 Gossip 的缺點也很明顯, 冗餘通信會對網路帶寬、CPU 資源造成很大的負載, 而這些負載又受限於通信頻率, 該頻率又影響著演算法收斂的速度。

㈣ memcached和redis的區別

前者是大型機器

㈤ php面試題 memcache和redis的區別

Redis與Memcached的區別

傳統MySQL+ Memcached架構遇到的問題

實際MySQL是適合進行海量數據存儲的，通過Memcached將熱點數據載入到cache，加速訪問，很多公司都曾經使用過這樣的架構，但隨著業務數據量的不斷增加，和訪問量的持續增長，我們遇到了很多問題：

1.MySQL需要不斷進行拆庫拆表，Memcached也需不斷跟著擴容，擴容和維護工作占據大量開發時間。

2.Memcached與MySQL資料庫數據一致性問題。

3.Memcached數據命中率低或down機，大量訪問直接穿透到DB，MySQL無法支撐。

4.跨機房cache同步問題。

眾多NoSQL百花齊放，如何選擇

最近幾年，業界不斷涌現出很多各種各樣的NoSQL產品，那麼如何才能正確地使用好這些產品，最大化地發揮其長處，是我們需要深入研究和思考的
問題，實際歸根結底最重要的是了解這些產品的定位，並且了解到每款產品的tradeoffs，在實際應用中做到揚長避短，總體上這些NoSQL主要用於解
決以下幾種問題

1.少量數據存儲，高速讀寫訪問。此類產品通過數據全部in-momery 的方式來保證高速訪問，同時提供數據落地的功能，實際這正是Redis最主要的適用場景。

2.海量數據存儲，分布式系統支持，數據一致性保證，方便的集群節點添加/刪除。

3.這方面最具代表性的是dynamo和bigtable 2篇論文所闡述的思路。前者是一個完全無中心的設計，節點之間通過gossip方式傳遞集群信息，數據保證最終一致性，後者是一個中心化的方案設計，通過類似一個分布式鎖服務來保證強一致性,數據寫入先寫內存和redo log，然後定期compat歸並到磁碟上，將隨機寫優化為順序寫，提高寫入性能。

4.Schema free，auto-sharding等。比如目前常見的一些文檔資料庫都是支持schema-free的，直接存儲json格式數據，並且支持auto-sharding等功能，比如mongodb。

面對這些不同類型的NoSQL產品,我們需要根據我們的業務場景選擇最合適的產品。

Redis適用場景，如何正確的使用

前面已經分析過，Redis最適合所有數據in-momory的場景，雖然Redis也提供持久化功能，但實際更多的是一個disk-
backed的功能，跟傳統意義上的持久化有比較大的差別，那麼可能大家就會有疑問，似乎Redis更像一個加強版的Memcached，那麼何時使用
Memcached,何時使用Redis呢?

如果簡單地比較Redis與Memcached的區別，大多數都會得到以下觀點：

1 Redis不僅僅支持簡單的k/v類型的數據，同時還提供list，set，zset，hash等數據結構的存儲。

2 Redis支持數據的備份，即master-slave模式的數據備份。

3 Redis支持數據的持久化，可以將內存中的數據保持在磁碟中，重啟的時候可以再次載入進行使用。

拋開這些，可以深入到Redis內部構造去觀察更加本質的區別，理解Redis的設計。

在
Redis中，並不是所有的數據都一直存儲在內存中的。這是和Memcached相比一個最大的區別。Redis只會緩存所有的
key的信息，如果Redis發現內存的使用量超過了某一個閥值，將觸發swap的操作，Redis根據「swappability =
age*log(size_in_memory)」計
算出哪些key對應的value需要swap到磁碟。然後再將這些key對應的value持久化到磁碟中，同時在內存中清除。這種特性使得Redis可以

保持超過其機器本身內存大小的數據。當然，機器本身的內存必須要能夠保持所有的key，畢竟這些數據是不會進行swap操作的。同時由於Redis將內存

中的數據swap到磁碟中的時候，提供服務的主線程和進行swap操作的子線程會共享這部分內存，所以如果更新需要swap的數據，Redis將阻塞這個
操作，直到子線程完成swap操作後才可以進行修改。

使用Redis特有內存模型前後的情況對比：
VM off: 300k keys, 4096 bytes values: 1.3G used
VM on: 300k keys, 4096 bytes values: 73M used
VM off: 1 million keys, 256 bytes values: 430.12M used
VM on: 1 million keys, 256 bytes values: 160.09M used
VM on: 1 million keys, values as large as you want, still: 160.09M used

當

從Redis中讀取數據的時候，如果讀取的key對應的value不在內存中，那麼Redis就需要從swap文件中載入相應數據，然後再返回給請求方。

這里就存在一個I/O線程池的問題。在默認的情況下，Redis會出現阻塞，即完成所有的swap文件載入後才會相應。這種策略在客戶端的數量較小，進行

批量操作的時候比較合適。但是如果將Redis應用在一個大型的網站應用程序中，這顯然是無法滿足大並發的情況的。所以Redis運行我們設置I/O線程
池的大小，對需要從swap文件中載入相應數據的讀取請求進行並發操作，減少阻塞的時間。

如果希望在海量數據的環境中使用好Redis，我相信理解Redis的內存設計和阻塞的情況是不可缺少的。

補充的知識點：

memcached和redis的比較

1 網路IO模型

Memcached是多線程，非阻塞IO復用的網路模型，分為監聽主線程和worker子線程，監聽線程監聽網路連接，接受請求後，將連接描述
字pipe 傳遞給worker線程，進行讀寫IO, 網路層使用libevent封裝的事件庫，多線程模型可以發揮多核作用，但是引入了cache
coherency和鎖的問題，比如，Memcached最常用的stats
命令，實際Memcached所有操作都要對這個全局變數加鎖，進行計數等工作，帶來了性能損耗。

(Memcached網路IO模型)

Redis使用單線程的IO復用模型，自己封裝了一個簡單的AeEvent事件處理框架，主要實現了epoll、kqueue和select，
對於單純只有IO操作來說，單線程可以將速度優勢發揮到最大，但是Redis也提供了一些簡單的計算功能，比如排序、聚合等，對於這些操作，單線程模型實
際會嚴重影響整體吞吐量，CPU計算過程中，整個IO調度都是被阻塞住的。

2.內存管理方面

Memcached使用預分配的內存池的方式，使用slab和大小不同的chunk來管理內存，Item根據大小選擇合適的chunk存儲，內
存池的方式可以省去申請/釋放內存的開銷，並且能減小內存碎片產生，但這種方式也會帶來一定程度上的空間浪費，並且在內存仍然有很大空間時，新的數據也可
能會被剔除，原因可以參考Timyang的文章：http://timyang.net/data/Memcached-lru-evictions/

Redis使用現場申請內存的方式來存儲數據，並且很少使用free-list等方式來優化內存分配，會在一定程度上存在內存碎片，Redis
跟據存儲命令參數，會把帶過期時間的數據單獨存放在一起，並把它們稱為臨時數據，非臨時數據是永遠不會被剔除的，即便物理內存不夠，導致swap也不會剔
除任何非臨時數據(但會嘗試剔除部分臨時數據)，這點上Redis更適合作為存儲而不是cache。

3.數據一致性問題

Memcached提供了cas命令，可以保證多個並發訪問操作同一份數據的一致性問題。 Redis沒有提供cas 命令，並不能保證這點，不過Redis提供了事務的功能，可以保證一串 命令的原子性，中間不會被任何操作打斷。

4.存儲方式及其它方面

Memcached基本只支持簡單的key-value存儲，不支持枚舉，不支持持久化和復制等功能

Redis除key/value之外，還支持list,set,sorted set,hash等眾多數據結構，提供了KEYS

進行枚舉操作，但不能在線上使用，如果需要枚舉線上數據，Redis提供了工具可以直接掃描其mp文件，枚舉出所有數據，Redis還同時提供了持久化和復制等功能。

5.關於不同語言的客戶端支持

在不同語言的客戶端方面，Memcached和Redis都有豐富的第三方客戶端可供選擇，不過因為Memcached發展的時間更久一些，目
前看在客戶端支持方面，Memcached的很多客戶端更加成熟穩定，而Redis由於其協議本身就比Memcached復雜，加上作者不斷增加新的功能
等，對應第三方客戶端跟進速度可能會趕不上，有時可能需要自己在第三方客戶端基礎上做些修改才能更好的使用。

根據以上比較不難看出，當我們不希望數據被踢出，或者需要除key/value之外的更多數據類型時，或者需要落地功能時，使用Redis比使用Memcached更合適。

關於Redis的一些周邊功能

Redis除了作為存儲之外還提供了一些其它方面的功能，比如聚合計算、pubsub、scripting等，對於此類功能需要了解其實現原
理，清楚地了解到它的局限性後，才能正確的使用，比如pubsub功能，這個實際是沒有任何持久化支持的，消費方連接閃斷或重連之間過來的消息是會全部丟
失的，又比如聚合計算和scripting等功能受Redis單線程模型所限，是不可能達到很高的吞吐量的，需要謹慎使用。

總的來說Redis作者是一位非常勤奮的開發者，可以經常看到作者在嘗試著各種不同的新鮮想法和思路，針對這些方面的功能就要求我們需要深入了解後再使用。

總結：

1.Redis使用最佳方式是全部數據in-memory。

2.Redis更多場景是作為Memcached的替代者來使用。

3.當需要除key/value之外的更多數據類型支持時，使用Redis更合適。

4.當存儲的數據不能被剔除時，使用Redis更合適。

談談Memcached與Redis(一)

1. Memcached簡介

Memcached是以LiveJurnal旗下Danga Interactive公司的Bard
Fitzpatric為首開發的高性能分布式內存緩存伺服器。其本質上就是一個內存key-value資料庫，但是不支持數據的持久化，伺服器關閉之後數
據全部丟失。Memcached使用C語言開發，在大多數像Linux、BSD和Solaris等POSIX系統上，只要安裝了libevent即可使
用。在Windows下，它也有一個可用的非官方版本(http://code.jellycan.com/memcached/)。Memcached
的客戶端軟體實現非常多，包括C/C++, PHP, Java, Python, Ruby, Perl, Erlang,
Lua等。當前Memcached使用廣泛，除了LiveJournal以外還有Wikipedia、Flickr、Twitter、Youtube和
WordPress等。

在Window系統下，Memcached的安裝非常方便，只需從以上給出的地址下載可執行軟體然後運行memcached.exe –d
install即可完成安裝。在Linux等系統下，我們首先需要安裝libevent，然後從獲取源碼，make && make
install即可。默認情況下，Memcached的伺服器啟動程序會安裝到/usr/local/bin目錄下。在啟動Memcached時，我們可
以為其配置不同的啟動參數。

1.1 Memcache配置

Memcached伺服器在啟動時需要對關鍵的參數進行配置，下面我們就看一看Memcached在啟動時需要設定哪些關鍵參數以及這些參數的作用。

1）-p <num> Memcached的TCP監聽埠，預設配置為11211；

2）-U <num> Memcached的UDP監聽埠，預設配置為11211，為0時表示關閉UDP監聽；

3）-s <file> Memcached監聽的UNIX套接字路徑；

4）-a <mask> 訪問UNIX套接字的八進制掩碼，預設配置為0700；

5）-l <addr> 監聽的伺服器IP地址，默認為所有網卡；

6）-d 為Memcached伺服器啟動守護進程；

7）-r 最大core文件大小；

8）-u <username> 運行Memcached的用戶，如果當前為root的話需要使用此參數指定用戶；

9）-m <num> 分配給Memcached使用的內存數量，單位是MB；

10）-M 指示Memcached在內存用光的時候返回錯誤而不是使用LRU演算法移除數據記錄；

11）-c <num> 最大並發連數，預設配置為1024；

12）-v –vv –vvv 設定伺服器端列印的消息的詳細程度，其中-v僅列印錯誤和警告信息，-vv在-v的基礎上還會列印客戶端的命令和相應，-vvv在-vv的基礎上還會列印內存狀態轉換信息；

13）-f <factor> 用於設置chunk大小的遞增因子；

14）-n <bytes> 最小的chunk大小，預設配置為48個位元組；

15）-t <num> Memcached伺服器使用的線程數，預設配置為4個；

16）-L 嘗試使用大內存頁；

17）-R 每個事件的最大請求數，預設配置為20個；

18）-C 禁用CAS，CAS模式會帶來8個位元組的冗餘；

2. Redis簡介

Redis是一個開源的key-value存儲系統。與Memcached類似，Redis將大部分數據存儲在內存中，支持的數據類型包括：字
符串、哈希表、鏈表、集合、有序集合以及基於這些數據類型的相關操作。Redis使用C語言開發，在大多數像Linux、BSD和Solaris等
POSIX系統上無需任何外部依賴就可以使用。Redis支持的客戶端語言也非常豐富，常用的計算機語言如C、C#、C++、Object-C、PHP、
Python、Java、Perl、Lua、Erlang等均有可用的客戶端來訪問Redis伺服器。當前Redis的應用已經非常廣泛，國內像新浪、淘
寶，國外像Flickr、Github等均在使用Redis的緩存服務。

Redis的安裝非常方便，只需從http://redis.io/download獲取源碼，然後make && make

install即可。默認情況下，Redis的伺服器啟動程序和客戶端程序會安裝到/usr/local/bin目錄下。在啟動Redis伺服器時，我們
需要為其指定一個配置文件，預設情況下配置文件在Redis的源碼目錄下，文件名為redis.conf。