區塊鏈的kafaka和reft

『壹』 區塊鏈目前用到哪些共識機制它們各自的優缺點和適用范圍是什麼

目前主要有四大類共識機制：Pow、Pos、DPos、Pool
1、Pow工作量證明，就是大家熟悉的挖礦，通過與或運算，計算出一個滿足規則的隨機數，即獲得本次記賬權，發出本輪需要記錄的數據，全網其它節點驗證後一起存儲；
優點：完全去中心化，節點自由進出；
缺點：目前bitcoin已經吸引全球大部分的算力，其它再用Pow共識機制的區塊鏈應用很難獲得相同的算力來保障自身的安全；挖礦造成大量的資源浪費；共識達成的周期較長，不適合商業應用

2、Pos權益證明，Pow的一種升級共識機制；根據每個節點所佔代幣的比例和時間；等比例的降低挖礦難度，從而加快找隨機數的速度。
優點：在一定程度上縮短了共識達成的時間
缺點：還是需要挖礦，本質上沒有解決商業應用的痛點

3、DPos股份授權證明機制，類似於董事會投票，持幣者投出一定數量的節點，代理他們進行驗證和記賬。
優點：大幅縮小參與驗證和記賬節點的數量，可以達到秒級的共識驗證
缺點：整個共識機制還是依賴於代幣，很多商業應用是不需要代幣存在的

4、Pool驗證池，基於傳統的分布式一致性技術，加上數據驗證機制；是目前行業鏈大范圍在使用的共識機制
優點：不需要代幣也可以工作，在成熟的分布式一致性演算法（Pasox、Raft）基礎上，實現秒級共識驗證；
缺點：去中心化程度不如bictoin；更適合多方參與的多中心商業模式

在使用共識機制，保證數據一致性時的巨大優勢（共識機制則是Ripple首先提出的，數據正確性優先的網路交易同步機制，在共識網路中，無論軟體代碼怎麼變動，無法取得共識就無法進入網路，更不要提分叉了）。
——————————————————
PS：稍微自黑下，雖然共識機制絕對能確保任何時候都不會產生硬分叉。但是，這種機制的缺點也比較明顯，那就是要取得與其他節點的共識，明顯要比當前Bitcoin網路漫長的多。極端情況下，在Ripple共識機制網路中掉線的後果也是很恐怖的。

有可能你家停電一天，第二天整個系統就再也無法與其它Rippled節點取得共識了（共識機制事實上需要超過80%的節點承認了你的數據，你的提交才會被其它節點接受，否則就會被排它的拒絕連接），甚至只能清空自己全部500多GB數據重新同步才能連上其它Ripple節點。

所以目前來說，現有的Rippled端並不適合民用（商用的話影響就比較小，比如RL自己的Rippled節點託管在亞馬遜雲數據中心，長時間無響應是可以高額索賠的，而且那種地方除了大型災害幾乎不會斷），這也是RL一直想改進的方面之一。

『貳』 區塊鏈的核心技術是什麼

簡單來說，區塊鏈是一個提供了拜占庭容錯、並保證了最終一致性的分布式資料庫；從數據結構上看，它是基於時間序列的鏈式數據塊結構；從節點拓撲上看，它所有的節點互為冗餘備份；從操作上看，它提供了基於密碼學的公私鑰管理體系來管理賬戶。
或許以上概念過於抽象，我來舉個例子，你就好理解了。
你可以想像有 100 台計算機分布在世界各地，這 100 台機器之間的網路是廣域網，並且，這 100 台機器的擁有者互相不信任。
那麼，我們採用什麼樣的演算法（共識機制）才能夠為它提供一個可信任的環境，並且使得：
節點之間的數據交換過程不可篡改，並且已生成的歷史記錄不可被篡改；
每個節點的數據會同步到最新數據，並且會驗證最新數據的有效性；
基於少數服從多數的原則，整體節點維護的數據可以客觀反映交換歷史。
區塊鏈就是為了解決上述問題而產生的技術方案。
二、區塊鏈的核心技術組成
無論是公鏈還是聯盟鏈，至少需要四個模塊組成：P2P 網路協議、分布式一致性演算法（共識機制）、加密簽名演算法、賬戶與存儲模型。
1、P2P 網路協議
P2P 網路協議是所有區塊鏈的最底層模塊，負責交易數據的網路傳輸和廣播、節點發現和維護。
通常我們所用的都是比特幣 P2P 網路協議模塊，它遵循一定的交互原則。比如：初次連接到其他節點會被要求按照握手協議來確認狀態，在握手之後開始請求 Peer 節點的地址數據以及區塊數據。
這套 P2P 交互協議也具有自己的指令集合，指令體現在在消息頭（Message Header) 的 命令（command）域中，這些命令為上層提供了節點發現、節點獲取、區塊頭獲取、區塊獲取等功能，這些功能都是非常底層、非常基礎的功能。如果你想要深入了解，可以參考比特幣開發者指南中的 Peer Discovery 的章節。
2、分布式一致性演算法
在經典分布式計算領域，我們有 Raft 和 Paxos 演算法家族代表的非拜占庭容錯演算法，以及具有拜占庭容錯特性的 PBFT 共識演算法。
如果從技術演化的角度來看，我們可以得出一個圖，其中，區塊鏈技術把原來的分布式演算法進行了經濟學上的拓展。
在圖中我們可以看到，計算機應用在最開始多為單點應用，高可用方便採用的是冷災備，後來發展到異地多活，這些異地多活可能採用的是負載均衡和路由技術，隨著分布式系統技術的發展，我們過渡到了 Paxos 和 Raft 為主的分布式系統。
而在區塊鏈領域，多採用 PoW 工作量證明演算法、PoS 權益證明演算法，以及 DPoS 代理權益證明演算法，以上三種是業界主流的共識演算法，這些演算法與經典分布式一致性演算法不同的是，它們融入了經濟學博弈的概念，下面我分別簡單介紹這三種共識演算法。
PoW： 通常是指在給定的約束下，求解一個特定難度的數學問題，誰解的速度快，誰就能獲得記賬權（出塊）權利。這個求解過程往往會轉換成計算問題，所以在比拼速度的情況下，也就變成了誰的計算方法更優，以及誰的設備性能更好。
PoS： 這是一種股權證明機制，它的基本概念是你產生區塊的難度應該與你在網路里所佔的股權（所有權佔比）成比例，它實現的核心思路是：使用你所鎖定代幣的幣齡（CoinAge）以及一個小的工作量證明，去計算一個目標值，當滿足目標值時，你將可能獲取記賬權。
DPoS： 簡單來理解就是將 PoS 共識演算法中的記賬者轉換為指定節點數組成的小圈子，而不是所有人都可以參與記賬。這個圈子可能是 21 個節點，也有可能是 101 個節點，這一點取決於設計，只有這個圈子中的節點才能獲得記賬權。這將會極大地提高系統的吞吐量，因為更少的節點也就意味著網路和節點的可控。
3、加密簽名演算法
在區塊鏈領域，應用得最多的是哈希演算法。哈希演算法具有抗碰撞性、原像不可逆、難題友好性等特徵。
其中，難題友好性正是眾多 PoW 幣種賴以存在的基礎，在比特幣中，SHA256 演算法被用作工作量證明的計算方法，也就是我們所說的挖礦演算法。
而在萊特幣身上，我們也會看到 Scrypt 演算法，該演算法與 SHA256 不同的是，需要大內存支持。而在其他一些幣種身上，我們也能看到基於 SHA3 演算法的挖礦演算法。以太坊使用了 Dagger-Hashimoto 演算法的改良版本，並命名為 Ethash，這是一個 IO 難解性的演算法。
當然，除了挖礦演算法，我們還會使用到 RIPEMD160 演算法，主要用於生成地址，眾多的比特幣衍生代碼中，絕大部分都採用了比特幣的地址設計。
除了地址，我們還會使用到最核心的，也是區塊鏈 Token 系統的基石：公私鑰密碼演算法。
在比特幣大類的代碼中，基本上使用的都是 ECDSA。ECDSA 是 ECC 與 DSA 的結合，整個簽名過程與 DSA 類似，所不一樣的是簽名中採取的演算法為 ECC（橢圓曲線函數）。
從技術上看，我們先從生成私鑰開始，其次從私鑰生成公鑰，最後從公鑰生成地址，以上每一步都是不可逆過程，也就是說無法從地址推導出公鑰，從公鑰推導到私鑰。
4、賬戶與交易模型
從一開始的定義我們知道，僅從技術角度可以認為區塊鏈是一種分布式資料庫，那麼，多數區塊鏈到底使用了什麼類型的資料庫呢？
我在設計元界區塊鏈時，參考了多種資料庫，有 NoSQL 的 BerkelyDB、LevelDB，也有一些幣種採用基於 SQL 的 SQLite。這些作為底層的存儲設施，多以輕量級嵌入式資料庫為主，由於並不涉及區塊鏈的賬本特性，這些存儲技術與其他場合下的使用並沒有什麼不同。
區塊鏈的賬本特性，通常分為 UTXO 結構以及基於 Accout-Balance 結構的賬本結構，我們也稱為賬本模型。UTXO 是「unspent transaction input/output」的縮寫，翻譯過來就是指「未花費的交易輸入輸出」。
這個區塊鏈中 Token 轉移的一種記賬模式，每次轉移均以輸入輸出的形式出現；而在 Balance 結構中，是沒有這個模式的。

『叄』 區塊鏈幾大共識機制及優缺點

首先，沒有一種共識機制是完美無缺的，各共識機制都有其優缺點，有些共識機制是為解決一些特定的問題而生。
1.pow( Proof of Work）工作量證明
一句話介紹：乾的越多，收的越多。
依賴機器進行數學運算來獲取記賬權，資源消耗相比其他共識機制高、可監管性弱，同時每次達成共識需要全網共同參與運算，性能效率比較低，容錯性方面允許全網50%節點出錯。
優點：
1)演算法簡單，容易實現；
2)節點間無需交換額外的信息即可達成共識；
3)破壞系統需要投入極大的成本；
缺點：
1)浪費能源；
2)區塊的確認時間難以縮短；
3)新的區塊鏈必須找到一種不同的散列演算法，否則就會面臨比特幣的算力攻擊；
4)容易產生分叉，需要等待多個確認；
5)永遠沒有最終性，需要檢查點機制來彌補最終性；
2.POS Proof of Stake，權益證明
一句話介紹：持有越多，獲得越多。
主要思想是節點記賬權的獲得難度與節點持有的權益成反比，相對於PoW，一定程度減少了數學運算帶來的資源消耗，性能也得到了相應的提升，但依然是基於哈希運算競爭獲取記賬權的方式，可監管性弱。該共識機制容錯性和PoW相同。它是Pow的一種升級共識機制，根據每個節點所佔代幣的比例和時間，等比例的降低挖礦難度，從而加快找隨機數的速度
優點：在一定程度上縮短了共識達成的時間；不再需要大量消耗能源挖礦。
缺點：還是需要挖礦，本質上沒有解決商業應用的痛點；所有的確認都只是一個概率上的表達，而不是一個確定性的事情，理論上有可能存在其他攻擊影響。例如，以太坊的DAO攻擊事件造成以太坊硬分叉，而ETC由此事件出現，事實上證明了此次硬分叉的失敗。
DPOS與POS原理相同，只是選了一些「人大代表」。
BitShares社區首先提出了DPoS機制。
與PoS的主要區別在於節點選舉若干代理人，由代理人驗證和記賬。其合規監管、性能、資源消耗和容錯性與PoS相似。類似於董事會投票，持幣者投出一定數量的節點，代理他們進行驗證和記賬。
DPoS的工作原理為：
去中心化表示每個股東按其持股比例擁有影響力，51%股東投票的結果將是不可逆且有約束力的。其挑戰是通過及時而高效的方法達到51%批准。為達到這個目標，每個股東可以將其投票權授予一名代表。獲票數最多的前100位代表按既定時間表輪流產生區塊。每名代表分配到一個時間段來生產區塊。所有的代表將收到等同於一個平均水平的區塊所含交易費的10%作為報酬。如果一個平均水平的區塊含有100股作為交易費，一名代表將獲得1股作為報酬。
網路延遲有可能使某些代表沒能及時廣播他們的區塊，而這將導致區塊鏈分叉。然而，這不太可能發生，因為製造區塊的代表可以與製造前後區塊的代表建立直接連接。建立這種與你之後的代表(也許也包括其後的那名代表)的直接連接是為了確保你能得到報酬。
該模式可以每30秒產生一個新區塊，並且在正常的網路條件下區塊鏈分叉的可能性極其小，即使發生也可以在幾分鍾內得到解決。
成為代表：
成為一名代表，你必須在網路上注冊你的公鑰，然後分配到一個32位的特有標識符。然後該標識符會被每筆交易數據的「頭部」引用。
授權選票：
每個錢包有一個參數設置窗口，在該窗口裡用戶可以選擇一個或更多的代表，並將其分級。一經設定，用戶所做的每筆交易將把選票從「輸入代表」轉移至「輸出代表」。一般情況下，用戶不會創建特別以投票為目的的交易，因為那將耗費他們一筆交易費。但在緊急情況下，某些用戶可能覺得通過支付費用這一更積極的方式來改變他們的投票是值得的。
保持代表誠實：
每個錢包將顯示一個狀態指示器，讓用戶知道他們的代表表現如何。如果他們錯過了太多的區塊，那麼系統將會推薦用戶去換一個新的代表。如果任何代表被發現簽發了一個無效的區塊，那麼所有標准錢包將在每個錢包進行更多交易前要求選出一個新代表。
抵抗攻擊：
在抵抗攻擊上，因為前100名代表所獲得的權力權是相同的，每名代表都有一份相等的投票權。因此，無法通過獲得超過1%的選票而將權力集中到一個單一代表上。因為只有100名代表，可以想像一個攻擊者對每名輪到生產區塊的代表依次進行拒絕服務攻擊。幸運的是，由於事實上每名代表的標識是其公鑰而非IP地址，這種特定攻擊的威脅很容易被減輕。這將使確定DDOS攻擊目標更為困難。而代表之間的潛在直接連接，將使妨礙他們生產區塊變得更為困難。
優點：大幅縮小參與驗證和記賬節點的數量，可以達到秒級的共識驗證。
缺點：整個共識機制還是依賴於代幣，很多商業應用是不需要代幣存在的。
3.PBFT ：Practical Byzantine Fault Tolerance，實用拜占庭容錯
介紹：在保證活性和安全性（liveness & safety）的前提下提供了(n-1)/3的容錯性。
在分布式計算上，不同的計算機透過訊息交換，嘗試達成共識；但有時候，系統上協調計算機（Coordinator / Commander）或成員計算機 （Member /Lieutanent）可能因系統錯誤並交換錯的訊息，導致影響最終的系統一致性。
拜占庭將軍問題就根據錯誤計算機的數量，尋找可能的解決辦法，這無法找到一個絕對的答案，但只可以用來驗證一個機制的有效程度。
而拜占庭問題的可能解決方法為：
在 N ≥ 3F + 1 的情況下一致性是可能解決。其中，N為計算機總數，F為有問題計算機總數。信息在計算機間互相交換後，各計算機列出所有得到的信息，以大多數的結果作為解決辦法。
1）系統運轉可以脫離幣的存在，pbft演算法共識各節點由業務的參與方或者監管方組成，安全性與穩定性由業務相關方保證。
2）共識的時延大約在2~5秒鍾，基本達到商用實時處理的要求。
3）共識效率高，可滿足高頻交易量的需求。
缺點：
1)當有1/3或以上記賬人停止工作後，系統將無法提供服務；
2)當有1/3或以上記賬人聯合作惡，且其它所有的記賬人被恰好分割為兩個網路孤島時，惡意記賬人可以使系統出現分叉，但是會留下密碼學證據
下面說兩個國產的吧~
4.dBFT： delegated BFT 授權拜占庭容錯演算法
介紹：小蟻採用的dBFT機制，是由權益來選出記賬人，然後記賬人之間通過拜占庭容錯演算法來達成共識。
此演算法在PBFT基礎上進行了以下改進：
將C/S架構的請求響應模式，改進為適合P2P網路的對等節點模式；
將靜態的共識參與節點改進為可動態進入、退出的動態共識參與節點；
為共識參與節點的產生設計了一套基於持有權益比例的投票機制，通過投票決定共識參與節點（記賬節點）；
在區塊鏈中引入數字證書，解決了投票中對記賬節點真實身份的認證問題。
優點：
1)專業化的記賬人；
2)可以容忍任何類型的錯誤；
3)記賬由多人協同完成，每一個區塊都有最終性，不會分叉；
4)演算法的可靠性有嚴格的數學證明；
缺點：
1)當有1/3或以上記賬人停止工作後，系統將無法提供服務；
2)當有1/3或以上記賬人聯合作惡，且其它所有的記賬人被恰好分割為兩個網路孤島時，惡意記賬人可以使系統出現分叉，但是會留下密碼學證據；
以上總結來說，dBFT機制最核心的一點，就是最大限度地確保系統的最終性，使區塊鏈能夠適用於真正的金融應用場景。
5.POOL驗證池
基於傳統的分布式一致性技術，加上數據驗證機制。
優點：不需要代幣也可以工作，在成熟的分布式一致性演算法（Pasox、Raft）基礎上，實現秒級共識驗證。
缺點：去中心化程度不如bictoin；更適合多方參與的多中心商業模式。