区块链的kafaka和reft

『壹』 区块链目前用到哪些共识机制它们各自的优缺点和适用范围是什么

目前主要有四大类共识机制：Pow、Pos、DPos、Pool
1、Pow工作量证明，就是大家熟悉的挖矿，通过与或运算，计算出一个满足规则的随机数，即获得本次记账权，发出本轮需要记录的数据，全网其它节点验证后一起存储；
优点：完全去中心化，节点自由进出；
缺点：目前bitcoin已经吸引全球大部分的算力，其它再用Pow共识机制的区块链应用很难获得相同的算力来保障自身的安全；挖矿造成大量的资源浪费；共识达成的周期较长，不适合商业应用

2、Pos权益证明，Pow的一种升级共识机制；根据每个节点所占代币的比例和时间；等比例的降低挖矿难度，从而加快找随机数的速度。
优点：在一定程度上缩短了共识达成的时间
缺点：还是需要挖矿，本质上没有解决商业应用的痛点

3、DPos股份授权证明机制，类似于董事会投票，持币者投出一定数量的节点，代理他们进行验证和记账。
优点：大幅缩小参与验证和记账节点的数量，可以达到秒级的共识验证
缺点：整个共识机制还是依赖于代币，很多商业应用是不需要代币存在的

4、Pool验证池，基于传统的分布式一致性技术，加上数据验证机制；是目前行业链大范围在使用的共识机制
优点：不需要代币也可以工作，在成熟的分布式一致性算法（Pasox、Raft）基础上，实现秒级共识验证；
缺点：去中心化程度不如bictoin；更适合多方参与的多中心商业模式

在使用共识机制，保证数据一致性时的巨大优势（共识机制则是Ripple首先提出的，数据正确性优先的网络交易同步机制，在共识网络中，无论软件代码怎么变动，无法取得共识就无法进入网络，更不要提分叉了）。
——————————————————
PS：稍微自黑下，虽然共识机制绝对能确保任何时候都不会产生硬分叉。但是，这种机制的缺点也比较明显，那就是要取得与其他节点的共识，明显要比当前Bitcoin网络漫长的多。极端情况下，在Ripple共识机制网络中掉线的后果也是很恐怖的。

有可能你家停电一天，第二天整个系统就再也无法与其它Rippled节点取得共识了（共识机制事实上需要超过80%的节点承认了你的数据，你的提交才会被其它节点接受，否则就会被排它的拒绝连接），甚至只能清空自己全部500多GB数据重新同步才能连上其它Ripple节点。

所以目前来说，现有的Rippled端并不适合民用（商用的话影响就比较小，比如RL自己的Rippled节点托管在亚马逊云数据中心，长时间无响应是可以高额索赔的，而且那种地方除了大型灾害几乎不会断），这也是RL一直想改进的方面之一。

『贰』 区块链的核心技术是什么

简单来说，区块链是一个提供了拜占庭容错、并保证了最终一致性的分布式数据库；从数据结构上看，它是基于时间序列的链式数据块结构；从节点拓扑上看，它所有的节点互为冗余备份；从操作上看，它提供了基于密码学的公私钥管理体系来管理账户。
或许以上概念过于抽象，我来举个例子，你就好理解了。
你可以想象有 100 台计算机分布在世界各地，这 100 台机器之间的网络是广域网，并且，这 100 台机器的拥有者互相不信任。
那么，我们采用什么样的算法（共识机制）才能够为它提供一个可信任的环境，并且使得：
节点之间的数据交换过程不可篡改，并且已生成的历史记录不可被篡改；
每个节点的数据会同步到最新数据，并且会验证最新数据的有效性；
基于少数服从多数的原则，整体节点维护的数据可以客观反映交换历史。
区块链就是为了解决上述问题而产生的技术方案。
二、区块链的核心技术组成
无论是公链还是联盟链，至少需要四个模块组成：P2P 网络协议、分布式一致性算法（共识机制）、加密签名算法、账户与存储模型。
1、P2P 网络协议
P2P 网络协议是所有区块链的最底层模块，负责交易数据的网络传输和广播、节点发现和维护。
通常我们所用的都是比特币 P2P 网络协议模块，它遵循一定的交互原则。比如：初次连接到其他节点会被要求按照握手协议来确认状态，在握手之后开始请求 Peer 节点的地址数据以及区块数据。
这套 P2P 交互协议也具有自己的指令集合，指令体现在在消息头（Message Header) 的 命令（command）域中，这些命令为上层提供了节点发现、节点获取、区块头获取、区块获取等功能，这些功能都是非常底层、非常基础的功能。如果你想要深入了解，可以参考比特币开发者指南中的 Peer Discovery 的章节。
2、分布式一致性算法
在经典分布式计算领域，我们有 Raft 和 Paxos 算法家族代表的非拜占庭容错算法，以及具有拜占庭容错特性的 PBFT 共识算法。
如果从技术演化的角度来看，我们可以得出一个图，其中，区块链技术把原来的分布式算法进行了经济学上的拓展。
在图中我们可以看到，计算机应用在最开始多为单点应用，高可用方便采用的是冷灾备，后来发展到异地多活，这些异地多活可能采用的是负载均衡和路由技术，随着分布式系统技术的发展，我们过渡到了 Paxos 和 Raft 为主的分布式系统。
而在区块链领域，多采用 PoW 工作量证明算法、PoS 权益证明算法，以及 DPoS 代理权益证明算法，以上三种是业界主流的共识算法，这些算法与经典分布式一致性算法不同的是，它们融入了经济学博弈的概念，下面我分别简单介绍这三种共识算法。
PoW： 通常是指在给定的约束下，求解一个特定难度的数学问题，谁解的速度快，谁就能获得记账权（出块）权利。这个求解过程往往会转换成计算问题，所以在比拼速度的情况下，也就变成了谁的计算方法更优，以及谁的设备性能更好。
PoS： 这是一种股权证明机制，它的基本概念是你产生区块的难度应该与你在网络里所占的股权（所有权占比）成比例，它实现的核心思路是：使用你所锁定代币的币龄（CoinAge）以及一个小的工作量证明，去计算一个目标值，当满足目标值时，你将可能获取记账权。
DPoS： 简单来理解就是将 PoS 共识算法中的记账者转换为指定节点数组成的小圈子，而不是所有人都可以参与记账。这个圈子可能是 21 个节点，也有可能是 101 个节点，这一点取决于设计，只有这个圈子中的节点才能获得记账权。这将会极大地提高系统的吞吐量，因为更少的节点也就意味着网络和节点的可控。
3、加密签名算法
在区块链领域，应用得最多的是哈希算法。哈希算法具有抗碰撞性、原像不可逆、难题友好性等特征。
其中，难题友好性正是众多 PoW 币种赖以存在的基础，在比特币中，SHA256 算法被用作工作量证明的计算方法，也就是我们所说的挖矿算法。
而在莱特币身上，我们也会看到 Scrypt 算法，该算法与 SHA256 不同的是，需要大内存支持。而在其他一些币种身上，我们也能看到基于 SHA3 算法的挖矿算法。以太坊使用了 Dagger-Hashimoto 算法的改良版本，并命名为 Ethash，这是一个 IO 难解性的算法。
当然，除了挖矿算法，我们还会使用到 RIPEMD160 算法，主要用于生成地址，众多的比特币衍生代码中，绝大部分都采用了比特币的地址设计。
除了地址，我们还会使用到最核心的，也是区块链 Token 系统的基石：公私钥密码算法。
在比特币大类的代码中，基本上使用的都是 ECDSA。ECDSA 是 ECC 与 DSA 的结合，整个签名过程与 DSA 类似，所不一样的是签名中采取的算法为 ECC（椭圆曲线函数）。
从技术上看，我们先从生成私钥开始，其次从私钥生成公钥，最后从公钥生成地址，以上每一步都是不可逆过程，也就是说无法从地址推导出公钥，从公钥推导到私钥。
4、账户与交易模型
从一开始的定义我们知道，仅从技术角度可以认为区块链是一种分布式数据库，那么，多数区块链到底使用了什么类型的数据库呢？
我在设计元界区块链时，参考了多种数据库，有 NoSQL 的 BerkelyDB、LevelDB，也有一些币种采用基于 SQL 的 SQLite。这些作为底层的存储设施，多以轻量级嵌入式数据库为主，由于并不涉及区块链的账本特性，这些存储技术与其他场合下的使用并没有什么不同。
区块链的账本特性，通常分为 UTXO 结构以及基于 Accout-Balance 结构的账本结构，我们也称为账本模型。UTXO 是“unspent transaction input/output”的缩写，翻译过来就是指“未花费的交易输入输出”。
这个区块链中 Token 转移的一种记账模式，每次转移均以输入输出的形式出现；而在 Balance 结构中，是没有这个模式的。

『叁』 区块链几大共识机制及优缺点

首先，没有一种共识机制是完美无缺的，各共识机制都有其优缺点，有些共识机制是为解决一些特定的问题而生。
1.pow( Proof of Work）工作量证明
一句话介绍：干的越多，收的越多。
依赖机器进行数学运算来获取记账权，资源消耗相比其他共识机制高、可监管性弱，同时每次达成共识需要全网共同参与运算，性能效率比较低，容错性方面允许全网50%节点出错。
优点：
1)算法简单，容易实现；
2)节点间无需交换额外的信息即可达成共识；
3)破坏系统需要投入极大的成本；
缺点：
1)浪费能源；
2)区块的确认时间难以缩短；
3)新的区块链必须找到一种不同的散列算法，否则就会面临比特币的算力攻击；
4)容易产生分叉，需要等待多个确认；
5)永远没有最终性，需要检查点机制来弥补最终性；
2.POS Proof of Stake，权益证明
一句话介绍：持有越多，获得越多。
主要思想是节点记账权的获得难度与节点持有的权益成反比，相对于PoW，一定程度减少了数学运算带来的资源消耗，性能也得到了相应的提升，但依然是基于哈希运算竞争获取记账权的方式，可监管性弱。该共识机制容错性和PoW相同。它是Pow的一种升级共识机制，根据每个节点所占代币的比例和时间，等比例的降低挖矿难度，从而加快找随机数的速度
优点：在一定程度上缩短了共识达成的时间；不再需要大量消耗能源挖矿。
缺点：还是需要挖矿，本质上没有解决商业应用的痛点；所有的确认都只是一个概率上的表达，而不是一个确定性的事情，理论上有可能存在其他攻击影响。例如，以太坊的DAO攻击事件造成以太坊硬分叉，而ETC由此事件出现，事实上证明了此次硬分叉的失败。
DPOS与POS原理相同，只是选了一些“人大代表”。
BitShares社区首先提出了DPoS机制。
与PoS的主要区别在于节点选举若干代理人，由代理人验证和记账。其合规监管、性能、资源消耗和容错性与PoS相似。类似于董事会投票，持币者投出一定数量的节点，代理他们进行验证和记账。
DPoS的工作原理为：
去中心化表示每个股东按其持股比例拥有影响力，51%股东投票的结果将是不可逆且有约束力的。其挑战是通过及时而高效的方法达到51%批准。为达到这个目标，每个股东可以将其投票权授予一名代表。获票数最多的前100位代表按既定时间表轮流产生区块。每名代表分配到一个时间段来生产区块。所有的代表将收到等同于一个平均水平的区块所含交易费的10%作为报酬。如果一个平均水平的区块含有100股作为交易费，一名代表将获得1股作为报酬。
网络延迟有可能使某些代表没能及时广播他们的区块，而这将导致区块链分叉。然而，这不太可能发生，因为制造区块的代表可以与制造前后区块的代表建立直接连接。建立这种与你之后的代表(也许也包括其后的那名代表)的直接连接是为了确保你能得到报酬。
该模式可以每30秒产生一个新区块，并且在正常的网络条件下区块链分叉的可能性极其小，即使发生也可以在几分钟内得到解决。
成为代表：
成为一名代表，你必须在网络上注册你的公钥，然后分配到一个32位的特有标识符。然后该标识符会被每笔交易数据的“头部”引用。
授权选票：
每个钱包有一个参数设置窗口，在该窗口里用户可以选择一个或更多的代表，并将其分级。一经设定，用户所做的每笔交易将把选票从“输入代表”转移至“输出代表”。一般情况下，用户不会创建特别以投票为目的的交易，因为那将耗费他们一笔交易费。但在紧急情况下，某些用户可能觉得通过支付费用这一更积极的方式来改变他们的投票是值得的。
保持代表诚实：
每个钱包将显示一个状态指示器，让用户知道他们的代表表现如何。如果他们错过了太多的区块，那么系统将会推荐用户去换一个新的代表。如果任何代表被发现签发了一个无效的区块，那么所有标准钱包将在每个钱包进行更多交易前要求选出一个新代表。
抵抗攻击：
在抵抗攻击上，因为前100名代表所获得的权力权是相同的，每名代表都有一份相等的投票权。因此，无法通过获得超过1%的选票而将权力集中到一个单一代表上。因为只有100名代表，可以想象一个攻击者对每名轮到生产区块的代表依次进行拒绝服务攻击。幸运的是，由于事实上每名代表的标识是其公钥而非IP地址，这种特定攻击的威胁很容易被减轻。这将使确定DDOS攻击目标更为困难。而代表之间的潜在直接连接，将使妨碍他们生产区块变得更为困难。
优点：大幅缩小参与验证和记账节点的数量，可以达到秒级的共识验证。
缺点：整个共识机制还是依赖于代币，很多商业应用是不需要代币存在的。
3.PBFT ：Practical Byzantine Fault Tolerance，实用拜占庭容错
介绍：在保证活性和安全性（liveness & safety）的前提下提供了(n-1)/3的容错性。
在分布式计算上，不同的计算机透过讯息交换，尝试达成共识；但有时候，系统上协调计算机（Coordinator / Commander）或成员计算机 （Member /Lieutanent）可能因系统错误并交换错的讯息，导致影响最终的系统一致性。
拜占庭将军问题就根据错误计算机的数量，寻找可能的解决办法，这无法找到一个绝对的答案，但只可以用来验证一个机制的有效程度。
而拜占庭问题的可能解决方法为：
在 N ≥ 3F + 1 的情况下一致性是可能解决。其中，N为计算机总数，F为有问题计算机总数。信息在计算机间互相交换后，各计算机列出所有得到的信息，以大多数的结果作为解决办法。
1）系统运转可以脱离币的存在，pbft算法共识各节点由业务的参与方或者监管方组成，安全性与稳定性由业务相关方保证。
2）共识的时延大约在2~5秒钟，基本达到商用实时处理的要求。
3）共识效率高，可满足高频交易量的需求。
缺点：
1)当有1/3或以上记账人停止工作后，系统将无法提供服务；
2)当有1/3或以上记账人联合作恶，且其它所有的记账人被恰好分割为两个网络孤岛时，恶意记账人可以使系统出现分叉，但是会留下密码学证据
下面说两个国产的吧~
4.dBFT： delegated BFT 授权拜占庭容错算法
介绍：小蚁采用的dBFT机制，是由权益来选出记账人，然后记账人之间通过拜占庭容错算法来达成共识。
此算法在PBFT基础上进行了以下改进：
将C/S架构的请求响应模式，改进为适合P2P网络的对等节点模式；
将静态的共识参与节点改进为可动态进入、退出的动态共识参与节点；
为共识参与节点的产生设计了一套基于持有权益比例的投票机制，通过投票决定共识参与节点（记账节点）；
在区块链中引入数字证书，解决了投票中对记账节点真实身份的认证问题。
优点：
1)专业化的记账人；
2)可以容忍任何类型的错误；
3)记账由多人协同完成，每一个区块都有最终性，不会分叉；
4)算法的可靠性有严格的数学证明；
缺点：
1)当有1/3或以上记账人停止工作后，系统将无法提供服务；
2)当有1/3或以上记账人联合作恶，且其它所有的记账人被恰好分割为两个网络孤岛时，恶意记账人可以使系统出现分叉，但是会留下密码学证据；
以上总结来说，dBFT机制最核心的一点，就是最大限度地确保系统的最终性，使区块链能够适用于真正的金融应用场景。
5.POOL验证池
基于传统的分布式一致性技术，加上数据验证机制。
优点：不需要代币也可以工作，在成熟的分布式一致性算法（Pasox、Raft）基础上，实现秒级共识验证。
缺点：去中心化程度不如bictoin；更适合多方参与的多中心商业模式。