zookeeper去中心化

㈠ consumer 为什么需要间歇性的向zookeeper注册offset

kafka 很多说不需要安装zk的是因为他们都使用了kafka自带的zk至于kafka为什么使用zk，你首先要知道zk的作用, 作为去中心化的集群模式。需要要消费者知道现在那些生产者（对于消费者而言，kafka就是生产者）是可用的。如果没了zk消费者如何知道呢？如果每次消费者在消费之前都去尝试连接生产者测试下是否连接成功，效率呢？所以kafka需要zk，在kafka的设计中就依赖了zk了。

㈡ bbo是分布式服务还是集群

bbo是开源的微服务开发框架，倡导的是去中心化，每个功能封装成独立的模块服务，供其他服务调用，模块可以部署多台服务器，是一种集群。
他和soa最大不同的是有独立的rpc通信协议，不是像soa一样用http协议来传输数据的，rpc传输的是二进制数据，性能优于http传输。

㈢ 安装Kafka 的机器上一定要有 Zookeeper 吗

kafka 很多说不需要安装zk的是因为他们都使用了kafka自带的zk 至于kafka为什么使用zk，你首先要知道zk的作用, 作为去中心化的集群模式。 需要要消费者知道现在那些生产者（对于消费者而言，kafka就是生产者）是可用的。 如果没了zk消费者如何知...

㈣ kafka 服务器本机 必须安装zookeeper 么

至于kafka为什么使用zk，你首先要知道zk的作用, 作为去中心化的集群模式。

需要要消费者知道现在那些生产者（对于消费者而言，kafka就是生产者）是可用的。

如果没了zk消费者如何知道呢？如果每次消费者在消费之前都去尝试连接生产者测试下是否连接成功，效率呢？

㈤ 为什么搭建Kafka需要zookeeper

需要一个地方存元信息。zookeeper又是分布式，做配置管理比较好的。于是就用上了。

㈥ 为什么搭建Kafka需要zookeeper

kafka 很多说不需要安装zk的是因为他们都使用了kafka自带的zk
至于kafka为什么使用zk，你首先要知道zk的作用, 作为去中心化的集群模式。
需要要消费者知道现在那些生产者（对于消费者而言，kafka就是生产者）是可用的。
如果没了zk消费者如何知道呢？如果每次消费者在消费之前都去尝试连接生产者测试下是否连接成功，效率呢？
所以kafka需要zk，在kafka的设计中就依赖了zk了。

㈦ 大数据主要学什么内容

一般来说，在一线城市，以BAT来说它们企业给应届毕业生的起薪并不高，但只要工作拼命、能力出众，事实上入职后的2、3年里就很容易拿到15万元以上的年薪。而在三线互联网公司，同等条件下，普通技术员工的年薪一般能达到15万元左右。而准二线的互联网公司的普通员工薪水基本也能达到或超过20万元，与许多传统行业相比，这样的收入水平绝对令人艳羡。工作经验超过5年后，互联网企业中的收入差距就会拉大。

如此诱人的薪资，肯定是人人都想加入的。但加入的条件就在于需要掌握一定的技能，综合很多大数据公司的要求统计如下：
1、熟练使用SQL语言；
2、熟练使用Hadoop、M/R、Hive、Storm等开发工具；
3、熟悉Linux命令及Shell编程；
4、对数据敏感，良好的逻辑分析能力，良好沟通能力和团队精神；
5、熟悉Impala、Druid、Mdrill、ElasticSearch等大数据工具者优先；
根据企业对大数据工程师的要求，你需要学习的技术如下：
阶段一、大数据基础——java语言基础方面
（1）Java语言基础
（2） HTML、CSS与JavaScript
（3）JavaWeb和数据库
阶段二、 Linux&Hadoop生态体系
Linux体系、Hadoop离线计算大纲、分布式数据库Hbase、数据仓库Hive、数据迁移工具Sqoop、Flume分布式日志框架
阶段三、 分布式计算框架和Spark&Strom生态体系
（1）分布式计算框架
Python编程语言、Scala编程语言、Spark大数据处理、Spark—Streaming大数据处理、Spark—Mlib机器学习、Spark—GraphX 图计算、实战一：基于Spark的推荐系统（某一线公司真实项目）、实战二：新浪网（www.sina.com.cn）
（2）storm技术架构体系
Storm原理与基础、消息队列kafka、Redis工具、zookeeper详解、实战一：日志告警系统项目、实战二：猜你喜欢推荐系统实战
阶段四、 大数据项目实战（一线公司真实项目）
数据获取、数据处理、数据分析、数据展现、数据应用
阶段五、 大数据分析 —AI（人工智能）
Data Analyze工作环境准备&数据分析基础、数据可视化、Python机器学习
1、Python机器学习2、图像识别&神经网络、自然语言处理&社交网络处理、实战项目：户外设备识别分析

㈧ rpc框架都有哪些rmi bbo

Dubbo分层

config（配置层 ）

proxy（服务代理层）

registry（ 注册中心层）

cluster（ 路由层）

monitor（ 监控层）

protocol（ 远程调用层）

exchange（ 信息交换层）

transport（ 网络传输层）

serialize（ 数据序列化层）

对外配置接口
以ServiceConfig, ReferenceConfig为中心，可以直接new配置类，也可以通过spring解析配置生成配置类
Javassist ProxyFactory
Jdk ProxyFactory
服务接口透明代理，生成服务的客户端Stub和服务器端Skeleton
以ServiceProxy为中心，扩展接口为ProxyFactory
选择

Zookeeper

Redis

Multicast

Simple

支持基于网络的集群方式，有广泛周边开源产品，建议使用bbo-2.3.3以上版本（推荐使用）
依赖于Zookeeper的稳定性
支持基于客户端双写的集群方式，性能高
要求服务器时间同步，用于检查心跳过期脏数据
去中心化，不需要安装注册中心
依赖于网络拓普和路由，跨机房有风险
Dogfooding，注册中心本身也是一个标准的RPC服务
没有集群支持，可能单点故障
封装服务地址的注册与发现
以服务URL为中心，扩展接口为RegistryFactory, Registry, RegistryService
选择

Spring

Jetty

Log4j

自动加载META-INF/spring目录下的所有Spring配置
启动一个内嵌Jetty，用于汇报状态
大量访问页面时，会影响服务器的线程和内存
自动配置log4j的配置，在多进程启动时，自动给日志文件按进程分目录
用户不能控制log4j的配置，不灵活
条件路由

脚本路由

基于条件表达式的路由规则，功能简单易用
有些复杂多分支条件情况，规则很难描述
基于脚本引擎的路由规则，功能强大
没有运行沙箱，脚本能力过于强大，可能成为后门
Random

RoundRobin

LeastActive

ConsistentHash

随机，按权重设置随机概率（推荐使用）
在一个截面上碰撞的概率高，重试时，可能出现瞬间压力不均
轮循，按公约后的权重设置轮循比率
存在慢的机器累积请求问题，极端情况可能产生雪崩
最少活跃调用数，相同活跃数的随机，活跃数指调用前后计数差，使慢的机器收到更少请求
不支持权重，在容量规划时，不能通过权重把压力导向一台机器压测容量
一致性Hash，相同参数的请求总是发到同一提供者，当某一台提供者挂时，原本发往该提供者的请求，基于虚拟节点，平摊到其它提供者，不会引起剧烈变动
压力分摊不均
Failover

Failfast

Failsafe

Failback

Forking

Broadcast

失败自动切换，当出现失败，重试其它服务器，通常用于读操作（推荐使用）
重试会带来更长延迟
快速失败，只发起一次调用，失败立即报错,通常用于非幂等性的写操作
如果有机器正在重启，可能会出现调用失败
失败安全，出现异常时，直接忽略，通常用于写入审计日志等操作
调用信息丢失
失败自动恢复，后台记录失败请求，定时重发，通常用于消息通知操作
不可靠，重启丢失
并行调用多个服务器，只要一个成功即返回，通常用于实时性要求较高的读操作
需要浪费更多服务资源
广播调用所有提供者，逐个调用，任意一台报错则报错，通常用于更新提供方本地状态
速度慢，任意一台报错则报错
封装多个提供者的路由及负载均衡，并桥接注册中心
以Invoker为中心，扩展接口为Cluster, Directory, Router, LoadBalance
Cluster选择

Router选择

路由规则

容器

RPC调用次数和调用时间监控
以Statistics为中心，扩展接口为MonitorFactory, Monitor, MonitorService
Dubbo协议

Rmi协议

Hessian协议

连接个数：单连接
连接方式：长连接
传输协议：TCP
传输方式：NIO异步传输
序列化：Hessian二进制序列化
适用范围：传入传出参数数据包较小（建议小于100K），消费者比提供者个数多，单一消费者无法压满提供者，尽量不要用bbo协议传输大文件或超大字符串。
适用场景：常规远程服务方法调用
采用NIO复用单一长连接，并使用线程池并发处理请求，减少握手和加大并发效率，性能较好（推荐使用）
适合于小数据量大并发的服务调用，以及服务消费者机器数远大于服务提供者机器数的情况
Dubbo缺省协议不适合传送大数据量的服务，比如传文件，传视频等，除非请求量很低
Dubbo协议缺省每服务每提供者每消费者使用单一长连接，如果数据量较大，可以使用多个连接
为防止被大量连接撑挂，可在服务提供方限制大接收连接数，以实现服务提供方自我保护
在大文件传输时，单一连接会成为瓶颈
总结

可与原生RMI互操作，基于TCP协议
偶尔会连接失败，需重建Stub
参数及返回值需实现Serializable接口
参数及返回值不能自定义实现List, Map, Number, Date, Calendar等接口，只能用JDK自带的实现，因为hessian会做特殊处理，自定义实现类中的属性值都会丢失
连接个数：多连接
连接方式：短连接
传输协议：HTTP
传输方式：同步传输
序列化：Hessian二进制序列化
适用范围：传入传出参数数据包较大，提供者比消费者个数多，提供者压力较大，可传文件
适用场景：页面传输，文件传输，或与原生hessian服务互操作
提供者用Dubbo的Hessian协议暴露服务，消费者直接用标准Hessian接口调用
或者提供方用标准Hessian暴露服务，消费方用Dubbo的Hessian协议调用
基于Hessian的远程调用协议
可与原生Hessian互操作，基于HTTP协议
需hessian.jar支持，http短连接的开销大
Hessian协议用于集成Hessian的服务，Hessian底层采用Http通讯，采用Servlet暴露服务，Dubbo缺省内嵌Jetty作为服务器实现
可以和原生Hessian服务互操作

总结

约束

封装RPC调用
以Invocation, Result为中心，扩展接口为Protocol, Invoker, Exporter
选择

封装请求响应模式，同步转异步
以Request, Response为中心，扩展接口为Exchanger, ExchangeChannel,ExchangeClient, ExchangeServer
Netty

Mina

Grizzly

性能较好（推荐使用）
一次请求派发两种事件，需屏蔽无用事件
老牌NIO框架，稳定
待发送消息队列派发不及时，大压力下，会出现FullGC
Sun的NIO框架，应用于GlassFish服务器中
线程池不可扩展，Filter不能拦截下一Filter
抽象mina和netty为统一接口
以Message为中心，扩展接口为Channel, Transporter, Client, Server, Codec
选择

Hessian

Dubbo

Json

Java

性能较好，多语言支持（推荐使用）
Hessian的各版本兼容性不好，可能和应用使用的Hessian冲突，Dubbo内嵌了hessian3.2.1的源码
通过不传送POJO的类元信息，在大量POJO传输时，性能较好
当参数对象增加字段时，需外部文件声明
纯文本，可跨语言解析，缺省采用FastJson解析
性能较差
Java原生支持
性能较差
可复用的一些工具
扩展接口为Serialization, ObjectInput, ObjectOutput, ThreadPool
选择

Business

RPC

Remoting

Service
Config
Proxy
Registry
Cluster
Monitor
Protocol
Exchange
Transport
Serialize
层次结构

层说明