计算集群算力

① 云计算，网格计算，分布式计算，集群计算，超级计算的不同是什么

整体来说都有奖任务分割、运算、组合，只是协同和处理的重点不同；
超级计算强调的是高并行计算能力，应用设备多是超级计算机如天河一号，是infiniband的高并行处理架构，实现总线级协同，一般采用计算能力更强的GPU而非CPU；
集群计算和分布式计算是相对于设备部署结构来说，这种计算相对超算来说，对于计算的并行处理及响应要求较低，需要实现的是网络环境下的协同，实现的效果受网络环境影响。
网格计算是集群计算和分布式计算与超级计算中间的产物，是在原来集群计算和分布式计算不能满足需求，而超算又过于难以实现的情况下，想通过增进网络带宽方式来实现通过集群计算和分布式计算能够达到接近超级计算的结果，国家网格节点之间的带宽都是T级别的，就可想而知对于基础资源的需求。
而云计算是更接近应用的资源整合，在协调资源整合应用的前提下，对于应用处理的并行处理要求跟低，只是一种松散耦合的方式，但强调将任务分解、处理、组合的过程，以充分利用现有资源。

② 目前常用哪一性能衡量hpc集群浮点计算能力

高性能计算(High performance computing， 缩写HPC) 指通常使用很多处理器（作为单个机器的一部分）或者某一集群中组织的几台计算机（作为单个计 算资源操作）的计算系统和环境。
有许多类型的HPC 系统，其范围从标准计算机的大型集群，到高度专用的硬件。大多数基于集群的HPC系统使用高性能网络互连，比如那些来自 InfiniBand 或 Myrinet 的网络互连。
基本的网络拓扑和组织可以使用一个简单的总线拓扑，在性能很高的环境中，网状网络系统在主机之间提供较短的潜伏期，所以可改善总体网络性能和传输速率！

③ 计算机集群的集群分类

集群分为同构与异构两种，它们的区别在于：组成集群系统的计算机之间的体系结构是否相同。集群计算机按功能和结构可以分成以下几类:
高可用性集群 High-availability (HA) clusters
负载均衡集群 Load balancing clusters
高性能计算集群 High-performance (HPC) clusters
网格计算 Grid computing 负载均衡集群运行时一般通过一个或者多个前端负载均衡器将工作负载分发到后端的一组服务器上，从而达到整个系统的高性能和高可用性。这样的计算机集群有时也被称为服务器群（Server Farm）。 一般高可用性集群和负载均衡集群会使用类似的技术，或同时具有高可用性与负载均衡的特点。
Linux虚拟服务器（LVS）项目在Linux操作系统上提供了最常用的负载均衡软件。 高性能计算集群采用将计算任务分配到集群的不同计算节点儿提高计算能力，因而主要应用在科学计算领域。比较流行的HPC采用Linux操作系统和其它一些免费软件来完成并行运算。这一集群配置通常被称为Beowulf集群。这类集群通常运行特定的程序以发挥HPC cluster的并行能力。这类程序一般应用特定的运行库, 比如专为科学计算设计的MPI库。
HPC集群特别适合于在计算中各计算节点之间发生大量数据通讯的计算作业，比如一个节点的中间结果或影响到其它节点计算结果的情况。 网格计算或网格集群是一种与集群计算非常相关的技术。网格与传统集群的主要差别是网格是连接一组相关并不信任的计算机，它的运作更像一个计算公共设施而不是一个独立的计算机。还有，网格通常比集群支持更多不同类型的计算机集合。
网格计算是针对有许多独立作业的工作任务作优化，在计算过程中作业间无需共享数据。网格主要服务于管理在独立执行工作的计算机间的作业分配。资源如存储可以被所有结点共享，但作业的中间结果不会影响在其他网格结点上作业的进展。

④ 如何获得和持续使用足够的集群计算资源

计算能力调度器介绍Capacity Scheler支持以下特性：
(1) 计算能力保证。支持多个队列，某个作业可被提交到某一个队列中。每个队列会配置一定比例的计算资源，且所有提交到队列中的作业共享该队列中的资源。
(2) 灵活性。空闲资源会被分配给那些未达到资源使用上限的队列，当某个未达到资源的队列需要资源时，一旦出现空闲资源资源，便会分配给他们。
(3) 支持优先级。队列支持作业优先级调度（默认是FIFO）
(4) 多重租赁。综合考虑多种约束防止单个作业、用户或者队列独占队列或者集群中的资源。
(5) 基于资源的调度。 支持资源密集型作业，允许作业使用的资源量高于默认值，进而可容纳不同资源需求的作业。不过，当前仅支持内存资源的调度。
3. 计算能力调度器算法分析
3.1 涉及到的变量
在capacity中，存在三种粒度的对象，分别为：queue、job和task，它们均需要维护的一些信息：
(1) queue维护的信息

⑤ 什么是集群

集群式移动通信系统是20世纪70年代发展起来的一种比较经济、灵活的移动通信系统，它是传统的专用无线电调度网的高级发展阶段。所谓集群(Trunking)就是由多个无线信道为众多的用户服务

⑥ 云计算真的是集群机器越多计算能力越强吗

理论是这样的，具体CPU

⑦ 常用哪一性能指标衡量hpc集群浮点计算能力

高性能计算(High performance computing， 缩写HPC) 指通常使用很多处理器（作为单个机器的一部分）或者某一集群中组织的几台计算机（作为单个计 算资源操作）的计算系统和环境。
有许多类型的HPC 系统，其范围从标准计算机的大型集群，到高度专用的硬件。大多数基于集群的HPC系统使用高性能网络互连，比如那些来自 InfiniBand 或 Myrinet 的网络互连。
基本的网络拓扑和组织可以使用一个简单的总线拓扑，在性能很高的环境中，网状网络系统在主机之间提供较短的潜伏期，所以可改善总体网络性能和传输速率

⑧ 如何评估hadoop集群计算能力

计算能力调度器介绍
Capacity Scheler支持以下特性：
(1) 计算能力保证。支持多个队列，某个作业可被提交到某一个队列中。每个队列会配置一定比例的计算资源，且所有提交到队列中的作业共享该队列中的资源。
(2) 灵活性。空闲资源会被分配给那些未达到资源使用上限的队列，当某个未达到资源的队列需要资源时，一旦出现空闲资源资源，便会分配给他们。
(3) 支持优先级。队列支持作业优先级调度（默认是FIFO）
(4) 多重租赁。综合考虑多种约束防止单个作业、用户或者队列独占队列或者集群中的资源。
(5) 基于资源的调度。 支持资源密集型作业，允许作业使用的资源量高于默认值，进而可容纳不同资源需求的作业。不过，当前仅支持内存资源的调度。
3. 计算能力调度器算法分析
3.1 涉及到的变量
在capacity中，存在三种粒度的对象，分别为：queue、job和task，它们均需要维护的一些信息：
(1) queue维护的信息
@ queueName：queue的名称
@ ulMin：每个用户的可用的最少资源量（所有用户均相同），需用户在配置文件中指定
@ capacityPercent：计算资源比例，需用户在配置文件中指定
@ numJobsByUser：每个用户的作业量，用以跟踪每个用户提交的作业量，并进行数量的上限限制。
该队列中map 或rece task的属性：
@ capacity：实际的计算资源量，这个随着tasktracker中slot数目变化（用户可能在添加或减少机器节点）而动态变化，大小为：capacityPercent*mapClusterCapacity/100
@ numRunningTasks：正在running的task数目
@ numSlotsOccupied：正在running的task占用的slot总数，注意，在Capacity Scheler中，running task与slot不一定是一一对应的，每个task可获取多个slot，这主要是因为该调度支持内存资源调度，某个task可能需要多个slot包含的内存量。
@ numSlotsOccupiedByUser：每个用户的作业占用slot总数，用以限制用户使用的资源量。
(2) job维护的信息
priority：作业优先级，分为五个等级，从大到小依次为：VERY_HIGH，HIGH，NORMAL，LOW，VERY_LOW;
numMapTasks/ numReceTasks ：job的map/rece task总数
runningMapTasks/ runningMapTasks：job正在运行的map/rece task数
finishedMapTasks/finishedReceTasks：job已完成的map/rece task数
……
(3) task维护的信息
task开始运行时间，当前状态等
3.2 计算能力调度算法
当某个tasktracker上出现空闲slot时，调度器依次选择一个queue、（选中的queue中的）job、（选中的job中的）task，并将该slot分配给该task。下面介绍选择queue、job和task所采用的策略：
（1） 选择queue：将所有queue按照资源使用率（numSlotsOccupied/capacity）由小到大排序，依次进行处理，直到找到一个合适的job。
（2） 选择job：在当前queue中，所有作业按照作业提交时间和作业优先级进行排序（假设开启支持优先级调度功能，默认不支持，需要在配置文件中开启），调度依次考虑每个作业，选择符合两个条件的job：[1] 作业所在的用户未达到资源使用上限 [2] 该TaskTracker所在的节点剩余的内存足够该job的task使用。
（3） 选择task，同大部分调度器一样，考虑task的locality和资源使用情况。（即：调用JobInProgress中的obtainNewMapTask()/obtainNewReceTask()方法）
综合上述，公平调度器的伪代码为：
// CapacityTaskScheler:trackTracker出现空闲slot，为slot寻找合适的task

List<Task> assignTasks(TaskTrackerStatus taskTracker) {

sortQueuesByResourcesUsesage(queues);

for queue:queues {

⑨ 云计算是并行计算网格计算集群计算的其中一种吗

来自美国的TANJURD总结了三者的区别：云计算是并行计算(ParallelComputing)、分布式计算(DistributedComputing)和网格计算(GridComputing)的发展，或者说是这些计算机科学概念的商业实现。云计算是虚拟化(Virtualization)、公用计算(UtilityComputing)、IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)等概念混合演进并跃升的结果。总的来说，云计算可以算作是网格计算的一个商业演化版。云存储就是一些公司对外提供的存储服务，用户将数据直接存放在公司的集群中，例如网络网盘。云安全是为了避免提供云服务的服务器被攻击，数据被泄露而提出的技术。

⑩ 现在深度学习业界的计算集群是怎么做的

1.很大。以CNN为例，训练需要大量数据，大量迭代，对计算能力的要求很高。故GOOGLE有dist-belief， 网络有minwa, 要么是CPU集群要么是GPU集群，计算能力不够根本玩都玩不过来，在IMAGENET上验证下算法就得十天半个月。 2.不太了解。不过听说laye。