計算集群算力

① 雲計算，網格計算，分布式計算，集群計算，超級計算的不同是什麼

整體來說都有獎任務分割、運算、組合，只是協同和處理的重點不同；
超級計算強調的是高並行計算能力，應用設備多是超級計算機如天河一號，是infiniband的高並行處理架構，實現匯流排級協同，一般採用計算能力更強的GPU而非CPU；
集群計算和分布式計算是相對於設備部署結構來說，這種計算相對超算來說，對於計算的並行處理及響應要求較低，需要實現的是網路環境下的協同，實現的效果受網路環境影響。
網格計算是集群計算和分布式計算與超級計算中間的產物，是在原來集群計算和分布式計算不能滿足需求，而超算又過於難以實現的情況下，想通過增進網路帶寬方式來實現通過集群計算和分布式計算能夠達到接近超級計算的結果，國家網格節點之間的帶寬都是T級別的，就可想而知對於基礎資源的需求。
而雲計算是更接近應用的資源整合，在協調資源整合應用的前提下，對於應用處理的並行處理要求跟低，只是一種鬆散耦合的方式，但強調將任務分解、處理、組合的過程，以充分利用現有資源。

② 目前常用哪一性能衡量hpc集群浮點計算能力

高性能計算(High performance computing， 縮寫HPC) 指通常使用很多處理器（作為單個機器的一部分）或者某一集群中組織的幾台計算機（作為單個計 算資源操作）的計算系統和環境。
有許多類型的HPC 系統，其范圍從標准計算機的大型集群，到高度專用的硬體。大多數基於集群的HPC系統使用高性能網路互連，比如那些來自 InfiniBand 或 Myrinet 的網路互連。
基本的網路拓撲和組織可以使用一個簡單的匯流排拓撲，在性能很高的環境中，網狀網路系統在主機之間提供較短的潛伏期，所以可改善總體網路性能和傳輸速率！

③ 計算機集群的集群分類

集群分為同構與異構兩種，它們的區別在於：組成集群系統的計算機之間的體系結構是否相同。集群計算機按功能和結構可以分成以下幾類:
高可用性集群 High-availability (HA) clusters
負載均衡集群 Load balancing clusters
高性能計算集群 High-performance (HPC) clusters
網格計算 Grid computing 負載均衡集群運行時一般通過一個或者多個前端負載均衡器將工作負載分發到後端的一組伺服器上，從而達到整個系統的高性能和高可用性。這樣的計算機集群有時也被稱為伺服器群（Server Farm）。 一般高可用性集群和負載均衡集群會使用類似的技術，或同時具有高可用性與負載均衡的特點。
Linux虛擬伺服器（LVS）項目在Linux操作系統上提供了最常用的負載均衡軟體。 高性能計算集群採用將計算任務分配到集群的不同計算節點兒提高計算能力，因而主要應用在科學計算領域。比較流行的HPC採用Linux操作系統和其它一些免費軟體來完成並行運算。這一集群配置通常被稱為Beowulf集群。這類集群通常運行特定的程序以發揮HPC cluster的並行能力。這類程序一般應用特定的運行庫, 比如專為科學計算設計的MPI庫。
HPC集群特別適合於在計算中各計算節點之間發生大量數據通訊的計算作業，比如一個節點的中間結果或影響到其它節點計算結果的情況。 網格計算或網格集群是一種與集群計算非常相關的技術。網格與傳統集群的主要差別是網格是連接一組相關並不信任的計算機，它的運作更像一個計算公共設施而不是一個獨立的計算機。還有，網格通常比集群支持更多不同類型的計算機集合。
網格計算是針對有許多獨立作業的工作任務作優化，在計算過程中作業間無需共享數據。網格主要服務於管理在獨立執行工作的計算機間的作業分配。資源如存儲可以被所有結點共享，但作業的中間結果不會影響在其他網格結點上作業的進展。

④ 如何獲得和持續使用足夠的集群計算資源

計算能力調度器介紹Capacity Scheler支持以下特性：
(1) 計算能力保證。支持多個隊列，某個作業可被提交到某一個隊列中。每個隊列會配置一定比例的計算資源，且所有提交到隊列中的作業共享該隊列中的資源。
(2) 靈活性。空閑資源會被分配給那些未達到資源使用上限的隊列，當某個未達到資源的隊列需要資源時，一旦出現空閑資源資源，便會分配給他們。
(3) 支持優先順序。隊列支持作業優先順序調度（默認是FIFO）
(4) 多重租賃。綜合考慮多種約束防止單個作業、用戶或者隊列獨占隊列或者集群中的資源。
(5) 基於資源的調度。 支持資源密集型作業，允許作業使用的資源量高於默認值，進而可容納不同資源需求的作業。不過，當前僅支持內存資源的調度。
3. 計算能力調度器演算法分析
3.1 涉及到的變數
在capacity中，存在三種粒度的對象，分別為：queue、job和task，它們均需要維護的一些信息：
(1) queue維護的信息

⑤ 什麼是集群

集群式移動通信系統是20世紀70年代發展起來的一種比較經濟、靈活的移動通信系統，它是傳統的專用無線電調度網的高級發展階段。所謂集群(Trunking)就是由多個無線信道為眾多的用戶服務

⑥ 雲計算真的是集群機器越多計算能力越強嗎

理論是這樣的，具體CPU

⑦ 常用哪一性能指標衡量hpc集群浮點計算能力

高性能計算(High performance computing， 縮寫HPC) 指通常使用很多處理器（作為單個機器的一部分）或者某一集群中組織的幾台計算機（作為單個計 算資源操作）的計算系統和環境。
有許多類型的HPC 系統，其范圍從標准計算機的大型集群，到高度專用的硬體。大多數基於集群的HPC系統使用高性能網路互連，比如那些來自 InfiniBand 或 Myrinet 的網路互連。
基本的網路拓撲和組織可以使用一個簡單的匯流排拓撲，在性能很高的環境中，網狀網路系統在主機之間提供較短的潛伏期，所以可改善總體網路性能和傳輸速率

⑧ 如何評估hadoop集群計算能力

計算能力調度器介紹
Capacity Scheler支持以下特性：
(1) 計算能力保證。支持多個隊列，某個作業可被提交到某一個隊列中。每個隊列會配置一定比例的計算資源，且所有提交到隊列中的作業共享該隊列中的資源。
(2) 靈活性。空閑資源會被分配給那些未達到資源使用上限的隊列，當某個未達到資源的隊列需要資源時，一旦出現空閑資源資源，便會分配給他們。
(3) 支持優先順序。隊列支持作業優先順序調度（默認是FIFO）
(4) 多重租賃。綜合考慮多種約束防止單個作業、用戶或者隊列獨占隊列或者集群中的資源。
(5) 基於資源的調度。 支持資源密集型作業，允許作業使用的資源量高於默認值，進而可容納不同資源需求的作業。不過，當前僅支持內存資源的調度。
3. 計算能力調度器演算法分析
3.1 涉及到的變數
在capacity中，存在三種粒度的對象，分別為：queue、job和task，它們均需要維護的一些信息：
(1) queue維護的信息
@ queueName：queue的名稱
@ ulMin：每個用戶的可用的最少資源量（所有用戶均相同），需用戶在配置文件中指定
@ capacityPercent：計算資源比例，需用戶在配置文件中指定
@ numJobsByUser：每個用戶的作業量，用以跟蹤每個用戶提交的作業量，並進行數量的上限限制。
該隊列中map 或rece task的屬性：
@ capacity：實際的計算資源量，這個隨著tasktracker中slot數目變化（用戶可能在添加或減少機器節點）而動態變化，大小為：capacityPercent*mapClusterCapacity/100
@ numRunningTasks：正在running的task數目
@ numSlotsOccupied：正在running的task佔用的slot總數，注意，在Capacity Scheler中，running task與slot不一定是一一對應的，每個task可獲取多個slot，這主要是因為該調度支持內存資源調度，某個task可能需要多個slot包含的內存量。
@ numSlotsOccupiedByUser：每個用戶的作業佔用slot總數，用以限制用戶使用的資源量。
(2) job維護的信息
priority：作業優先順序，分為五個等級，從大到小依次為：VERY_HIGH，HIGH，NORMAL，LOW，VERY_LOW;
numMapTasks/ numReceTasks ：job的map/rece task總數
runningMapTasks/ runningMapTasks：job正在運行的map/rece task數
finishedMapTasks/finishedReceTasks：job已完成的map/rece task數
……
(3) task維護的信息
task開始運行時間，當前狀態等
3.2 計算能力調度演算法
當某個tasktracker上出現空閑slot時，調度器依次選擇一個queue、（選中的queue中的）job、（選中的job中的）task，並將該slot分配給該task。下面介紹選擇queue、job和task所採用的策略：
（1） 選擇queue：將所有queue按照資源使用率（numSlotsOccupied/capacity）由小到大排序，依次進行處理，直到找到一個合適的job。
（2） 選擇job：在當前queue中，所有作業按照作業提交時間和作業優先順序進行排序（假設開啟支持優先順序調度功能，默認不支持，需要在配置文件中開啟），調度依次考慮每個作業，選擇符合兩個條件的job：[1] 作業所在的用戶未達到資源使用上限 [2] 該TaskTracker所在的節點剩餘的內存足夠該job的task使用。
（3） 選擇task，同大部分調度器一樣，考慮task的locality和資源使用情況。（即：調用JobInProgress中的obtainNewMapTask()/obtainNewReceTask()方法）
綜合上述，公平調度器的偽代碼為：
// CapacityTaskScheler:trackTracker出現空閑slot，為slot尋找合適的task

List<Task> assignTasks(TaskTrackerStatus taskTracker) {

sortQueuesByResourcesUsesage(queues);

for queue:queues {

⑨ 雲計算是並行計算網格計算集群計算的其中一種嗎

來自美國的TANJURD總結了三者的區別：雲計算是並行計算(ParallelComputing)、分布式計算(DistributedComputing)和網格計算(GridComputing)的發展，或者說是這些計算機科學概念的商業實現。雲計算是虛擬化(Virtualization)、公用計算(UtilityComputing)、IaaS(基礎設施即服務)、PaaS(平台即服務)、SaaS(軟體即服務)等概念混合演進並躍升的結果。總的來說，雲計算可以算作是網格計算的一個商業演化版。雲存儲就是一些公司對外提供的存儲服務，用戶將數據直接存放在公司的集群中，例如網路網盤。雲安全是為了避免提供雲服務的伺服器被攻擊，數據被泄露而提出的技術。

⑩ 現在深度學習業界的計算集群是怎麼做的

1.很大。以CNN為例，訓練需要大量數據，大量迭代，對計算能力的要求很高。故GOOGLE有dist-belief， 網路有minwa, 要麼是CPU集群要麼是GPU集群，計算能力不夠根本玩都玩不過來，在IMAGENET上驗證下演算法就得十天半個月。 2.不太了解。不過聽說laye。