計算機集群技術探析

計算機集群技術探析

　　【摘要】集群系統成為構建高性能計算系統的主流方式，由于具有低成本、高性能和良好的可擴展性，集群系統已經日益成為構建高性能計算系統的主要方式，計算機集群技術進行了探討分析。

　　【關鍵詞】計算機;集群;集群技術

　　計算機軟硬件及算法的改進及提高，對高性能計算技術提出了更高的要求。集群技術是處理器技術和網絡技術不斷提高的產物，是一組獨立的計算機的集合體，使節點間通過高性能的互連網絡連接。

　　一、集群定義

　　隨著計算機技術的發展和越來越廣泛的應用，越來越多的依賴于計算機技術的應用系統走進了我們的工作和生活。在給我們帶來方便和效率的同時，也使得各行各業對于計算機技術的依賴程度越來越高。盡管隨著計算機技術以目新月異的速度發展，單臺服務器的性能和可靠性越來越好，但還是有許多現實的要求是單臺服務器難以達到的。往往需要將多臺服務器組織起來進行協同工作來模擬一臺功能更強大的系統，這種技術稱為集群技術。所謂集群，就是共同為客戶機提供網絡資源的一組服務器系統，其中的每一臺提供服務的計算機，稱之為節點。當一個節點不可用或者不能處理客戶的請求時，該請求將會轉到另外的可用節點來處理，這些對于客戶端來說，它根本不必關心這此要使用的資源的具體位置，集群系統會自動完成。

　　集群中節點可以以不同的方式來運行，這要看它們是如何設置。在一個理想的兩個節點的集群中，兩個服務器都同時處于活動狀態，也就是在兩個節點上同時運行應用程序，當一個節點出現故障時，運行在出故障的節點上的應用程序就會轉移到另外的沒有出現故障的服務器上，這樣一來，由于兩個節點的工作現在由一個服務器來承擔， 自然會影響服務器的性能。

　　針對這種情況的解決方案是，在正常操作時，另一個節點處于備用狀態，只有當恬動的節點出現故障時該備用節點才會接管工作，這并不是一個很經濟的方案，你不得不買兩個服務器來做一個服務器的工作。雖然當出現故障時不會對性能產生任何影響，但是在正常運行時的性能價格比并不太好。

　　二、集群網絡服務器發展現狀

　　由同構或異構的計算機連接起來協同完成特定的任務，應用程序或用戶可以透明訪問的、均衡負載的雙機或多機系統就是集群系統。集群系統在可靠性、高性能、可擴展性、負載均衡及性價比方面具有獨特的優勢，因而是目前構建高性能網絡服務器的主要發展方向。我們稱集群網絡服務器系統中實際進行任務處理的機器為執行服務器。用集群系統來提供高性能網絡信息服務的難點主要在于：透明性，性能，高可用性，可管理性。

　　圍繞這些問題，主要從如下幾個方面展開了研究：

　　(1)體系結構。

　　如以IBM的TCP Router(3)，LVS (LinuxVirtual Server)(4)的IPV S為代表的單負載均衡部件的體系結構;以Boston大學的DPR(Distributed Packet Rewriting)(5)為代表的多負載均衡部件的體系結構及其擴展：以VAnessa(vA Network Enhanced Scalable Server Architecture)(6)為代表的全球地理分布的體系結構。

　　(2)調度機制。

　　這是影響到集群服務器系統關鍵性能的重要技術，也是目前研究工作的重點�，F有的調度機制都以負載均衡為基礎，按照控制粒度由粗到細的順序有如下幾種：基于RR—DNS的調度，如NCSA group和DEC WRL group采用過的解決方案，這是客戶機一級的粗粒度調度方案。其好處是實現簡單，主要問題是負載容易傾斜，服務器非完全透明，可用性與可維護性差;基于負載均衡器的調度，通過專門的負載均衡器將用戶請求分派給執行服務器。

　　根據控制粒度又可分為：基于第四層負載平衡的解決方法，如CiSCO的Local Director Berke1ey NOW project的MagicRouter，IBM 的TCP Router 和Interactjve NetworkDi spatcher，LV S的IPVS，這是單次連接一級的中粒度調度方案;基于內容的負載平衡解決方法(又稱為第七層調度或基于應用層的調度)，調度考慮服務器的負載，還考慮服務的內容，如Zeus負載調度器、pWeb，Reverse—Proxy和SWEB以及Res—onate、A1teon等提供的第四層交換產品，這是單次請求一級的細粒度調度方案。

　　以上各種調度機制實現了不同粒度的負載平衡，并結合使用了不同的報文分發技術，各有特點，適合不同的應用場合。基于RR—DNS的調度由于其實施的簡單性和經濟性，在目前的因特網站點中使用較多。基于負載均衡器的產品性能較高，如基于第四層負載平衡調度的LVS(軟件)前端節點可達到每秒l5萬個報文的處理速率，吞吐率約為每秒2萬5千個連接.Nortel Networks的Alteon 180系列的Web交換機(基于TCP層及應用層信息進行負載平衡)可達到每秒33萬6千個連接的吞吐率，但這類系統多為昂貴的商業產品。

　　(3)動態重構、故障定位及恢復。

　　目前集群系統普遍采用的是心跳檢測機制，通過不斷探測目標系統的健康情況，對故障節點實施屏蔽、替換，并且在故障系統恢復后自動將其加入集群系統，整個切入切出過程的時間在秒的量級，從而實現了集群的動態維護。

　　(4)通訊機制。

　　一種典型方案以當前可普遍獲取的快速以一太網網卡和集線器/交換機及運行其上的TCP/IP協議作為集群節點的互聯機構;另一種典型方案使用專為集群設計的互聯硬件，如Myricom的Myrinet，Giganet的cLAN、IEEE 1596標準可伸縮一致接口(SCI)及VMIC的(MC C Memory Channe1)，通過專門的硬件及通訊協議獲得很高的性能。目前集群的高速通訊設施在軟硬件方面正趨向于標準化，如由Compaq，Intel，Microsoft發起的VIA (Virtual Interface VI Architec—ture)。

　　(5)I/0機制。

　　除了各個節點擁有各自獨立的I/o資源外，一種常見的方案是集群各個節點共享外部存儲設備，如RAID，支持多個節點的同時訪問，增大了帶寬，提高了集群系統的可用性及可擴展性。目前， 由Compaq，Del1，HP，IBM，Intel，Mi—crosoft及Sun等大公司針對集群系統在可靠性、可用性、可擴展性、高性能方面對i/o系統提出的要求提出了InfiniBandTMArchitecture這種基于通道和交換網絡的新一代I/0技術。目前在研究使用通用工作站、微機等一般設備構建高性價比集群網絡服務器時，考慮較多的是前三個方面，特別是圍繞調度機制的研究提高集群負載調度器的吞吐率，對如何從集群的整體考慮，維持整個系統的高吞吐率，如何為上層應用提供Oos控制這種非常有價值的高級特性支持研究較少。

　　總的來看，集群是構建高性能網絡服務器的趨勢，今后的集群系統，將繼續向著高可用，可擴展，高性能的方向發展，一個重要方向是集群中的各個節點共享內存、硬盤、CPU和I/o等重要的子系統，從而形成單一系統映像(SSI)，也將更加注意上層應用對QoS控制等高級應用特性的具體需求。目前因特網上的許多著名站點都不同程度地采用了集群技術。國外IBM，Cisco，Compaq，Berkeley等公司和大學在集群服務器方面做了大量研究工作，并已形成產品;國內中科院、清華大學、網絡集群有限公司、浪潮公司等單位在集群服務器領域也正進行著相關的研究和產品化的工作。

　　目前市場上絕大部分性能較高的集群產品都是外國產品，價格非常昂貴，如IBM的NetDispatche：依賴于其SP/2服務器系統，兩者的捆綁銷售價達上百萬美元�，F有多數研究普遍強調系統的高可伸縮性、高可用性等基本性能特性，對QoS控制等高級功能特性的研究還有許多工作要做。研制自主知識產權，具有一定通用性，滿足高吞吐率、高可伸縮性、高可用性等基本性能需求，并提供QoS控制等高級功能支持的集群產品，符合網絡信息服務的發展趨勢，具有重大的意義。

　　三、實現技術

　　1.高可用性集群技術。

　　高可用性集群，英文原文為HighAvailabi11ity Cluster(8)簡稱HA Cluster是指以減少服務中斷(宕機)時間為目的的服務器集群技術。隨著全球經濟的增長，世界各地各種各樣的組織對IT系統的依賴都在不斷增加，電子貿易使得商務一周七天24小時不間斷的進行成為了可能。新的強大的應用程序使得商業和社會機構對日常操作的計算機化要求達到了空前的程度，趨勢非常明顯，我們無時無刻不依賴于穩定的計算機系統。這種需求極速的增加，使得對系統可用性的要求變得非常重要，許多公司和組織的業務在很大程度上都依賴于計算機系統，任何的宕機都會造成嚴重的損失。

　　2.高性能計算集群技術。

　　高性能計算集群，關文原文為m gh Performance Computing Cluster(9)簡稱HPC C luster是指以提高科學計算能力為目的計算機集群技術。HPC Clus—ter提一種并行計算(Paral1el Processing)集群的實現方法。

　　并行計算是指將一個應用程序分劑成多塊可以并行執行的部分并指定到多個處理器上執行的方法。目前的很多計算機系統可以支持SMP(對稱多處理器)架構并通過進程調度機制進行并行處理，但是SMP技術的可擴展性是十分有限的，比如在目前的Intel架構上最多只可以擴展到8顆CPU。為了滿足那“計算能力饑渴”的科學計算任務，并行計算集群的方法被引入到計算機界。

　　3.高可擴展性集群技術。

　　高可擴展性集群技術就是帶均衡策略(算法)的服務器群集。負載均衡群集在多節點之間按照一定的策略(算法)分發網絡或計算處理負載，負載均衡建立在現有網絡結構之上，它提供了一種廉價有效的方法來擴展服務器帶寬，增加吞吐量，提高數據處理能力，又可以避免單點故障。在提高信息系統可靠性方面，目前常見的方式是采用雙機冗余結構。但與多機冗余結構相比，因其冗余節點數少于后者而使其可靠性和系統重構能力明顯不如后者，并且雙機系統結構的特點在計算資源方面制約著大規模數據處理，或者在容錯方面不能實現全節點間的對等冗余。具有高性能計算、高可用性、高可擴展性優勢的集群服務器系統，可滿足醫院信息網絡系統的信息處理需求，現已逐步在系統信息處理中得到應用。

　　參考文獻

　　[1]鄭緯民.集群系統的現狀與挑戰[J]計算機教育.2004(6)

　　[2]胡章平.集群系統與分布式計算[J].電腦知識與技術.2006(5)

　　[3]李艷華.集群計算機技術應用[J]湖北財經高等專科學校學報.2007(2)

　　[4]賀喜玲.動態自適應集群系統[J].現代企業教育.2008(22)

　　[5]李敏，張宜生，李德群.用于并行計算的Pc集群系統構建[J].計算機應用研究.2009(3)

　　[6]安立奎，錢偉懿，韓麗艷.集群系統中基于MPI的關聯規則快速挖掘算法[J].三峽大學學報(自然科學版).2010(1)

【計算機集群技術探析】相關文章：

計算機網絡管理技術探析09-27

探析計算機網絡的防御技術08-28

現代計算機網格技術應用問題探析04-24

探析計算機中云計算技術的應用06-15

探析計量管理中計算機技術的應用08-12

論產業集群與技術創新的互動08-07

產業集群與技術創新的互動發展07-26

淺論產業集群與技術創新的互動10-15

基于《資本論》基礎上的產業集群理論探析08-11

探析計算機高速數字電路設計技術06-30