上萬顆處理器的高性能計(jì)算集群如何管理
中石油東方地球物理公司研究院處理中心總工程師賴能和在演講中談到，過去3年里，由于中心計(jì)算系統(tǒng)規(guī)模增長(zhǎng)很快，如何管理好、用好這些大機(jī)器已經(jīng)成為焦點(diǎn)，目前東方公司已經(jīng)開始利用數(shù)字化技術(shù)來實(shí)現(xiàn)有效的軟硬件資源管理。
據(jù)了解，目前東方公司已經(jīng)擁有規(guī)模達(dá)15000顆CPU的PC服務(wù)器集群，運(yùn)算能力達(dá)到230萬億次/秒，占到了中石油總體集群CPU核數(shù)的的46.2%。這些整裝、規(guī)?；能浻布Y源，為保證處理周期、及時(shí)提交成果，提供了很好的保障，但也帶來管理上的難度，具體表現(xiàn)在四個(gè)方面：
1、機(jī)柜很多、節(jié)點(diǎn)多，壞了也不清楚，使用情況無法及時(shí)掌握。
2、存儲(chǔ)陣列很多，無法做預(yù)防性維護(hù)，使用情況無法及時(shí)掌握。
3、數(shù)據(jù)交換機(jī)多，出現(xiàn)網(wǎng)絡(luò)問題后很難判斷在哪里出問題。
4、沒有科學(xué)、合理的調(diào)度和管理手段。
賴能和談到，隨著計(jì)算系統(tǒng)規(guī)模從過去的百來十顆CPU擴(kuò)展到現(xiàn)在的上萬顆CPU，本身就需要有科學(xué)的管理辦法和手段。“硬件水平高，應(yīng)用效率低下，運(yùn)營(yíng)成本快速增長(zhǎng)”是東方公司面臨的另一個(gè)困擾。PC Cluster系統(tǒng)的計(jì)算理論峰值和實(shí)際應(yīng)用效率和性能差距很大，比如CPU年平均利用率在運(yùn)行疊前偏移時(shí)能達(dá)到約65-75%，而常規(guī)地震處理系統(tǒng)和調(diào)試目標(biāo)線的集群利用率都很低，還不足20%。在運(yùn)營(yíng)成本方面，突出表現(xiàn)在近3年電費(fèi)快速上升，僅2008年一年電費(fèi)就達(dá)到千萬元。
而且，隨著計(jì)算機(jī)房規(guī)模擴(kuò)大之后，生產(chǎn)與設(shè)備的安全問題也開始突出。目前，東方公司共擁有150多個(gè)PC Cluster機(jī)柜、100多個(gè)存儲(chǔ)機(jī)柜、十幾個(gè)機(jī)房、5個(gè)靠前處理機(jī)房，如此龐大的軟硬件設(shè)備給生產(chǎn)和設(shè)備運(yùn)行安全帶來一系列的問題。因此，很有必要開發(fā)和采用先進(jìn)、高效的數(shù)字化管理技術(shù)，實(shí)現(xiàn)軟硬件資源的科學(xué)化管理。
為了解決上述問題，東方公司引入了數(shù)字化管理技術(shù)：
1.開發(fā)數(shù)字化管理軟件平臺(tái)，實(shí)現(xiàn)所有運(yùn)行項(xiàng)目的數(shù)字化管理，可以對(duì)所有軟硬件資源進(jìn)行集中管理，也可以跟蹤監(jiān)控生產(chǎn)項(xiàng)目進(jìn)度和使用的資源情況。
2.開發(fā)CPU資源管理平臺(tái)，對(duì)PC Cluster機(jī)柜統(tǒng)一協(xié)調(diào)管理。無論是整個(gè)機(jī)房的CPU利用率和網(wǎng)絡(luò)忙閑情況，還是某個(gè)機(jī)柜的CPU利用率和網(wǎng)絡(luò)狀態(tài)，都一目了然。
3.開發(fā)存儲(chǔ)和網(wǎng)絡(luò)管理軟件，實(shí)現(xiàn)所有存儲(chǔ)資源的遠(yuǎn)程集中監(jiān)控，包括事件告警、性能、拓?fù)浣Y(jié)構(gòu)等。
4.開發(fā)UPS、空調(diào)、配電實(shí)時(shí)監(jiān)控軟硬件，確保設(shè)備安全。比如其位于北京的機(jī)房就可以對(duì)UPS、空調(diào)、配電開關(guān)、溫濕度、空調(diào)漏水、視頻錄像、消防煙感、線纜溫度等進(jìn)行監(jiān)測(cè)，同時(shí)設(shè)置了手機(jī)短信報(bào)警、遠(yuǎn)程權(quán)限管理、歷史事件查詢等功能。
賴能和在會(huì)上還展望了石油行業(yè)對(duì)高性能計(jì)算應(yīng)用需求的發(fā)展趨勢(shì)，主要體現(xiàn)在以下五個(gè)方面：
1.基于多核CPU技術(shù)的刀片式服務(wù)器已成為高性能計(jì)算發(fā)展趨勢(shì)。
2.GPU技術(shù)為地球物理高密度運(yùn)算和可視化處理帶來新的機(jī)會(huì)，但GPU現(xiàn)在也面臨很少軟件支持的困境。
3.高密度多路服務(wù)器技術(shù)將成為地震綜合解釋研究新的應(yīng)用平臺(tái)。隨著各ISV對(duì)Linux平臺(tái)的支持，圖形顯卡技術(shù)的發(fā)展，4路/8路/16路多核處理器將為L(zhǎng)andmark、疊前反演JASON完成大數(shù)據(jù)體大計(jì)算量的疊前反演（并行化處理）、地質(zhì)綜合解釋任務(wù)等提供強(qiáng)有力的工具。比如英特爾明年將推出的8核心Nehalem-EX可以實(shí)現(xiàn)從4路到8路的靈活擴(kuò)展，因此非常適合這種應(yīng)用。 #p#page_title#e#
4.萬兆以太網(wǎng)將給HPC的發(fā)展帶來新的生機(jī)。目前千兆以太網(wǎng)在TOP500中占據(jù)56%的份額，隨著10GigE網(wǎng)絡(luò)技術(shù)快速發(fā)展，預(yù)計(jì)將逐步替代目前的千兆以太網(wǎng)。
5.高效能綠色數(shù)據(jù)中心建設(shè)成為新的熱點(diǎn)。BGP開發(fā)和應(yīng)用了自適應(yīng)節(jié)能降耗管理軟件，可以動(dòng)態(tài)調(diào)整服務(wù)器狀態(tài)。目前過試驗(yàn)節(jié)能效果達(dá)到了25-30%, 1萬顆CPU一年至少可節(jié)約電費(fèi)230-300萬元。同時(shí)也在嘗試應(yīng)用許多新技術(shù)，如用虛擬化技術(shù)提供集中管理和移動(dòng)辦公，機(jī)房和機(jī)柜液體智能冷卻（水冷）技術(shù)以及大型機(jī)房基礎(chǔ)設(shè)施風(fēng)道設(shè)計(jì)節(jié)能技術(shù)等。
6.復(fù)雜地震成像等技術(shù)的發(fā)展與應(yīng)用將需要更多的CPU。隨著算法精度逐漸提高，計(jì)算量和數(shù)據(jù)量越來越大，從而需要更多的CPU，系統(tǒng)管理的復(fù)雜度以及運(yùn)營(yíng)成本也會(huì)越來越高。預(yù)計(jì)未來3年中，東方公司地震數(shù)據(jù)處理CPU核數(shù)至少需要增加1.5倍，到2010年運(yùn)算能力將達(dá)到380萬億次/秒
