工業(yè)4.0所倡導的工業(yè)智能化背后，離不開高性能計算（HPC）、大數(shù)據(jù)和云計算融合的“大計算”。9月24日，由亞洲超算協(xié)會聯(lián)合浪潮等主辦的2015高性能計算用戶大會在北京舉行，大會圍繞目前的新技術(shù)趨勢提出“大計算”理念。高性能計算可以顯著降低工業(yè)設(shè)計、研發(fā)和生產(chǎn)的成本，并大幅度提升效率，是實現(xiàn)工業(yè)4.0最重要的創(chuàng)新工具之一。

挑戰(zhàn)計算力的黑洞

可以說，“大計算”成為一種趨勢，它在技術(shù)體現(xiàn)在兩個方面：

第一是云計算、大數(shù)據(jù)和高性能計算等多種計算形式在逐步融合。

互聯(lián)網(wǎng)技術(shù)、遙感技術(shù)的快速發(fā)展和對其他行業(yè)的滲透，帶來了數(shù)據(jù)的爆炸式增長，也帶動了人工智能等一批新技術(shù)的興起，復雜的應(yīng)用使得單一架構(gòu)的數(shù)據(jù)中心難以勝任處理工作，需要將不同的計算方式予以融合。

第二是基礎(chǔ)架構(gòu)如計算、網(wǎng)絡(luò)、存儲等的界限也越來越模糊，走向軟件定義的趨勢。

同時，大計算也代表著一個更大計算力的時代 —— 百億億次。數(shù)據(jù)的爆炸式增長帶來的直接結(jié)果，就是對計算力的需求更加旺盛。就以深度學習來說，它往往意味著計算力黑洞。

—— 有多黑洞呢？

當今最著名的GoogleBrain使用的并行計算平臺使用了16000個CPU，共計10億的節(jié)點，來進行深度學習模型網(wǎng)絡(luò)的構(gòu)建。然而人腦大致有1000億神經(jīng)元（對應(yīng)深度學習模型中的CPU），每個神經(jīng)元有大約5000個神經(jīng)突觸（對應(yīng)計算網(wǎng)絡(luò)中的的節(jié)點）。曾經(jīng)有人估算過，如果將一個人的大腦中所有神經(jīng)突觸依次連成一條直線，可以從地球到月亮，再從月亮返回地球。同時，人腦的計算能耗比還非常低，相當于世界上最快的超級計算機天河2號的200萬倍。

日本和德國的研究人員曾在“京”（日本最快超級計算機）上進行了歷史上規(guī)模最大的一次人腦神經(jīng)模擬計算 —— 使用“京”的82944個處理器+1PB內(nèi)存模擬人腦的17.3億神經(jīng)細胞。結(jié)果，京完成1秒的人腦模擬計算需要耗費40分鐘，而如果假設(shè)完成時間與被模擬神經(jīng)規(guī)模成線性比例的話，那么模擬整個大腦1秒的運作則需耗時2.5天。

在人類社會的數(shù)據(jù)量以EB級的速度增長的情況下，需要一種新型的低成本、高效率計算架構(gòu)（主要是芯片、網(wǎng)絡(luò)技術(shù)的顛覆性變革），才能完成數(shù)據(jù)處理的工作。

過去一年，聽到的越來越多的詞語就是“深度學習”、“人工智能”。很多人也提出需求：我有大數(shù)據(jù)的需求，能不能和HPC進行統(tǒng)一的整合給我提供管理？我在深度學習上遇到性能的問題，用HPC的技術(shù)能不能更好的解決和實現(xiàn)？

實際上不同的計算方式給我們提出了挑戰(zhàn)。比如國內(nèi)現(xiàn)在很多互聯(lián)網(wǎng)企業(yè)的采購單元已經(jīng)從原來的單機變成了機柜單元，下一步可以想像他的采購模式可能是要布滿傳感器。這就代表了在企業(yè)集團架構(gòu)上的融合進化的趨勢。最早的時候，在服務(wù)器上面，它是節(jié)點的耦合，具備自己獨立的處理和存儲。那么到了Rack的時候，機柜計算單元可以實現(xiàn)池化，它的整個機柜互聯(lián)，通過無交換機的方式實現(xiàn)整個網(wǎng)絡(luò)的拓撲和設(shè)計，做到整個數(shù)據(jù)中CPU的共享、存儲式的共享、IO的共享并進行全局供應(yīng)鏈的管理。

新計算時代的挑戰(zhàn)

高性能計算（High Performance Computing）指使用很多處理器（作為單個機器的一部分）或者某一集群中組織的幾臺計算機（作為單個計算資源操作）的計算系統(tǒng)和環(huán)境。HPC在若干年前已經(jīng)成為了一個概念，高性能計算最早期已經(jīng)具備了相關(guān)特性。

不同的計算方式在耦合，計算架構(gòu)在融合和進化。在這樣一個新的計算時代我們會面臨什么挑戰(zhàn)？

首先是如何用一個大計算解決所有的企業(yè)計算架構(gòu)問題。不同的應(yīng)用具備不同的計算特征，所以我們需要適合的計算資源提供這樣的計算服務(wù)。

第二是硬件架構(gòu)需要面對多樣的計算挑戰(zhàn)。例如大數(shù)據(jù)，傳統(tǒng)的科學工程計算和深度學習，它對后臺的計算架構(gòu)需求不一樣的。

第三是如何在混合的計算產(chǎn)品上保證應(yīng)用的靈活性。

我們?nèi)鄙俚氖沁m應(yīng)性的計算環(huán)境

“計算+”的策略，其核心理念就是改變原來服務(wù)器是服務(wù)器，存儲是存儲，網(wǎng)絡(luò)是網(wǎng)絡(luò)的狀況，讓他們演化會合為一體，通過軟件定義的方式實現(xiàn)后臺整個計算架構(gòu)。

這樣的趨勢在過去幾年已經(jīng)是屢見不鮮，越來越多網(wǎng)絡(luò)公司把自己賣給服務(wù)器公司，越來越多存儲公司也想把自己賣給計算公司。這代表著一個明顯的信號：未來世界網(wǎng)絡(luò)可以通過軟件來定義，存儲也可以通過軟件定義，只要基于計算架構(gòu)，就可以通過軟件來定義所有的計算架構(gòu)。

在這樣一個策略下，需要提供一個適應(yīng)性的計算環(huán)境，在硬件架構(gòu)上面是一個融合的基礎(chǔ)架構(gòu)，在軟件設(shè)計層面能夠?qū)崿F(xiàn)軟件定義HPC。

• 適應(yīng)的計算環(huán)境

不同的計算中不同應(yīng)用對于計算特征的需求完全不同，不可能一個環(huán)境可以做一切的事情。這樣的情況下，需要提供的是一個有更多可能性和選擇性的計算環(huán)境。

• 融合基礎(chǔ)架構(gòu)

現(xiàn)在已經(jīng)很明顯的趨勢叫計算+，也就是計算、存儲、網(wǎng)絡(luò)正在融合。面向計算的機柜式基礎(chǔ)架構(gòu)，它是在一個機柜里面用相同的物理規(guī)格實現(xiàn)不同的計算功能，有兩路、四路、交換節(jié)點和存儲節(jié)點，可以通過軟件定義的方式實現(xiàn)資源池化和共享。在整個基礎(chǔ)設(shè)施方面，有全機柜的統(tǒng)一供電和風扇共享，實現(xiàn)全局管理的融合，對于整機柜所有的計算資源實現(xiàn)統(tǒng)一管理。

• 軟件定義的HPC

軟件定義這個詞非常熱，具體到HPC上來說，最核心部分就是軟件定義HPC，提供軟件的環(huán)境。

1、軟件定義的數(shù)據(jù)服務(wù)。

在大數(shù)據(jù)的應(yīng)用里面，大概70%的時間是消耗到IO（input/output，即信息的輸入與輸出）上面的，這是應(yīng)該解決的問題。現(xiàn)在通過軟件定義存儲的方式，可以讓高性能計算、大數(shù)據(jù)和云計算這樣不同的接口支持不同的數(shù)據(jù)格式，為不同的應(yīng)用提供統(tǒng)一的存儲空間。這樣不管前面計算集群上面運行HPC、還是大數(shù)據(jù)、還是深度學習，在后端存儲的數(shù)據(jù)服務(wù)上是統(tǒng)一的存儲設(shè)備，只是通過不同的軟件定義的方式去提供。

2、軟件定義的網(wǎng)絡(luò)服務(wù)。

在云、大數(shù)據(jù)、互聯(lián)網(wǎng)這個領(lǐng)域大家原來使用習慣是軟件定義，這帶來IO不那么好。如果通過HPC，用軟件定義網(wǎng)絡(luò)服務(wù)的方式，能夠?qū)崿F(xiàn)更加接近于應(yīng)用的、適合它的網(wǎng)絡(luò)拓撲。比如可以實現(xiàn)3D的架構(gòu)，有別于傳統(tǒng)的2D架構(gòu)，它的節(jié)點擴展性少了很多制約。在3D上面實現(xiàn)極大規(guī)模的網(wǎng)絡(luò)擴展，基于不同的應(yīng)用環(huán)境，通過軟件定義它的不同拓撲，使得通過資源感知的方式，將通訊密集的應(yīng)用放在網(wǎng)絡(luò)平臺上，這樣計算應(yīng)用的時候保證網(wǎng)絡(luò)通信延遲更低，帶寬更高。

3、軟件定義的資源服務(wù)。

它可以在不用應(yīng)用之間實現(xiàn)資源統(tǒng)一分配和調(diào)配，能夠在物理機和虛擬機之間實現(xiàn)資源分配和遷移，并且實現(xiàn)計算在本地和云端靈活的遷移和調(diào)度。

通過軟件定義的數(shù)據(jù)服務(wù)，軟件定義的網(wǎng)絡(luò)服務(wù)和軟件定義的資源服務(wù)這三個方面，加上適應(yīng)性的計算環(huán)境、融合的基礎(chǔ)架構(gòu)之上實現(xiàn)軟件定義的HPC是目前的思考。HPC在若干年前已經(jīng)成為了一個概念，在目前的這樣一個大計算的趨勢和挑戰(zhàn)下，可以做到HPC到深度學習，HPC到大數(shù)據(jù)。

【本文作者劉軍，浪潮高性能服務(wù)器產(chǎn)品總經(jīng)理】

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。