中國IDC圈訊，開(kāi)放數據中心峰會(huì )（ODCC2020）在北京召開(kāi)，峰會(huì )圍繞數據中心新基建為主題，有數據中心領(lǐng)域及相關(guān)行業(yè)的眾多專(zhuān)家與會(huì )。在9月16日新技術(shù)與測試分論壇上，中國計量科學(xué)研究院先進(jìn)測量工程中心副主任武彤帶來(lái)了主題為“計算性能基準計量測試工具研究”的演講。

中國計量科學(xué)研究院先進(jìn)測量工程中心副主任武彤

大家好，我是武彤，先介紹一下我們單位的情況，可能在IT行業(yè)大家不太了解我們單位，我來(lái)自中國計量科學(xué)研究院，它隸屬于國家市場(chǎng)監督管理總局，是我國最高的計量科學(xué)的研究中心，國家級的法定計量技術(shù)機構，我所在的部門(mén)主要負責智能工程、云計算以及數據中心領(lǐng)域還有一些其他的材料領(lǐng)域的計量測試以及評價(jià)驗證。

可能大家不太熟悉計量，我首先給大家介紹一下，大家對計量的概念一般都從秦朝開(kāi)始，就是商鞅變法統一度量衡稱(chēng)為計量。實(shí)際上在上古時(shí)代，《伏羲女?huà)z圖》里面拿了兩個(gè)工具就是比較早期的計量工具。什么叫計量？給大家舉個(gè)例子，在秦朝叫秦錢(qián)，“秦錢(qián)半兩，徑一寸二分，重十二銖?！边@兒都兩個(gè)單位“兩”和“銖”，一兩等于二十四銖，計量就是單位統一、量值準確可靠的活動(dòng)。度量衡的技術(shù)進(jìn)步開(kāi)啟了我國的金融體系。

計量的發(fā)展通常我們稱(chēng)為從古典計量到現代計量。古典計量基本上大家都非常了解，是用植物的果實(shí)或者是用某一個(gè)人的人體器官的長(cháng)度作為計量的單位，比如說(shuō)克拉，克拉就是是一種植物的果實(shí)，大家都用于做重金屬或者鉆石重量的計量，克拉原來(lái)是植物的果實(shí)，后來(lái)做標準化，1克拉等于200毫克。到1875年，米制公約的確立，為了工業(yè)制造的發(fā)展需要標準化，就需要統一的量值體系，到了現代計量，主要為了科學(xué)技術(shù)的發(fā)展，特別是軍事科學(xué)技術(shù)的發(fā)展。

我們看一下云計算領(lǐng)域的計量。首先看貿易的角度，我們看怎么來(lái)賣(mài)云計算服務(wù)的，特別是IaaS的方面，這是騰訊云的，里面有三個(gè)指標，其中一個(gè)比較重要，一個(gè)叫CPU，一個(gè)叫內存，一個(gè)叫帶寬，它賣(mài)了三種服務(wù)，一個(gè)是計算的能力，一個(gè)是存儲的能力，一個(gè)是通信的能力，其他的廠(chǎng)商也是這樣的。

實(shí)際上如果從度量的角度來(lái)講，“核”就是一個(gè)單位，因為我們賣(mài)的計量單位是一核，一核的計量單位是多少我們大家都不是特別清楚。從計量角度來(lái)講，我們認為云計算的計量可能處于植物果實(shí)的狀態(tài)，就是克拉的狀態(tài)。

在物理領(lǐng)域，計量有七個(gè)基本單位能描述整個(gè)物理世界，比如千克等等。在互聯(lián)網(wǎng)領(lǐng)域怎么來(lái)描述整個(gè)互聯(lián)網(wǎng)領(lǐng)域的量呢？在2015年ODCA開(kāi)放數據中心聯(lián)盟，這個(gè)聯(lián)盟大部分由數據中心的使用方組成的，他們做了研究成果就是IaaS的度量方法。他們提出來(lái)在互聯(lián)網(wǎng)領(lǐng)域可能用三個(gè)指標整個(gè)描述互聯(lián)網(wǎng)領(lǐng)域的活動(dòng)：第一是秒，秒是時(shí)間的永恒的時(shí)間指標；第二是比特，大家知道比特是描述信息的一個(gè)計量單位；第三是計算能力，計算能力是互聯(lián)網(wǎng)領(lǐng)域一個(gè)新的計算指標，因為我們買(mǎi)的就是算力，類(lèi)似于電力的千瓦時(shí)一樣。

實(shí)際上在這三個(gè)指標里面，計算能力的測量是最復雜的。我們歸納一下，在互聯(lián)網(wǎng)測試領(lǐng)域怎么做計量或者測試，比較重要的就是計算資源的測試，存儲資源的計量單位比如比特。存儲資源是計量是按照“塊存儲”來(lái)測量的，“塊存儲”的不同也會(huì )導致的計量測試結果差異很大，但計算資源的計量可能是顛覆性的差異，比如你買(mǎi)一核的算力是兩塊錢(qián)，另外一核可能二十塊錢(qián)，擔算力到底是多少，實(shí)際上是沒(méi)有一個(gè)統的度量指標的，所以我們就從需求的角度來(lái)講，最重要的需求是先把計算資源的這種計量的能力或者測量能力統一。

剛才我講物理計量用七個(gè)基本單位，但是在化學(xué)計量里面，采用的計量標準叫標準物質(zhì)。比如測氧氣的濃度97%是怎么測量的呢？我們首先出一個(gè)標準物質(zhì)，標準物質(zhì)是4個(gè)9或者5個(gè)9的標準物質(zhì)，跟它比較來(lái)的，根據比較的接過(guò)去確定是97%、96%。

在計算領(lǐng)域我們找到一些基準的測量程序，比如算π，每秒鐘算一百萬(wàn)位是一核，兩百萬(wàn)位是兩核，但實(shí)際的計算場(chǎng)景沒(méi)那么簡(jiǎn)單，但它的原理是這樣，靠基準程序來(lái)確定測試能力。

互聯(lián)網(wǎng)的處理數據非常復雜，你不可能找一個(gè)程序來(lái)度量整個(gè)能力，所以我們要找到一系列的程序，比如說(shuō)負載壓縮的程序、流體力學(xué)的程序，計算負載越來(lái)越多，其測量的數據與互聯(lián)網(wǎng)的體驗就吻合得越好。當然它還需要其他的一些處理，比如說(shuō)控制程序、硬件的操作。測試程序只是最基礎的單元測量能力，就像我們有了尺一樣，怎樣用尺來(lái)量面積，還需要有方法學(xué)的標準。

基本測試的工具有這么多程序組成的，實(shí)際上我們在測量的時(shí)候，包括云計算的廠(chǎng)商在測量的時(shí)候，它把這些東西裝入它的計算單元，通過(guò)運行來(lái)測量一個(gè)結果，這是各種各樣的基本測試程序。通過(guò)這個(gè)基本測試程序你能做出來(lái)一系列的測量結果，服務(wù)器的算力和功耗之間的比值就是服務(wù)器的能效，PUE是比較IT的耗電和總耗電，如果是服務(wù)器的能效是提高了，實(shí)際上PUE的能耗高點(diǎn)也沒(méi)問(wèn)題。從綜合能耗來(lái)講，服務(wù)器的能效的提高，從實(shí)踐上來(lái)說(shuō)它的技術(shù)進(jìn)步更快，因為隨著(zhù)半導體技術(shù)的進(jìn)步，它的提高能力比數據中心的制冷的這種效率的提升速度是要快的，只不過(guò)大家更關(guān)注PUE的準確。

計算性能的測試需要很多策略，它并不是把一些負載堆積到一起就可以了，需要很多策略來(lái)支撐它，因為這種測試工具需要有很多指標證明它是科學(xué)的測量工具。

這是我們做的一款工具，大家看到的這是指標不是指現在的騰訊云和阿里云、百度云的測量結果，這是我做實(shí)驗的時(shí)候它們的性能，今天只是展示一下這個(gè)結果用來(lái)說(shuō)明怎么判斷基準測試工具的科學(xué)性。

現在我解釋一下這種計量工具，基準測試工具怎么才算是一個(gè)科學(xué)的測試工具？首要基準測量工具重復性要好，比如這個(gè)基準測量工具，你測量的結果是被測的計算單元的重復性加上工具的重復性的合成的結果。假定測量工具的重復性本身很差，這個(gè)測試工具不能作為基準計算測試工具，當然不同的負載它的重復性也是不一樣的，所以我們在選這種測試負載的時(shí)候要選重復性好的。這就是為什么要選克拉作為鉆石的單位，克拉的種子可能一致性比較好，選蘋(píng)果就比較麻煩，有的大、有的小，所以選這個(gè)程序還是要從很多的負載里面選擇重復性比較好的。

這種負載并不一定是我們實(shí)際使用的，基準測試實(shí)際上是一種理想測試，例如說(shuō)我們每次看英特爾發(fā)布CPU說(shuō)今年我們的計算性能提高40%，實(shí)際上它是在理想情況下也就是這種理想負載下做的，并不是在實(shí)際場(chǎng)景，你用WORD等應用程序體驗不到提升40%的體驗。

基準測試工具它是一個(gè)理想的測試工具，我們就選這么多的負載首先來(lái)看它的重復性。重復性對基礎測試是最重要的指標，只有你把重復性確定了，你才能確認被測的樣品的一致性。假定我們的工具的一致性是0.2%，看一下單核心的測試結果，大家看云計算如果是單核心它的重復性就比較好。

這是重復性的技術(shù)指標，大家可以看一下這個(gè)技術(shù)指標，騰訊云整數運算的時(shí)候重復性是1.67%，浮點(diǎn)是1.06%。如果是共享計算單元，云計算有很多共享的計算單元，它的重復性非常差，如果是共享的，別人用的多了可能縮減你的計算能力。實(shí)際上其他廠(chǎng)商也是類(lèi)似情況，有的廠(chǎng)商可能會(huì )更差，核數多的重復性會(huì )更差，比如16核13.6%，它的算力是波動(dòng)的，如果是獨享會(huì )好一點(diǎn)。每家廠(chǎng)商的計算能力實(shí)際上是波動(dòng)的，并不是很穩定，我們買(mǎi)其他的東西也是一樣，我們買(mǎi)水果他每次給你稱(chēng)500克也是波動(dòng)的，有一個(gè)范圍，我們購買(mǎi)定量包裝的商品也是這樣。

這樣就有一個(gè)問(wèn)題，我們怎么樣來(lái)比較不同的算力，因為所有的算力都是波動(dòng)的？

有一個(gè)概念叫不確定度，測量的“真值“實(shí)際上是不存在的。例如我們測量長(cháng)度，測量長(cháng)度假設1米，實(shí)際上它的最可能的范圍是呈正態(tài)分布的值，包含有不確定度。假定兩個(gè)人測量都是1米，這1米它不完全是相同，它有可能是正偏差，有的是負偏差，如果做可比較的話(huà)，就要把你測量結果的不確定度評估出來(lái)。我們有時(shí)候測量不確定度非常大，比如說(shuō)算力不確定度達到30%，你測量一顆CPU算出來(lái)是2000，另外一個(gè)是1500，實(shí)際上比較不出來(lái)哪個(gè)算力更大。

今天大體來(lái)解釋一下做一個(gè)測量工具需要什么樣的技術(shù)指標。

這是我們的不確定度，任何一個(gè)測量工具必須有包含不確定度的結果，它才是完整的測量結果，這個(gè)具體的不確定度的值我就不再具體解釋了。

總結一下，一個(gè)科學(xué)的基準測試工具需要有幾個(gè)方面的指標：

第一個(gè)是可測量，可測量是必須有值測量出來(lái)，不能給你給個(gè)感覺(jué)這個(gè)挺快、那個(gè)很慢，必須是有量值的；

另外一個(gè)可重復，每次的測量結果都在一定的范圍內是可以重復的。

另外是可以比較，就是我們設定兩種可以比較，比如單核的是什么，雙核的是什么，16核的是什么，當然不是線(xiàn)性的。如果別人拿給你一個(gè)工具講不清楚這些指標，實(shí)際上你無(wú)法確定是不是可以用這個(gè)工具，當然你可以根據這個(gè)工具的發(fā)布方是不是權威的組織，來(lái)確定是不是相信它。

另外要完全釋放硬件性能，要準確模擬用戶(hù)的行為，我們選擇負載要有典型性，不能選一些很不常見(jiàn)的負載。

還有一個(gè)功能是引導未來(lái)軟件開(kāi)發(fā)，基準測量工具是一個(gè)工具，它自己的穩定性實(shí)際上是非常高的，比一般測試程序的穩定性要求要高。你要是用應用軟件的時(shí)候，比如WORD，它每次裝載的時(shí)間都不一樣的，那個(gè)不一樣對你的體驗影響是很小，但是基準測量工具作為測量工具要求非常穩定。作為基準測量工具，我們認為這些指標是必須的，剛才有很多嘉賓來(lái)講核心的指標、實(shí)際上它都是用基準工具測量出來(lái)的，如果你的指標差異很大，基準測試工具的影響不明顯。如果差異很小，實(shí)際上影響很大的。

對于未來(lái)的考慮，我們希望能建立硬件的服務(wù)器和云計算的服務(wù)器一致的測量工具，這種更便于比較。

我們的工作基本上來(lái)提供工具一致性，并不是說(shuō)所有基準工具都是由我們發(fā)布，實(shí)際上基準的測試工具主要依靠廠(chǎng)商，我們來(lái)提供方法學(xué)的支持，怎么來(lái)做一款基準測試工具，怎么來(lái)評價(jià)基準測試工具。

我們自己也寫(xiě)工具，我們自己寫(xiě)的工具也不一定是最好的，這需要廠(chǎng)商共同的努力，剛才郭亮講也計劃在ODCC立一個(gè)項目是關(guān)于基準測試工具的，我們國家基準測試工具實(shí)事求是講，還是非常落后，這還有一段過(guò)程。

我們希望在ODCC的平臺下，我們國家的基準測試工具能夠獲得長(cháng)足的進(jìn)步，只有工具進(jìn)步了，進(jìn)行市場(chǎng)監管的時(shí)候才有基礎。比如有人投訴云廠(chǎng)商，說(shuō)我買(mǎi)的算力不夠，如果沒(méi)有基準測試工具很難判定怎么叫不夠，你買(mǎi)了一核到底多少算力才夠。計量是技術(shù)合規的原點(diǎn)，市場(chǎng)監管的基礎。

謝謝大家。