所在位置: 前沿科技首頁 > 最新文章 > 人工智能  > 正文

MIT:人工智能讓數據中心更有效地運行

2019-08-23 09:04:46 來源: MIT news 作者: 馬嘉悅

MIT研究人員開發的一個新系統自動“學習”如何在數千臺服務器之間分配數據處理操作

傳統上,針對特定的工作負載優化調度算法幾乎是不可能的。據麻省理工學院(MIT)官網稱,MIT研究人員開發的一個新系統自動“學習”如何在數千臺服務器上調度數據處理操作幫助數據中心更高效地運行。 

MIT的研究人員利用“強化學習”(RL:一種反復試驗的機器學習技術)來根據特定服務器集群中的特定工作負載調整調度決策的系統。他們構建了新的RL技術,可以在復雜的工作負載下進行培訓。在培訓中,系統嘗試了許多可能的方法來跨服務器分配傳入的工作負載,最終在利用計算資源和快速處理速度方面找到了最佳折衷。不需要人工干預,只需要簡單的指導

與最優秀的手寫調度算法相比,系統完成任務的速度快20%30%,在高流量的時候快一倍。該系統可以使數據中心以更快的速度處理相同的工作負載,使用更少的資源。

RL的調度

通常,數據處理作業進入以“節點”和“邊”圖表示的數據中心。每個節點代表一些需要完成的計算任務,其中節點越大,所需的計算能力就越大。連接節點的邊將連接的任務鏈接在一起。調度算法根據不同的策略為服務器分配節點。

但是傳統的RL系統不習慣處理這樣的動態圖。為了構建基于RL的調度程序,研究人員必須開發一個模型,該模型可以處理圖形結構作業,并可擴展到大量作業和服務器。

他們系統的“代理”是一種調度算法,它利用圖神經網絡,通常用于處理圖結構數據。為了提出一個適合于調度的圖神經網絡,他們實現了一個自定義組件,該組件聚合圖中不同路徑上的信息——比如快速估計完成圖中給定部分所需的計算量。這對于作業調度非常重要,因為“子”()節點在其“父”()節點完成之前不能開始執行,因此預測圖中不同路徑上的未來工作是做出良好調度決策的關鍵。

為了訓練RL系統,研究人員模擬了許多不同的圖序列,這些圖序列模擬進入數據中心的工作負載。然后“代理”決定如何沿著圖將每個節點分配給每個服務器。對于每一個決策,組件都根據它在特定任務上的表現來計算獎勵——比如最小化處理單個任務的平均時間。代理人會不斷改進自己的決定,直到獲得盡可能高的回報。

建立基準工作負載

然而,有一個問題是,一些工作負載序列比其他工作負載序列更難處理,因為它們有更大的任務或更復雜的結構。這些過程總是需要更長的時間來處理,因此,獎勵信號總是比簡單的信號要低。但這并不一定意味著系統性能很差:它可以很好地處理具有挑戰性的工作負載,但仍然比簡單的工作負載慢。困難的可變性使得模型很難決定哪些行為是好的,哪些是不好的。

為了解決這個問題,研究人員采用了一種叫做“基線化”的技術。該技術采用具有大量變量的場景的平均值,并將這些平均值用作比較未來結果的基線。在訓練期間,他們為每個輸入序列計算基線。然后,他們讓調度程序針對每個工作負載序列進行多次培訓。接下來,系統對針對相同輸入工作負載做出的所有決策進行平均性能評估。這個平均值是基線,然后模型可以將其未來的決策與之進行比較,以確定其決策是好是壞。他們將這種新技術稱為“依賴于輸入的基線化”。

研究人員說,這種創新適用于許多不同的計算機系統。他說:“這是在輸入過程影響環境的環境中進行強化學習的一般方法,希望每個培訓活動都考慮輸入過程的一個樣本。”“幾乎所有的計算機系統都要處理不斷變化的環境。”

目前,他們的模型是通過模擬來訓練的,這些模擬試圖實時重現傳入的在線流量。接下來,研究人員希望通過實時通信訓練該模型,這可能會導致服務器崩潰。因此,他們目前正在開發一種“安全網”,當系統即將崩潰時,它將停止工作。

責任編輯: 陳龍
异域狂兽登陆
好股票论坛 双色最近60期走势图 天天重庆麻将官网下载安装 浙江20选5走势图 韩国快乐8|官方网站 吉林快3和值尾走势图表 3D彩吧图谜总汇全 电竞比分 捕鱼欢乐炸内购破解 大众版单机麻将 斯诺克手机比分直播网 丫丫江西奉新麻将下载app 安徽十一选五任五走势 福彩湖北30选5开奖结果 腾讯四川麻将血流成河下载 青海快三的开奖结果