【自稱是“人工智能優(yōu)先”的巨頭——谷歌，揭秘其云平臺是如何運行的？】在用搜索引擎和安卓系統(tǒng)重新定義了現(xiàn)代互聯(lián)網(wǎng)之后，谷歌又走在了下一代計算機(jī)研究和開發(fā)浪潮的最前沿：人工智能。許多人認(rèn)為人工智能和神經(jīng)網(wǎng)絡(luò)計算機(jī)是計算機(jī)的下一步，通過使用新的用例和更快的計算來解決目前無法解決的問題。這家搜索巨頭現(xiàn)在自稱是“人工智能優(yōu)先”的公司，并且在很多方面都引領(lǐng)著這項技術(shù)的應(yīng)用。

神經(jīng)網(wǎng)絡(luò)算法和機(jī)器學(xué)習(xí)技術(shù)已經(jīng)成為了谷歌很多服務(wù)的核心。谷歌在Gmail中過濾垃圾郵件、優(yōu)化目標(biāo)廣告、并且在用戶與GoogleAssistant交談的時候分析聲音。在智能手機(jī)的內(nèi)部，就像谷歌眼鏡和三星Bixby這樣的想法都展示了人工智能的視覺處理能力，就連Spotify和Netflix這樣的公司都在使用谷歌的云服務(wù)來為用戶量身定制內(nèi)容。

谷歌的云平臺正在不斷努力，利用這個日益流行的計算領(lǐng)域。但是，這個新領(lǐng)域需要新的硬件才能更高效的運行，而且谷歌自己在硬件開發(fā)上也投入了大量的資金，并且將其命名為CloudTPU。這種定制的硬件被塞進(jìn)了谷歌的服務(wù)器，并且已經(jīng)開始為當(dāng)前和擴(kuò)展后的人工智能生態(tài)系統(tǒng)提供了動力。

那么它是如何運作的呢？

TPUvsCPU：尋找更高的效率

今年早些時候，谷歌在I/O開發(fā)者大會上推出了第二代TPU，為更強(qiáng)的集群提供了更高的性能和更好的擴(kuò)展能力。TPU是一種特定于應(yīng)用程序的集成電路，它是專門為特定用例設(shè)計的自定義集成電路，而不是像CPU那樣一般的處理單元。該單元的設(shè)計目的是處理常見的機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)計算，用于訓(xùn)練和推理，特別是矩陣相乘、點積和量子化的變換，通常只有8位的精度。

雖然這些計算同樣可以在CPU上完成，有時甚至在GPU上效率更高，但是在夸操作類型的擴(kuò)展時，這些架構(gòu)在性能和能源效率方面非常有限。例如IEEE7548位證書相乘優(yōu)化設(shè)計可以比16位浮點優(yōu)化設(shè)計性能高出5.5倍，具有6倍的預(yù)期效率。它們在能量方面的效率縮小了27倍，IEEE754是用于所有現(xiàn)代CPU浮點計算的技術(shù)標(biāo)準(zhǔn)。

此外，許多神經(jīng)網(wǎng)絡(luò)用例需要從用戶的角度來進(jìn)行低延遲和幾乎瞬時的處理。這支持特定任務(wù)的專用硬件，而不是試圖將典型的高延遲圖形架構(gòu)適用于新的用例。而訪問外部RAM內(nèi)存延遲也非常昂貴。

在大型數(shù)據(jù)中心，用CPU或GPU執(zhí)行神經(jīng)網(wǎng)絡(luò)功能時，電力和區(qū)域的低效率可能導(dǎo)致出現(xiàn)巨大的成本支出。不僅僅是在硅和設(shè)備上，而且還會長時間浪費能源。谷歌知道，如果機(jī)器學(xué)習(xí)能以一種有意義的方式發(fā)揮作用，它需要的硬件不僅能提高性能，而且還能提供比CPU和GPU更好的能源效率。

為了解決這一問題，谷歌著手專門設(shè)計了TPU，以提供比現(xiàn)有GPU更好的10本成本性能改進(jìn)。最終的設(shè)計是一個可以附加到通用PCIe總線上的協(xié)同處理器。它可以與普通的CPU一起工作，可以通過它的指令和處理流量，以及通過設(shè)計成為一種附加組件來加速時間部署。結(jié)果在進(jìn)行5個月的研發(fā)之后，這項設(shè)計就被使用在了谷歌的數(shù)據(jù)中心。

TPU

今年早些時候，谷歌發(fā)布了一個全面的對比，將TPU性能與效率與Haswell架構(gòu)CPU和NVIDIATeslaK80GPU進(jìn)行對比，讓我們更加深入的了解了處理器的設(shè)計。

谷歌TPU的核心是一個矩陣相乘單元，該單元包含了65538八位倍增器硬件單元，專門用于計算兩個數(shù)字的乘積，并將其添加到一個累加器中。當(dāng)使用浮點數(shù)進(jìn)行操作的時候，這被稱作FMA。也許你還記得，這是ARM為優(yōu)化其最新的CortexA75和A55CPU以及Mali-G72努力的結(jié)果。

與CPU或GPU不同，在將數(shù)據(jù)發(fā)送到算數(shù)邏輯單元時，每個操作都可以訪問多個寄存器，這個Mac實現(xiàn)了一種收縮設(shè)計，它可以讀取一次寄存器，并在長時間的計算中重新使用該價值。在TPU中，這是可能的結(jié)果，因為它的簡化設(shè)計可以讓我們看到在相鄰的連接中，ALU執(zhí)行乘法和加法，而不需要任何內(nèi)存訪問。折現(xiàn)值了設(shè)計在可能的功率上表現(xiàn)，但是極大的提高了它們的性能和效率。

在數(shù)字方面，谷歌的TPU可以除了65536個多數(shù)據(jù)，并且為每個周期添加8位證書?？紤]到TPU運行在700MHz的情況下可以計算65536×7億次或者在矩陣單元中每秒92兆（萬億次操作）。谷歌表示，它的第二代TPU可以提供最多180兆浮點性能。與典型的標(biāo)量RISC處理器相比，它的并行吞吐量要高得多，后者通常只在一二時鐘周期或更多的指令下傳遞一個操作。

矩陣相乘單元的16位產(chǎn)品在矩陣單元下的32位累積器收集。還有一個24MB的SRAM的統(tǒng)一緩沖區(qū)，它作為寄存器工作。控制處理器的指令通過PCIe總線從一個CPU發(fā)送到TPU。這些都是非常復(fù)雜的CISC類型指令，專門用來運行每個指令的復(fù)雜任務(wù)，例如大量的多添加計算。這些指令被傳遞到一個4階段的管道中。TPU總共只有12條指令，其中最重要的5條是簡單的讀寫結(jié)果。

總體來說，谷歌的TPU更現(xiàn)實浮點協(xié)處理器的原始想法，而并非GPU。它是一個讓人意外的精簡版硬件，只包含了一個主要的處理元素和一個簡單的簡化控制方案。沒有緩存、分支預(yù)測器、多處理連接，或者將一個普通CPU中找到的其他微架構(gòu)特性，這也有助于在硅和電力消耗上節(jié)省大量的能源。

性能方面，谷歌表示自己的TPU設(shè)計通常比CPU能提供更好的性能與瓦特比，比在GPU上運行的性能高出29倍。這種芯片設(shè)計不僅能提高能源效率，而且還能提供更好的性能。在六種常見的參考神經(jīng)網(wǎng)絡(luò)工作負(fù)載中，TPU在所有測試中都提供了顯著的性能優(yōu)勢，通常比GPU快20倍或更多，比CPU處理快了71倍。當(dāng)然，這些結(jié)果會根據(jù)CPU和GPU的類型而有所不同，但都經(jīng)過了谷歌的測試。谷歌還專門對高端的英特爾Haswelle5-2699v3和NVIDIAK80進(jìn)行了測試，更深入的了解硬件特性。

與英特爾合作的邊緣計算

谷歌在硬件上的努力讓它在云計算領(lǐng)域有了一個良好的開始，但并不是所有的人工智能技術(shù)都能很好地將數(shù)據(jù)傳輸?shù)饺绱诉b遠(yuǎn)的距離。一些應(yīng)用實例，比如自動駕駛汽車，需要幾乎即時計算，因此不能依賴于互聯(lián)網(wǎng)上的高延遲數(shù)據(jù)傳輸，即使云計算的計算能力非常快。相反這些類型的應(yīng)用程序需要在設(shè)備上本地完成，同樣的道理適用于許多智能手機(jī)應(yīng)用程序，比如攝像頭對圖像的處理。

在Pixel2智能手機(jī)上，谷歌悄悄的進(jìn)行了第一次嘗試，將神經(jīng)網(wǎng)絡(luò)功能引入專門的硬件，以適應(yīng)低功耗的移動版本：PixelVisualCore。有趣的是，谷歌與英特爾合作開發(fā)了這枚芯片，這表明它并不完全是一種谷歌內(nèi)部完成的設(shè)計。我們不知道這種伙伴關(guān)系雙方都付出了什么，但可能只是制造與更多的連接性有關(guān)。

最近一段年時間，英特爾收購了多家人工智能公司，比如2016年的NervanaSystems、去年9月的Movidius、今年3月的Mobile。我們也知道英特爾有自己的神經(jīng)網(wǎng)絡(luò)處理器，位于它的神經(jīng)網(wǎng)絡(luò)之下。這一產(chǎn)品是英特爾收購Nervana公司的結(jié)果。我們對這種處理器不太了解，但它是為服務(wù)器設(shè)計的，使用一種稱為Flexpoint的低精度數(shù)字格式，，并且以每秒8兆的速度進(jìn)行內(nèi)存訪問。并且將與谷歌的TPU競爭。

第一眼看上去，Pixel的硬件與谷歌的硬件設(shè)計完全不同，考慮到不同的預(yù)算，這也并不讓人感到意外。盡管我們對谷CoudTPUVisualCore架構(gòu)并不了解，但我們可以發(fā)現(xiàn)一些類似的功能。設(shè)計中的每個圖像處理單元都提供512個算術(shù)邏輯單元，總共有4096個。

同樣，這意味著一個高度并行的設(shè)計，能夠同時處理大量的數(shù)據(jù)，即使是經(jīng)過縮減的設(shè)計，也可以每秒執(zhí)行3萬億次操作。很明顯，這個芯片的數(shù)字單元比谷歌的TPU要少得多，但毫無疑問它的不同之處在于主要是為了增強(qiáng)圖像的功能而設(shè)計，不是谷歌在云計算中運行的各種神經(jīng)網(wǎng)絡(luò)。然而它是一種類似的、高度并行的設(shè)計，能夠執(zhí)行特定的操作。

谷歌未來是否堅持這一設(shè)計，并繼續(xù)與英特爾合作，以獲得邊緣計算能力，還是依賴于其他公司開發(fā)的硬件，還有待觀察。

總結(jié)

也許谷歌最出名的產(chǎn)品是它的軟件，但是當(dāng)需要為新一代的人工智能計算提供動力的時候，谷歌同樣在硬件開發(fā)和部署方面頗有心得。

谷歌定制的TPU提供了大型云平臺計算能力，能夠部署機(jī)器學(xué)習(xí)技術(shù)，提供必要的能源效率。相對于通用的CPU和GPU硬件，它還為特定的硬件帶來了顯著的性能提升。我們在移動領(lǐng)域也看到了類似的趨勢，集成芯片廠商正越來越多的開始選擇專用的DSP硬件，用來高效的執(zhí)行密集型算法。谷歌也將成為這個市場的主要硬件廠商。

我們還在等待谷歌的第一代人工智能智能手機(jī)硬件出現(xiàn)，包括PxielVisualCore在內(nèi)。這枚芯片很快就會被用于更快的HDR處理器，并且毫無疑問將在未來人工智能測試和產(chǎn)品中扮演重要的角色，比如現(xiàn)在的Pixel2智能手機(jī)。目前，谷歌正引領(lǐng)者云平臺的硬件軟件支持。值得注意的是，英特爾、微軟、Facebook、亞馬遜和其它競爭對手都已經(jīng)開始在這一領(lǐng)域發(fā)展。

隨著機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)技術(shù)在云計算和智能手機(jī)等設(shè)備上的應(yīng)用越來越多，谷歌早期在硬件方面的努力已經(jīng)使自己成為了下一代計算機(jī)領(lǐng)域的領(lǐng)導(dǎo)者。