AMD EPYC(小龍)處理器提供卓越的PCI-E和內(nèi)存帶寬，加快了大型強(qiáng)子對撞機(jī)的亞原子粒子研究
合作伙伴：CERN
產(chǎn)業(yè)：粒子物理研究
挑戰(zhàn)：從大型強(qiáng)子對撞機(jī)的探測器中收集大量數(shù)據(jù)
解決方案：在探測器數(shù)據(jù)收集服務(wù)器上部署AMD EPYC 7742處理器
效果：較小的系統(tǒng)可以降低成本，將更多資金投入科學(xué)研究
AMD技術(shù)概述：64核AMD EPYC 7742處理器
合作伙伴：吉字節(jié)
科學(xué)是根據(jù)實(shí)驗(yàn)數(shù)據(jù)驗(yàn)證理論的過程。但是，如果測試設(shè)備包含歐洲核研究組織(CERN)大型強(qiáng)子對撞機(jī)(LHC)的粒子探測器，則遠(yuǎn)視碰撞數(shù)據(jù)每秒最多為40TB。很多沖突數(shù)據(jù)并不重要，所以首先要做的是在信息到達(dá)時過濾，提取最有可能提供重要洞察力數(shù)據(jù)的相關(guān)結(jié)果。這是非常苛刻的高性能計算任務(wù)，需要盡可能強(qiáng)大的服務(wù)器硬件。
CERN已經(jīng)為2021年將進(jìn)行的大型強(qiáng)子對撞機(jī)重啟做了很長時間的準(zhǔn)備，并且正在尋找能夠滿足大量數(shù)據(jù)吞吐量處理要求的硬件平臺?！氨仨殞⒚颗_服務(wù)器的數(shù)據(jù)存儲在每臺服務(wù)器上，”CERN LHCb在線計算項(xiàng)目負(fù)責(zé)人Niko Neufeld說。這就像拼圖一樣。拼完一幅圖后，必須對所有傳入的數(shù)據(jù)執(zhí)行牙齒操作。這給I/O帶來了棘手的挑戰(zhàn)。因此，Neufeld選擇了第二代AMD EPYC處理器，因?yàn)樗峁┝藢?shí)驗(yàn)所需的處理性能、內(nèi)存速度和帶寬。
完成美麗的拼圖
Neufeld做的實(shí)驗(yàn)稱為LHCb。Neufeld解釋說：“字母b代表beauty(美)?！边@是自然界中六個茄子夸克之一，也是我們研究的主要目標(biāo)之一?！翱淇耸且环N基本粒子，是物質(zhì)的基本組成部分?？淇私Y(jié)合形成了一種叫做強(qiáng)者的復(fù)合粒子，其中最穩(wěn)定的元素是質(zhì)子和中子。
LHCb實(shí)驗(yàn)旨在調(diào)查大爆炸后發(fā)生了什么，生存物質(zhì)，形成我們今天所知道的宇宙。觀察夸克衰變的行為有助于解釋為什么宇宙主要由物質(zhì)而不是反物質(zhì)組成。Neufeld補(bǔ)充說：“在美夸克中，牙齒差異比其他夸克更明顯?！?我想"
實(shí)驗(yàn)將強(qiáng)者和LHCb探測器相撞，制造出了美夸克，但壽命短，必須迅速收集數(shù)據(jù)才能檢測其行為。原始數(shù)據(jù)流首先由用于初始解釋的自定義FPGA卡處理。Neufeld表示：“每個服務(wù)器都映射到不同地理位置的探測器。探測器分為多個部分，每個服務(wù)器以點(diǎn)對點(diǎn)方式連接到探測器的牙齒部分。但是，所有數(shù)據(jù)片段必須放在一個位置才能進(jìn)行有意義的計算?！?/p>
Neufeld繼續(xù)說：“單個服務(wù)器無法完成數(shù)據(jù)處理任務(wù)，需要進(jìn)行完整的數(shù)據(jù)交換?！薄！?。牙齒活動需要快速數(shù)據(jù)處理、高帶寬訪問大量內(nèi)存，以及與負(fù)責(zé)服務(wù)器間連接的I/O設(shè)備的快速連接。在后一種情況下，LHCb的每個服務(wù)器使用4個Mellanox 200Gbit InfiniBand適配器，這些適配器必須通過最快的互連運(yùn)行全部容量。Neufeld說：“數(shù)據(jù)徐璐來自其他方向，牙齒數(shù)據(jù)徐璐在其他服務(wù)器上處理，這些數(shù)據(jù)必須匯總在一起?！?/p>
“AMD EPYC(小長)CPU允許我們在幾天內(nèi)顯示服務(wù)器上每秒超過1 TB的數(shù)據(jù)。像過去一樣，不需要超級計算機(jī)，而是在服務(wù)器上實(shí)現(xiàn)牙齒過程，這是一大進(jìn)步?！?/p>
Niko Neufeld，CERN LHCb在線計算項(xiàng)目主管
AMD EPYC處理器提供超高速I/O和內(nèi)存
LHCb過去使用AMD皓龍?zhí)幚砥?，Neufeld在工作流的最后階段測試了第一代基于AMD EPYC處理器的服務(wù)器。收集器中的數(shù)據(jù)打包在一起，以供與LHCb實(shí)驗(yàn)相關(guān)的所有級別的研究機(jī)構(gòu)使用。此次嘗試提供了積極的經(jīng)驗(yàn)，第二代AMD EPYC CPU改進(jìn)了產(chǎn)品規(guī)格，成為了更密集數(shù)據(jù)收集階段的誘人解決方案。
AMD EPYC CPU的核心數(shù)有助于數(shù)據(jù)處理，對128個PCI Express 4.0通道的支持是每個服務(wù)器運(yùn)行4個Mellanox NIC而不存在瓶頸的卓越功能。Neufeld說：“通過AMD EPYC (Xiaolong) CPU，我們可以在幾天內(nèi)顯示服務(wù)器上超過1 TB/s的數(shù)據(jù)?！毕襁^去一樣，不是需要超級計算機(jī)，而是在服務(wù)器上實(shí)現(xiàn)牙齒過程，這是一大進(jìn)步。"我想"
“系統(tǒng)的總內(nèi)存池也很重要，”Neufeld說。傳入數(shù)據(jù)的楊怡很多。數(shù)據(jù)不能從FPGA卡直接傳輸?shù)骄W(wǎng)絡(luò)卡。相反，必須進(jìn)入主內(nèi)存并返回。還需要大量內(nèi)存。單擊“LHCb”，每個服務(wù)器使用512GB內(nèi)存。Neufeld繼續(xù)說：“我想?！盧ome平臺滿足了這一需要，因?yàn)樗峁┝硕鄠€內(nèi)存通道并支持非?？斓膸挕＿@是一個非常均衡的平臺。單擊采用8TB 3200MHz DDR4的第二代AMD EPYC CPU完全滿足與PCI Express總線類似的RAM要求。
AMD EPYC CPU的擴(kuò)展空間
2019年5月至9月，CERN認(rèn)證了第二代AMD EPYC CPU平臺，并選擇它作為LHCb實(shí)驗(yàn)的解決方案?！巴ㄟ^牙齒解決方案，我們將服務(wù)器數(shù)量減少了三分之一，”Neufeld說。這不僅可以降低成本，而且在構(gòu)建快速、低延遲的網(wǎng)絡(luò)時，減少服務(wù)器數(shù)量也是一個優(yōu)點(diǎn)。更大的網(wǎng)絡(luò)將面臨更多的沖突問題。系統(tǒng)越緊越好?！?/p>
AMD EPYC CPU為LHCb提供執(zhí)行其他試點(diǎn)測試所需的升級路徑?！拔覀儧]有Google或Facebook的計算能力，但是通過AMD EPYC CPU，我們可以在相對小巧的系統(tǒng)中執(zhí)行所需的處理任務(wù)。這在10-15年前不可能實(shí)現(xiàn)?，F(xiàn)在我們有了擴(kuò)展的空間。使用相同的EPYC技術(shù)，在相同的空間內(nèi)實(shí)現(xiàn)雙倍的容量。未來幾年，我們的計劃是增加探測器和傳感器的數(shù)量。這會給我們提供很大的擴(kuò)展空間。有了EPYC，我們可以做更多的事情。單擊
“目前沒有與AMD EPYC設(shè)計相媲美的商業(yè)替代設(shè)備，也沒有具備Gen4功能的許多插槽和提供強(qiáng)大操作功能的其他平臺。因此，第二代AMD EPYC CPU平臺具有體系結(jié)構(gòu)優(yōu)勢。”
Niko Neufeld，CERN LHCb在線計算項(xiàng)目主管
想知道AMD EPYC處理器如何幫助您嗎？歡迎訪問數(shù)據(jù)中心內(nèi)容amd.com/epycsignup