根據Trend Forcerr的數據，AI服務器的出貨量約為13萬臺，約占全球服務器出貨量的1%。展望2023年，Microsoft、Meta、Baidu、ByteDance等相繼推出基于生成式AI的產品和服務，并積極增加訂單。預計2023年AI服務器出貨量年增長率將達到15.4%，并且隨著ChatGPT未來對AI服務器的需求，預計2023年至2027年AI服務器復合年增長率將達到12.2%。
DGX H100于2022年推出，是NVIDIA DGX系統的最新版本，也是NVIDIA DGX SuperPOD的基礎。DXG服務器配備8個H100 GPU、6400億個晶體管，在全新FP8精度下提供比上一代提升6倍的AI性能，提供900GB/s的帶寬。
DGX H100服務器內部，藍色塊為IP網卡，既可以充當網卡，也可以起到PCIe Switch擴展的作用，成為連接CPU和GPU(H100)之間的橋梁。其在內部使用PCle 5.0標準。另外，CX7被分成2張卡，以網卡芯片的形式插入服務器，每張卡由4個CX7芯片組成，輸出2個800G OSFP光模塊接口。
GPU(H100)之間的互連主要通過NV Switch芯片實現。DGXH100中的每個GPU向外擴展18個NVLink，每個鏈路的雙向帶寬為50 GB/s，總計18*50GB/s=900GB/s的雙向帶寬，分為4個板載NV Switch，因此每個NV Switch對應4-5個OSFP光模塊，共18個。每個OSFP光模塊采用8個光通道，每通道傳輸速率為100Gbps，因此總速率達到800Gbps，可實現高速數據傳輸。
CPU、GPU等組件互連：PCIE Switch、Retimer芯片
PCIe Switch，又稱為PCIe交換機或PCIe集線器，主要用于互連PCIe設備，PCIe Switch芯片與其設備的通信協議為PCIe。由于PCIe鏈路通信是一種端到端的數據傳輸，因此Switch需要提供擴展或聚合能力，以允許更多的設備連接到一個PCle端口，解決PCIe通道數不足的問題。目前，PCIe Switch不僅在傳統存儲系統中得到廣泛應用，而且在一些服務器平臺中也逐漸普及，以提高數據傳輸的速度。
PCIe總線技術升級，PCIe Switch速度逐代提升。PCIe總線是PCI總線的高速串行替代品。2001年，Intel宣布推出第三代I/O技術來取代PCI總線，稱為“3GIO”。2002年，該技術經PCI特別興趣小組(PCI-SIG)審查后，正式更名為“PCI Express”，標志著PCIe的誕生。2003年，PCIe 1.0正式發布，支持每通道250MB/s的傳輸速率，總傳輸速率為2.5 GT/s。2007年，PCI-SIG宣布推出PCI Express Base 2.0規范。基于PCIe 1.0，總傳輸速率提高了一倍，達到5GT/s，每通道傳輸速率從250MB/s提升至500MB/s。2022年，PCI-SIG正式發布PCIe 6.0規范，將總帶寬提升至64 GT/s。
隨著PCIe越來越多地應用于服務器，PCIe Switch的市場需求也隨之增加。據QYResearch統計和預測，2021年全球PCIe芯片市場銷售額達到7.9億美元，預計2028年將達到18億美元，復合年增長率(CAGR)為11.9%。
中國是PCIe Switch最大的市場。隨著服務器對海量數據存儲和傳輸的需求增加，在大數據、云計算、人工智能等領域，需要大量的高速互連解決方案來實現海量數據傳輸。PCIe Switch作為一種高速互連解決方案，在中國市場有著巨大的需求。
在AI服務器中，至少需要一顆Retimer芯片來保證GPU和CPU連接時的信號質量。具體點，很多AI服務器都會配置多顆Retimer芯片，比如Astera Labs在AI加速器中配置了4個Retimer芯片。
PCIe Retimer是一個藍海市場，擁有三大領先制造商和許多潛在競爭對手。目前，在PCIe Retimer藍海市場上，Parade Technologies、Astera Labs和Montage Technology是三大廠商，占據主導地位。其中，Montage Technology較早部署PCIe，是中國大陸唯一一家能夠量產PCIe 4.0 Retimer的供應商，其PCIe 5.0 Retimer開發進展順利。
此外，Renesas、TI、Microchip Technology等芯片廠商也積極參與PCIe Retimer的產品開發。根據信息，Renesas可提供兩款PCIe 3.0 Retimer產品，分別是89HT0816AP和89HT0832P；TI可提供16Gbps 8通道PCIe 4.0 Retimer——DS160PT801；同樣，Microchip Technology于2020年11月發布了Xpress Connect系列Retimer芯片，可支持PCIe 5.0的32GT/s速率。
GPU-GPU連接：NVLink、NVSwitch
全球芯片廠商都在關注高速接口的相關技術。除了NVIDIA的NVLink之外，AMD的Infinity Fabric和Intel的CXL(Compute Express Link)也為服務器內部的高速互連提供了解決方案。
不斷更新的NVlink引發了高速互連技術的一場革命。NVLink是NVIDIA開發的一項高速互連技術，旨在加快CPU與GPU、GPU與GPU之間的數據傳輸速度，提高系統性能。從2016年到2022年，NVLink已經迭代到第四代。2016年，NVIDIA發布了全新的高速接口芯片——NVLink，由Pascal GP100 GPU搭載。這是第一代NVLink。NVLink采用高速信號互連(NVHS)技術，主要用于GPU與GPU、GPU與CPU之間的信號傳輸。GPU以NRZ(不歸零)編碼形式傳輸差分阻抗電信號。第一代NVLink單鏈路可實現40GB/s的雙向帶寬，單芯片可支持4條鏈路，即160GB/s的總雙向帶寬。
NVLink技術經歷了多次迭代和更新，引發了高速互連技術的創新浪潮。2017年，基于Volta架構的第二代NVLink發布，可實現每鏈路50GB/s的雙向帶寬，每芯片支持6條鏈路，即總雙向帶寬300GB/s。2020年，基于Ampere架構的第三代NVLink發布，可實現每鏈路50GB/s的雙向帶寬，每芯片支持12條鏈路，即總雙向帶寬600GB/s。2022年，基于Hopper架構的第四代NVLink發布，將傳輸信號改為PAM4調制電信號，并且可以實現每鏈路50GB/s的雙向帶寬，每芯片支持18個鏈路，即總雙向帶寬為900 GB/s。
2018年，NVDIA發布了第一代NVSwitch，為提高帶寬、降低延遲，以及實現服務器內多個GPU之間的通信提供了解決方案。第一代NVSwitch采用臺積電12nm FinFET工藝制造，擁有18個NVLink 2.0接口。一臺服務器可以通過12個NVSwitch支持16個V100 GPU，實現與NVLink的最高互連速度。
目前，NVSwitch已經迭代到第三代。第三代NVSwitch采用臺積電4N工藝打造，每個NVSwitch芯片有64個NVLink 4.0端口。GPU之間的通信速度可以達到900GB/s，并且這些通過NVLink Switch連接的GPU，可以用作具有深度學習能力的單個高性能加速器。
CPU和DRAM之間的高速互連，推動了對內存接口芯片的需求
服務器內存模組的主要類型是RDIMM和LRDIMM，相對于其他類型的內存模組，這兩種類型對穩定性、糾錯能力和低功耗有更高的要求。內存接口芯片是服務器內存模塊的核心邏輯器件，是服務器CPU訪問內存數據的必經路徑。其主要作用是提高內存數據訪問的速度和穩定性，滿足服務器CPU對內存模塊日益增長的高性能和大容量的需求。
內存接口芯片的速度從DDR4到DDR5不斷提高。自2016年以來，DDR4已成為內存市場的主流技術。為了實現更高的傳輸速度，并支持更大的內存容量，JEDEC組織進一步更新和完善了DDR4內存接口芯片的技術規范。在DDR4一代中，從Gen1.0、Gen1.5、Gen2.0到Gen2plus，各子代內存接口芯片支持的最高傳輸速度都在不斷提高。DDR4的最后一個子代產品，Gen2plus，最大支持傳輸速度為3200MT/s。隨著JEDEC組織不斷完善DDR5內存接口產品的規范定義，DDR5內存技術正在逐步取代DDR4內存技術。
目前，DDR5內存接口芯片已規劃了三個子代，支持速率分別為4800MT/s、5600MT/s、6400MT/s。業界預計未來可能還會再出現1-2個子代。
內存接口芯片按功能分為兩種，即寄存器緩沖器(RCD)和數據緩沖器(DB)。RCD用于緩沖來自內存控制器的地址、命令和控制信號，DB用于緩沖來自內存控制器或內存顆粒的數據信號。
DDR5內存模塊的升級，為內存接口芯片和模塊支持芯片帶來了新的機遇。2016年全球內存接口芯片市場規模約為2.8億美元，2018年達到約5.7億美元，三年年化增長率達40%。DDR5的升級，將使內存接口芯片的市場規模邁上新臺階。與DDR4相比，由于DDR5更高的支持速率和更復雜的設計，第一代DDR5內存接口芯片的起售價要高于DDR4內存接口芯片。同時，隨著DDR5內存在服務器和PC中的滲透率逐漸提高，DDR5相關內存接口芯片的市場規模有望實現快速增長。
內存接口芯片行業壁壘較高，已形成三足鼎立的格局。內存接口芯片屬于技術密集型行業，需要經過CPU、內存、OEM廠商各方面嚴格驗證后才能大規模使用，新玩家很難進入。隨著技術難度的不斷增加，內存接口芯片廠商的數量已經從DDR2代的10多家減少到DDR4代的只有3家。行業出清，三足鼎立的格局已經形成。在DDR5一代中，全球僅有3家供應商能夠提供DDR5第一子代的量產產品，分別是Montage Technology、Renesas Electronics(IDT)和Rambus。
