AI基礎設施與傳統IT有何不同？

AI雖然最終以軟體形式呈現在使用者面前，但其效能與價值，取決於背後是否具備專為AI工作負載所打造的基礎設施。隨著企業從實驗階段邁向實際部署，許多公司才逐漸意識到，傳統IT環境並非為企業級AI與生成式AI所需的運算規模、速度與營運需求而設計。兩者的差異在於設計目的不同：傳統IT旨在可靠地執行既定的商業邏輯與循序式應用流程；而AI基礎設施則是動態、高密度的運算架構，專為大規模平行運算、矩陣計算，以及高吞吐量資料流所設計。

AI需要截然不同的運算架構

長期以來，支援企業軟體、網站與資料庫的傳統IT系統，以CPU為核心。這類處理器針對循序式、規則導向的任務設計，能在穩定且可預測的企業環境中發揮最佳效能。

然而，AI的工作負載則截然不同。AI模型的訓練與運行，需要針對海量資料進行大規模平行運算，因此GPU與其他專用加速器成為不可或缺的運算資源。這些處理器可大幅提升深度學習與生成式AI的效能，但同時也對供電、散熱與整體系統設計提出更高的要求。

資料成為AI運作的核心

在傳統IT環境中，資料固然重要，但通常結構化的程度高，也較容易管理。這意味著資料足以支撐交易、通訊及商業應用程式存取等日常營運。

然而，在AI基礎設施中，資料是驅動系統運作的核心。AI模型需要仰賴大量資料不斷學習、適應並持續改進，因此基礎設施必須具備高速且大規模資料蒐集、儲存、傳輸與處理能力。隨著AI應用日益普及，企業也需要打造能同時支援大量資料訓練，以及低延遲推論的運算環境。

AI工作負載更加動態且要求嚴苛

傳統IT工作負載通常相對穩定。舉例來說，企業應用程式處理的流量通常維持在固定的水準，且波動幅度有限。

相較之下，AI工作負載則更加動態。模型訓練可能需要長時間持續投入大量運算資源，而即時AI應用則要求系統能迅速回應。因此，AI基礎設施必須具備高度的擴充性與靈活性，並能隨著工作負載需求的變化，快速調度與配置運算資源。

這樣的轉變，也重新定義基礎設施的效能瓶頸所在。

傳統IT環境中，網路流量通常以南北向流量為主，也就是資料在使用者與網站、企業應用等外部服務之間進出網路。

在AI系統中，則逐漸以東西向流量為主。大量資料交換發生在資料中心內部，在GPU、伺服器、儲存設備與網路層之間高速傳輸，共同支援叢集完成模型訓練與各類大規模AI運算。為支撐如此龐大的資料交換需求，網路架構必須從傳統多層樹狀架構，演進為無阻塞的Spine-Leaf或Fat-Tree架構，搭配NVIDIA NVLink、InfiniBand等高速互連技術，提供足夠的頻寬與低延遲傳輸能力。換言之，AI系統中最關鍵的流量，往往不是使用者看得見的流量，而是資料中心內部的大量資料交換。

這項架構轉變之所以重要，在於系統效能的瓶頸已由外部服務轉向資料中心內部。AI基礎設施的表現，不僅取決於使用者端的回應速度，更取決於叢集內資料運輸與調度的效率。

效能取決於整個AI基礎設施堆疊

AI基礎設施所需要的，遠不只是更快的處理器。高效能環境仰賴緊密整合的系統，結合先進加速器、高速網路、可擴充的儲存架構，以及高效的散熱管理。隨著運算密度不斷提升，直接晶片冷卻與液冷等技術，對於維持效能、可靠性與能源效率也越來越重要。

這使得AI基礎設施比傳統IT部署更加複雜，也需要更龐大的資本投入。成本不僅來自硬體投資，也受到模型訓練週期、營運規模，以及供電與散熱需求等因素影響。

華碩如何打造次世代AI基礎設施

對華碩而言，這並非只是理論上的轉變。我們提供端到端的AI基礎設施解決方案，專為現代AI工作負載的實際需求打造。例如，華碩與國家高速網路與計算中心（NCHC）以及國家實驗研究院合作，協助在台灣打造次世代AI超級電腦，整合先進GPU叢集、高速網路與節能散熱技術，以支援生成式AI與高效能運算（HPC）應用。

為滿足嚴苛的效能與散熱需求，華碩提供跨越多代架構的靈活解決方案。我們已部署搭載直接晶片液冷技術的NVIDIA GB300與HGX H200叢集，並與NVIDIA合作，推進以Vera Rubin架構打造的ASUS AI POD，為即將到來的量產做好準備。透過ASUS基礎設施部署中心的自動化技術，將建置時間從三週縮短至三天，協助加速交付可擴充、可立即投產的AI環境。

其中一例是NCHC 晶創26 （Nano 4）超級電腦，其運算效能可達81.55 PFLOPS，在TOP500排名第29位。該系統的電源使用效率（PUE）也達到1.18，展現高效能AI基礎設施愈來愈依賴運算、網路、儲存與散熱等各項技術的整合。

AI基礎設施不再只是傳統IT的延伸

與傳統IT環境不同，AI基礎設施必須不斷因應演進中的模型、變動的工作負載，以及日益提升的效能需求。它不再只是傳統IT的延伸，而是一套以智慧運算、規模擴展與高效能資料傳輸為核心打造的全新運算基礎。

透過結合先進硬體、軟體整合與端到端部署的專業能力，華碩正協助企業打造具備韌性、可因應AI時代發展的基礎設施。

延伸閱讀：

AI 基礎設施全解析：AI 工廠與企業部署實務指南