主權AI對城市至關重要，因為它能強化和延伸智慧城市的發展成果，使城市在降低交通擁堵、加速應變速度、提高公共安全，以及實際節省能源和營運成本等面向，取得具體成效。當AI建構於具備低延遲、高可用性和明確治理架構的系統上，並將敏感資料和營運控制權維持在可信任的本地環境，即能更穩定以可量化地實現上述價值。
此一城市層面的轉變也呼應更宏觀的國家趨勢：越來越多國家正積極推動主權AI發展，以確保關鍵資料、基礎設施和模型治理皆掌握在本地。
這意味著在資料生成端就近進行即時推論，並結合集中式管理與協作機制，以支援模型更新、監控與回報。當此架構有效運作時，不僅可強化資料隱私與營運安全，也能協助城市從概念驗證走向可規模化的部署。
華碩透過兼具安全性與可擴展的解決方案實現此一架構，將AI能力由中心算力延伸到邊緣運算，並在真實城市場域中落地應用。
主權雲 vs. 公有雲
公有雲由大型雲端服務供應商營運，提供共享且隨需使用的運算資源。其具備快速部署與成本效益優勢，已成為許多數位工作負載擴展的主流模式。主權雲並非取代公有雲，而是針對在資料駐留、存取權限和可稽核性要求較高的工作負載所設計的部署模式。
在實務上，城市通常並行採用兩種模式，依據資料敏感性、合規性與營運風險選擇最適合的運作環境。在2025年第三季，全球雲端基礎設施服務支出達到1,026億美元；截至2025年前九個月，市場增長超過25%，預計全年營收將突破4,000億美元。
華碩和台智雲協助政府和企業建構主權AI能力，使其在確保安全性與高效能的同時，亦能維持在地治理與控制。其中關鍵推動力來自於AI Foundry Service (AFS)，一套全棧式解決方案，整合高效能運算 (HPC) 基礎架構、最佳化軟體，以及原生雲端與地端AI的工具，加速AI應用的部署與營運落地。
算力與模型生命週期
為使主權AI有效應用於城市營運場景，需建立端到端的完整路徑，不僅支援部署，更涵蓋AI完整生命週期——從模型建置與訓練、驗證、部署、營運到持續更新。此路徑可依需求逐步演進：初期以雲端支撐服務擴展與部署；當進入高強度模型訓練階段，引入HPC資源；並進一步導入邊緣運算，以在資料生成處就近進行即時決策。
華碩集團旗下台智雲透過私有5G串接各層架構，使資料在低延遲需求下安全傳輸到邊緣端；當需要更多算力時，亦可回流到雲端和HPC進行彈性擴展。城市可從特定應用場景起步，並隨時間逐步擴展規模，同時在模型生命週期中維持對資料駐留、治理機制，以及模型版本與更新的完整掌握。
相較從零建置AI資料中心，此方案提供更快速的替代路徑。透過台智雲AFS POD一站式部署服務，我們整合GPU算力、儲存、高速網路、電力和散熱系統，以及資安防護等核心組件，使受監管與高資料敏感度的團隊能在專屬基礎設施上，進行訓練和推論，無需將資料上傳到公有雲環境。
此外，我們也提供MLOps（機器學習營運）工具，支援模型在正式環境的部署、監控和更新，並涵蓋推論應用、內部知識庫的對話和檢索、文件處理與資料擷取，以及AI助理（包括智慧客服）等多元場景。此平台使團隊能以最低開發門檻啟動專案，同時確保模型生命週期皆在治理之下運作，保留完整紀錄可供後續審查與管理。
衡量成果的關鍵指標：PUE、延遲度和營運成果
評估主權AI部署成效，可從基礎設施效率、即時效能與業務影響三大面向進行追蹤。
在基礎設施方面，以電力使用效率（Power Usage Effectiveness, PUE）作為能效指標，衡量資料中心總用電與IT設備（如GPU伺服器）用電的比例。在高密度GPU環境中，供電與散熱佔據主要營運成本來源，因此PUE不僅反映整體設施運作效率，也可評估如散熱、電力配電等非運算能源消耗是否受到有效控制。
在效能方面，應衡量端到端延遲和服務穩定性。延遲是資料傳輸與回傳結果所需的時間，也是決定是否將推動部署於接近資料生成處的關鍵因素之一。在此架構中，高速儲存與高速網路是降低延遲並確保系統穩定運作關鍵。
最後，應追蹤營運成果，包含平台部署和擴展所需時間、GPU和儲存資源利用率，以及日常作業流程中的可量化改善。這些改善可體現在模型導企業系統後的實際效益，如診斷處理吞吐量提升，以及輸出結果的一致性與穩定性提升。
對華碩而言，核心目標是將上述指標轉化為可重複、可規模化的交付能力：結合華碩基礎設施與台智雲的部署與營運能力，打造具治理機制的 AI Factory，使其可於數週內快速上線，並在明確資安與合規框架下運行，隨需求成長持續擴展。此模式協助客戶加速從試驗邁向量產，降低營運風險與總持有成本（Total Cost of Ownership, TCO），並確保敏感資料與推論工作流程持續掌握在客戶自身控制之下。
智慧城市與智慧醫療實際案例
以下案例說明，當低延遲連線、受治理算力與完整運作的模型生命週期，在營運環境中整合時，主權AI如何轉化為具體實際效益。
台南展示主權AI城市架構中，從建置算力到部署的完整路徑。模型在台灣國網中心TWCC進行訓練，而推論則部署在市府自有的機房中。這類型「雲端訓練、地端推論」的混合式部署，結合集中式算力與本地算力，在確保低延遲與資料可控性的同時，實現彈性部署。無人機和道路監視器也能透過5G傳輸即時影像，支援近即時的電腦視覺分析，使城市治理能更即時且高效率地決策。
該平台支援城市智慧營運中心，涵蓋194個路口的即時交通管理，影像辨識準確率最高達98%，整體車流改善幅度達95%。此外，台南也部署超過4,000支智慧停車柱，累積減少約993公噸碳排放，展現智慧城市基礎設施在效率與永續治理上的綜合效益。
在醫療領域，台智雲協助長庚醫院於院內環境建置AI推論雲平台，實現醫療資料與運算能力皆能在院內完成的部署模式。院方已導入多個AI模型和基於大型語言模型(LLM)的臨床輔助系統，應用於醫學影像工作流程，包括X光、超音波和心臟監測，並整合既有影像系統，讓臨床人員能在原有流程中即時獲得決策支援。同時，該平台也延伸到更廣泛的臨床應用，例如骨質疏鬆風險篩檢、心臟收縮功能評估，以及急診影像的關鍵徵象偵測，協助醫療團隊更快速識別高風險個案。在整體架構上，所有敏感病患資料皆維持於院內環境處理，確保資料主權與臨床隱私安全。
如需了解更多關於台智雲、華碩智慧城市等更多資訊，請參考：
關於華碩
華碩為美國《財富》雜誌評比「世界最受推崇企業之一」，並榮登美國《富比士》雜誌「全球最受信賴企業排行榜」及英國《路透社》「全球科技100強」。產品類別橫跨主機板、顯示卡、筆記型電腦、智慧手機、螢幕、路由器及全方位的科技產品解決方案，並積極拓展電競產品及開創AIOT新領域的各種應用。華碩致力追尋無與倫比的科技創新，為全球使用者創造體貼人心的智慧生活與無所不在的幸福感，以成為數位新世代備受推崇的科技創新領導企業為品牌願景。華碩全球員工數約15,000人，擁有世界級研發菁英超過5,000人，產品行銷全球70多個國家，年營業額超過100億美元，每年獲獎數眾多，平均每日獲得超過11個獎項，產品創新、設計及品質皆備受全球市場肯定。
