破解資料移動密碼　迎向下一波半導體創新

半導體產業的優先順序已經發生了根本性的轉變。在早期的晶片設計時代中，原始處理能力佔據了主導地位，通常以效能、功耗和面積(PPA)的考量為代表。向埃米(Angstrom)邁進的先進製程節點中的高頻寬記憶體和處理能力的可用性，加上快取階層的相關進步，以及chiplets和多晶粒(multi-die)晶片擴展的廣泛使用，已在很大程度上使這些能力與當今的跨產業需求保持一致。然而，整體效能仍然可能受到運算的另一個通常被低估的支柱所限制。無論個別的XPU叢集、記憶體或邏輯區塊的能力有多強，如果互連系統無法在它們之間有效地移動資料，它們的優勢就會被抵消。

Arteris執行副總裁暨產品和行銷長Michal Siwinski

互連網路，也稱為晶片網路(NoC，亦稱片上網路)，處於現代先進半導體的核心——每個chiplet包含十幾個或更多的NoC，而在多晶粒系統單晶片(SoC)裝置中使用的甚至更多，約佔總矽晶圓面積的10%。這些NoC負責確保資料在正確的時間出現在需要的地方，並在底層矽晶片的物理限制內，以確保最佳效能。

隨著越多功能和製程被移到晶片或chiplet上，資料移動就變得越複雜，特別是考慮到所有資料都是獨一無二的，針對其特定使用案例量身訂做，並由驅動該任務的工作負載和運算需求所決定。就其核心而言，資料是情境中的資訊，這意味著在系統內路由資料的「一體適用」(one-size-fits-all)方法不再足夠，幾年前可能運作良好的傳統方法也不再適用。

將此與資料傳輸相關的高昂能源成本結合起來——這種傳輸每秒發生數十億次，涉及數百萬或更多資料位元的移動——就會非常清楚地發現，現代晶片架構的效用取決於其內部資料高速公路的效率。高需求的使用案例正在AI資料中心、自動駕駛，以及不斷擴大的智慧邊緣裝置(從消費性電子產品到機器人)中成長，並將在2026年繼續加速。結果，產業內的許多參與者已經意識到需要優先優化底層的資料移動，否則將面臨無法收斂製造此類裝置所需的功耗和熱限制的風險。這還沒提到能源問題，範圍從資料中心不斷膨脹的營運成本，到邊緣裝置的電池成本和外形尺寸，以及對整體效能的硬性瓶頸。

同質和異質的chiplet架構正成為人工智慧(AI)時代的新常態，在這個時代，資料移動量持續飆升，而傳統以CPU為中心的晶片設計模式正在被淘汰。互連技術正在崛起，成為跨各種類型處理XPU叢集(GPU、TPU、DPU、CPU等)連接的新重心，以及跨越快取層級和高頻寬記憶體(HBM)的資料儲存；包括資安(security)、安全性(safety)、可靠性、介面在內的其他邏輯；以及每個裝置獨特的運算。

最尖端的晶片和chiplet內部資料「高速公路」使其他元件能夠發揮其全部潛力，其速度和容量使伺服器之間的晶片外NIC鏈路相形見絀，現在處理速度達到每秒數TB，比標準乙太網路的容量高出幾個數量級。實際上，這發生得更快：網路延遲以毫秒為單位測量，而晶片內移動僅需奈秒即可完成。

然而，必須以這種速率移動的資料總量只會不斷增加，隨之而來的是對底層互連技術的需求也隨之增加。GPT-5最近從1兆參數躍升至10兆參數，其他的超大規模大型語言模型(LLM)也在努力跟上步伐。這意味著需要更多的資料移動來執行相關的AI運算並支援這些模型，而這些模型的演進速度也極快，且看不到盡頭。特別是，生成式AI運作於分散式處理單元和HBM之間數十億個權重的移動，所有這些都需要一條從A點到B點的最佳路徑和閃電般的傳輸方法。

在邊緣端，自動駕駛車輛產生大量的資料，主要是由於像光達(LiDAR)這樣的高容量感測系統，但也歸因於視覺處理和雷達資訊，再加上與安全相關的冗餘和安全性要求。許多其他邊緣電子產品以即時資料處理為中心，對於從多種資料來源累積的高容量處理，需要近乎無法察覺的延遲，而在這裡，高效的資料移動再次至關重要。

撇開晶片和chiplet互連必須傳輸這些大量資料的速度不談，高效資料移動的需求也是顯而易見的，因為它需要大量的能源。SoC內部每秒移動的數兆個位元中的每一個都會消耗電力。務實地說，我們談論的是TB到拍位元PB (petabits)，即1,000,000,000,000,000，或者每秒移動100萬個百萬位元到十億個百萬位元的資料。

AI資料中心是這些能源消耗最明顯的罪魁禍首，具有極端和快速的電力需求波動趨勢。每個資料中心作為其核心單元都有一個機架，通常包含數百到數千個chiplet，每小時消耗30~200kWh，這意味著每個機架每年的消耗量高達GWh。假設每個AI資料中心只有1萬個機架，這意味著每年10TWh，這代表每個AI資料中心大約1GW。即將到來的AI資料中心都在數GW的範圍內，到本年代末，AI資料中心的能源可能每年超過半個PWh (petawatt-hour)，幾乎等於於5,000萬個美國家庭的能源使用量。

資料中心區域的電力基礎設施已經感受到了不永續的壓力，對其附近的居民造成了明顯的不利影響。這對政府、超大規模雲端服務業者(hyperscaler)，以及那些需要在其資料上進行AI訓練，以在邊緣進行有效AI推論的人來說，造成了巨大的挑戰。優化、節能的資料移動不是一種奢侈，而是產業持續成長的必要條件，這些產業正被AI工作負載，以及對更先進、更智慧電子產品的整體渴望所滲透。否則，其使用和訓練所消耗的能源將變得令人望而卻步。

那麼，接下來會發生什麼？支撐我們生活的現代世界的半導體建構模組，範圍從最強大的SoC (越來越多由用於AI資料中心的各種chiplet組成)，到運算領域低階、更複雜的微控制器(MCU)。這些建造模組是專業技術和標準的豐富、綜合混合體，專為處理它們設計要應對的特定工作負載而策劃。

由於每個chiplet上有數百到數千個IP區塊，且chiplet整合到多晶粒SoC中，因此設計複雜度管理和支援底層資料移動的節能實作至關重要。連接每個晶片或chiplet中各種子系統的晶片內結構(fabrics)或NoC，也越來越具備工作負載感知能力，並能夠根據需要針對QoS、一致性、安全性、封包化等專門處理流程。今天的世界是由在這些半導體上運行的裝置、系統和自主設計所驅動的，這要歸功於作為這些產品基礎的晶片設計的演進。但問題是，只有當背後的工程師了解高效IP連接和跨SoC通訊的關鍵性，並設計出具有物理感知能力的智慧NoC來促進優化資料移動的晶片和chiplet時，這種創新才能成功。

如此一來，AI將繼續擴散也就不足為奇了。隨著它嵌入更多環境並產生不斷成長的資料量，產業將超越簡單的「雲端到邊緣」典範，轉向更複雜的流程，從資料中心到雲端、再到基地台、邊緣，最後到終端。這個擴展的管道需要在越來越多的階段之間進行無縫、高效的資料移動，而沒有任何單一點成為瓶頸。

支撐生態系統的晶片必須在每一步高效地管理資料，根據每個使用案例的特定需求量身客製化移動和優先順序，並兼顧安全性、可靠性和安規。同時，運算的其他支柱，如處理、記憶體和隨機邏輯，繼續快速發展，進一步提高了對整體系統效能的期望。綜合起來，這些力量指向2026年將是晶片和chiplet設計呈現前所未有的一年，具備針對未來的可擴展性和優化的資料移動將成為決定性的優先事項。

無論是AI資料中心還是智慧邊緣和終端裝置，未來一年的真正創新歸結為半導體產業解決迫在眉睫的資料移動危機的能力。數位革命駕馭著看不見的高速公路，當近乎難以捉摸的流量在上面奔騰時，我們必須優先考慮在它們開始破裂之前設計它們以應對這種情況。用於下一代矽設計的晶片內和chiplet內互連結構必須考慮到前所未有的複雜性，並繼續實現規模化，同時賦能而非阻礙創新。資料的流動就是進步的流動，半導體生態系統有責任防止它受到低效能晶片內傳輸的限制。

The post 破解資料移動密碼　迎向下一波半導體創新 appeared first on 電子工程專輯.