Alphabet (GOOGL) przedstawia dwufunkcyjne układy TPU 8. generacji opracowane we współpracy z Broadcom

Najważniejsze informacje

• Alphabet zaprezentował jednostki przetwarzania tensorów 8. generacji: TPU 8t zoptymalizowany do trenowania oraz TPU 8i do zadań wnioskowania
• Skoncentrowany na wnioskowaniu TPU 8i zapewnia o 80% lepszą wydajność w przeliczeniu na dolara w porównaniu do swojego poprzednika, Ironwood
• Oba procesory zostały opracowane we współpracy z Broadcom i zaprojektowane we współpracy z Google DeepMind
• Procesor treningowy TPU 8t może skalować się do 9 600 układów i oferuje dwukrotnie większą przepustowość między układami niż Ironwood
• Klienci Google Cloud uzyskają dostęp do obu wariantów układów w późniejszym terminie w 2025 roku

Dział Google firmy Alphabet zaprezentował w środę dwa wyspecjalizowane procesory sztucznej inteligencji, co stanowi pierwszą w historii sytuację, w której architektura jednostki przetwarzania tensorów została rozdzielona na odrębne układy do trenowania i wnioskowania.

TPU 8t jest zaprojektowany specjalnie do trenowania modeli AI, podczas gdy jego odpowiednik, TPU 8i, koncentruje się wyłącznie na wnioskowaniu — procesie wdrażania wytrenowanych modeli w rzeczywistych zastosowaniach. Broadcom był partnerem współrozwoju, kontynuując współpracę trwającą ponad dziesięć lat.

Alphabet Inc., GOOGL

Stanowi to strategiczne odejście od poprzednich podejść. Wcześniejsze iteracje TPU łączyły zarówno możliwości trenowania, jak i wnioskowania w jednym procesorze. Google przypisuje tę zmianę pojawieniu się agentycznych systemów AI — autonomicznych modeli działających w ciągłych pętlach sprzężenia zwrotnego przy minimalnym nadzorze ludzkim — które wymagają bardziej dedykowanych układów krzemowych.

Zorientowany na wnioskowanie TPU 8i posiada 384 megabajty pamięci SRAM na procesor — trzykrotnie więcej niż Ironwood. Według Google, to ulepszenie architektoniczne eliminuje wąskie gardło „poczekalni", zmniejszając skoki opóźnień występujące, gdy wielu użytkowników jednocześnie wysyła zapytania do modelu.

Możliwości wnioskowania zyskują dramatyczną poprawę

W porównaniu do Ironwood, TPU 8i osiąga o 80% lepszą efektywność kosztową. W praktyce organizacje mogą obsłużyć prawie dwukrotnie większe zapotrzebowanie użytkowników bez zwiększania budżetu.

Układ wykazuje również nawet 2-krotnie lepszą efektywność energetyczną na wat, dzięki technologii dynamicznego zarządzania energią, która moduluje zużycie energii na podstawie wymagań obciążenia w czasie rzeczywistym.

Po raz pierwszy oba procesory wykorzystują CPU Google Axion jako procesor hosta, umożliwiając optymalizację na poziomie architektury systemu, a nie ograniczając ulepszeń do wydajności pojedynczego układu.

Jeśli chodzi o możliwości trenowania, konfiguracja superpod TPU 8t obsługuje klastry do 9 600 procesorów z 2 petabajtami pamięci o wysokiej przepustowości. Oznacza to dwukrotnie większą przepustowość komunikacji między układami niż Ironwood, a Google twierdzi, że może skrócić harmonogramy opracowywania modeli granicznych z miesięcy do zaledwie tygodni.

Procesor treningowy zapewnia 2,8-krotnie większą wydajność obliczeniową niż architektura Ironwood siódmej generacji w tej samej cenie.

Pierwsi użytkownicy i wpływ na branżę

Wczesna adopcja nabiera tempa. Citadel Securities opracowało platformy badań ilościowych z wykorzystaniem infrastruktury TPU Google. Wszystkie siedemnaście krajowych laboratoriów Departamentu Energii Stanów Zjednoczonych korzysta z aplikacji AI co-scientist na tych procesorach. Anthropic zobowiązał się do wykorzystania wielu gigawatów mocy obliczeniowej Google TPU.

Analitycy DA Davidson przewidywali we wrześniu, że dział TPU Google, w połączeniu z Google DeepMind, mógłby osiągnąć wycenę zbliżającą się do 900 miliardów dolarów.

Google utrzymuje ekskluzywny model dystrybucji TPU — nie są one dostępne do bezpośredniego zakupu i można do nich uzyskać dostęp wyłącznie poprzez usługi Google Cloud. Nvidia nadal dostarcza sprzęt GPU dla Google, a firma potwierdziła, że będzie jednym z pierwszych dostawców usług w chmurze oferujących nadchodzącą platformę Nvidia Vera Rubin po jej premierze w tym roku.

Procesory zostały zaprojektowane w ścisłej współpracy z Google DeepMind, który wdrożył je do trenowania modeli językowych Gemini oraz optymalizacji algorytmów napędzających platformy Search i YouTube.

Google ogłosił, że zarówno TPU 8t, jak i TPU 8i będą ogólnie dostępne dla klientów platformy chmurowej w późniejszym terminie w 2025 roku.

The post Alphabet (GOOGL) Unveils Dual-Purpose 8th-Gen TPU Chips Developed With Broadcom appeared first on Blockonomi.