W technologii istnieje narracja zakładająca centralizację: dane przechodzą do chmury, obliczenia odbywają się tam, a wyniki wracają. Dla firm zajmujących się infrastrukturą chmurową ta narracja jest wygodna. Dla firm faktycznie budujących systemy AI, które muszą działać niezawodnie, szybko i bezpiecznie w rzeczywistych środowiskach, ta narracja staje się coraz bardziej ograniczająca.
Przetwarzanie brzegowe — przesunięcie zdolności obliczeniowych bliżej miejsca, w którym generowane są dane i gdzie muszą być podejmowane decyzje — nie jest niczym nowym. Nowa jest jego pilność. Połączenie wymagań AI działającego w czasie rzeczywistym, regulacji dotyczących prywatności, ograniczeń przepustowości sieci oraz rosnącej złożoności IoT i systemów autonomicznych sprawia, że przetwarzanie brzegowe nie jest niszowym wyborem architektonicznym, ale centralnym wymogiem dla całych kategorii aplikacji.
Bacznie obserwuję tę zmianę poprzez NexaTech Ventures, ponieważ reprezentuje ona jedną z najważniejszych transformacji architektonicznych w infrastrukturze technologicznej od czasu przejścia do przetwarzania chmurowego.
Gdzie architektura chmurowa zawodzi
Przetwarzanie chmurowe zostało zbudowane na założeniu, które okazało się słuszne przez pierwsze dwie dekady internetu: taniej jest przesyłać dane do centralnych zasobów obliczeniowych niż dystrybuować obliczenia w sieci. Dla większości aplikacji internetowych — wyszukiwarek, mediów społecznościowych, e-commerce — pozostaje to prawdą. Jednak dla rosnącego zestawu aplikacji to założenie się rozpada.
Rozważmy pojazdy autonomiczne. Samodzielnie jeżdżący samochód podejmuje krytyczne dla bezpieczeństwa decyzje w milisekundach na podstawie danych z czujników. Wysyłanie surowych danych z czujników do odległej usługi chmurowej, oczekiwanie na odpowiedź i otrzymanie decyzji z powrotem jest nie tylko nieefektywne; jest to fundamentalnie nierealne. Opóźnienie jest niedopuszczalne, a wymaganie niezawodności nie może zostać spełnione. Obliczenia muszą odbywać się w samym pojeździe, w czasie rzeczywistym, przy użyciu lokalnego przetwarzania.
Lub rozważmy aplikacje regulowane przepisami o prywatności w ochronie zdrowia lub usługach finansowych. RODO i podobne przepisy coraz częściej wymagają, aby wrażliwe dane osobowe były przetwarzane w określonych jurysdykcjach i pod określoną kontrolą bezpieczeństwa. Przesyłanie strumieniowe danych medycznych lub szczegółów transakcji finansowych do usługi chmurowej w innym kraju, nawet w celu uzasadnionej analizy, tworzy komplikacje zgodności, które sprawiają, że scentralizowane przetwarzanie jest prawnie i operacyjnie ryzykowne.
Lub rozważmy produkcję na hali fabrycznej. Zakład produkcyjny generujący terabajty danych z czujników z urządzeń produkcyjnych nie może realistycznie przesyłać wszystkiego do usługi chmurowej w celu analizy. Koszt przepustowości jest zaporowy, opóźnienie dla dostosowań procesu w czasie rzeczywistym jest niedopuszczalne, a ryzyko odporności operacyjnej jest zbyt wysokie. Obliczenia muszą odbywać się lokalnie.
To nie są przypadki brzegowe. To podstawowe kategorie powstających aplikacji. A architektura przetwarzania chmurowego, z założenia, jest słabo dostosowana do wszystkich z nich.
Wymagana zmiana techniczna
AI brzegowa wymaga innej architektury technicznej niż AI oparta na chmurze. Modele uczenia maszynowego muszą być mniejsze, bardziej wydajne i zoptymalizowane dla urządzeń o ograniczonych zasobach. Potoki wnioskowania muszą być odporne na przerywaną łączność sieciową. Model bezpieczeństwa musi działać dla systemów rozproszonych, a nie dla scentralizowanych centrów danych. Mechanizmy aktualizacji i wersjonowania muszą efektywnie i bezpiecznie przesyłać zmiany do tysięcy lub milionów urządzeń brzegowych.
To trudne problemy i wymagają innych podejść niż rozwój AI w chmurze. Firmy je rozwiązujące nie są firmami przetwarzania chmurowego; są to nowe firmy budujące infrastrukturę AI zoptymalizowaną pod kątem brzegu.
Kilka trendów technicznych zbiega się, aby umożliwić tę transformację. Techniki kompresji i kwantyzacji modeli szybko się poprawiają, pozwalając wyrafinowanym modelom AI działać na urządzeniach brzegowych z ułamkowymi zasobami obliczeniowymi. Specjalistyczny sprzęt — TPU, NPU i inne akceleratory AI — staje się dostępny w urządzeniach brzegowych, zapewniając niezbędną zdolność obliczeniową. Pojawiają się otwarte standardy wdrażania brzegowego, przełamując uzależnienie od zastrzeżonych platform.
W NexaTech Ventures wspieramy firmy w trzech kategoriach infrastruktury AI brzegowej. Po pierwsze, platformy optymalizacji i wdrażania modeli, które pobierają duże modele AI i kompresują je do wykonywania brzegowego. Po drugie, silniki wnioskowania brzegowego zoptymalizowane pod kątem rozproszonego wykonywania o niskim opóźnieniu. Po trzecie, systemy orkiestracji brzegowej, które zarządzają wdrażaniem, aktualizacjami i monitorowaniem obciążeń AI w rozproszonej infrastrukturze brzegowej.
Pozycja Europy
Przewaga infrastrukturalna Europy w przetwarzaniu brzegowym jest subtelna, ale realna. Kontynent zainwestował znacznie w infrastrukturę telekomunikacyjną i wdrożenie 5G, co zapewnia pojemność sieci i łączność o niskim opóźnieniu niezbędną do przetwarzania brzegowego. Europejskie przepisy o ochronie danych, daleko od bycia przeszkodą, napędzają popyt na rozwiązania przetwarzania brzegowego, które utrzymują wrażliwe dane lokalnie.
Co ważniejsze, europejskie sektory produkcyjne, motoryzacyjne i przemysłowe napędzają prawdziwy popyt na AI brzegową. Niemieckie firmy motoryzacyjne potrzebują AI brzegowej do pojazdów autonomicznych. Włoscy producenci potrzebują przetwarzania brzegowego do precyzyjnej produkcji. Holenderskie rolnictwo potrzebuje AI brzegowej do systemów precyzyjnego rolnictwa. Tworzy to dobry cykl, w którym popyt napędza inwestycje w infrastrukturę AI brzegowej, co przyciąga talenty i kapitał, co poprawia możliwości technologii, co napędza dalszą adopcję.
Amerykańska narracja przetwarzania brzegowego jest obecnie zdominowana przez firmy chmurowe próbujące rozszerzyć swoje platformy na brzeg. AWS, Google Cloud i Azure oferują usługi brzegowe. Ale są to fundamentalnie architektury skoncentrowane na chmurze z doczepioną funkcjonalnością brzegową. Transformacyjna architektura AI brzegowej jest budowana przez firmy, które zaczynają od założenia, że obliczenia odbywają się na brzegu, a chmura jest wyjątkiem, a nie regułą.
Argument inwestycyjny
Przetwarzanie brzegowe i AI brzegowa reprezentują strukturalną zmianę w sposobie wdrażania i uruchamiania oprogramowania. To nie jest tymczasowy trend ani niszowy rynek. To fundamentalna transformacja architektoniczna napędzana rzeczywistymi wymaganiami technicznymi, których przetwarzanie chmurowe nie może zaspokoić.
Okazja inwestycyjna znajduje się na wielu poziomach. Na poziomie infrastruktury firmy budujące platformy AI zoptymalizowane pod kątem brzegu i narzędzia wdrożeniowe tworzą trwałą przewagę konkurencyjną. Na poziomie aplikacji firmy, które przekształcają swoją architekturę oprogramowania do wykonywania brzegowego — pojazdy autonomiczne, systemy przemysłowe, urządzenia medyczne — osiągną przewagę wydajności i niezawodności, którą będzie trudno zastąpić.
W NexaTech Ventures szukamy firm AI brzegowej, które rozumieją zarówno wymagania techniczne, jak i wyzwania operacyjne. Najlepsze firmy nie tylko optymalizują algorytmy; budują kompletne systemy do wdrażania brzegowego, w tym monitorowanie, bezpieczeństwo, zarządzanie aktualizacjami i wsparcie operacyjne.
Przejście od scentralizowanej chmury do rozproszonego przetwarzania brzegowego reprezentuje najważniejszą transformację infrastruktury w technologii od czasu migracji do chmury. Firmy, które wcześnie pozycjonują się w tej transformacji, zbudują znaczące i możliwe do obrony przedsiębiorstwa.
Scott Dylan jest założycielem NexaTech Ventures. Pisze o infrastrukturze technologicznej, AI i inwestycjach w głęboką technologię. Więcej na scottdylan.com.
