Za kulisami: zawyżone statystyki Tesli i pokazy kompetencji AI

Druga z dwóch części
Część pierwsza

Podczas gdy pracownicy Tesli oglądali nagrania wideo przedstawiające błędy FSD, zarząd firmy i dyrektor generalny intensyfikowali swoje twierdzenia dotyczące bezpieczeństwa tej technologii i jej gotowości do pełnej autonomii. Przez większą część ubiegłego roku liderzy Tesli promowali twierdzenie o dziesięciokrotnie wyższym poziomie bezpieczeństwa.

„Samochód z FSD będący 10 razy bezpieczniejszy" napędzi sprzedaż – powiedział dyrektor finansowy Tesli Taneja podczas lipcowej rozmowy z inwestorami. „Nawet przy 99 dolarach miesięcznie, to tak jakbyś miał osobistego szofera za nieco ponad 3,33 dolara dziennie."

Kluczowy problem z metodologią Tesli wynika z jednego błędu porównawczego, który trzykrotnie zawyżył deklarowany przez Teslę poziom bezpieczeństwa. Producent samochodów zliczał kolizje Tesli z uruchomionymi poduszkami powietrznymi i porównywał je z federalnymi danymi dotyczącymi wszystkich wypadków, w których pojazd został odholowany przez lawetę – kryterium znacznie mniej restrykcyjne. Kolizje wymagające holowania często nie są na tyle poważne, aby uruchomić poduszki powietrzne.

Tesla zastosowała to podejście porównywania gruszek z jabłkami, mimo że jabłka były łatwo dostępne do porównania: federalne dane, których używała, obejmowały kolizje z uruchomionymi poduszkami powietrznymi. Ta wadliwa metodologia doprowadziła do wniosku, że Tesle korzystające z FSD lub Autopilota pokonują odległość dziesięciokrotnie większą między wypadkami niż przeciętny kierowca.

Bardziej miarodajne porównanie – przy użyciu kolizji z uruchomionymi poduszkami powietrznymi zarówno dla Tesli, jak i wszystkich innych samochodów – wykazuje, że Tesle korzystające z systemów wspomagania kierowcy pokonują odległość około trzykrotnie większą między wypadkami z uruchomionymi poduszkami powietrznymi, zgodnie z analizą przeprowadzoną dla Reutersa przez Marco Benedettiego, adiunkta naukowca w Instytucie Badań Transportowych Uniwersytetu Michigan i byłego statystyka NHTSA. Dwóch innych badaczy bezpieczeństwa ruchu drogowego zweryfikowało obliczenia Benedettiego i zgodziło się z wnioskami.

Jednak nie oznacza to, że FSD jest faktycznie trzy razy bezpieczniejszy niż przeciętny kierowca – powiedział Benedetti – ze względu na kilka innych wad w metodologii Tesli.

Tesla zmodyfikowała swoje podejście w listopadzie, uwzględniając jedynie dane dotyczące pojazdów korzystających z FSD i wykluczając te z Autopilotem. Uwzględnienie Autopilota zwiększało deklarowaną przez Teslę liczbę mil między wypadkami, ponieważ jest to mniej zaawansowany system przeznaczony wyłącznie do autostrad – gdzie samochody pokonują duże odległości, a wypadki zdarzają się znacznie rzadziej niż na ulicach miejskich. Firma jednak nadal używa wadliwego porównania kolizji z poduszkami powietrznymi na swojej stronie internetowej, twierdząc, że FSD jest siedem razy bezpieczniejszy niż przeciętny kierowca, czyli około 85% bezpieczniejszy wyrażone jako zmiana procentowa.

Reuters ustalił, że kilka innych wadliwych pomiarów stosowanych przez Teslę podaje w wątpliwość, czy FSD jest w ogóle bezpieczniejszy.

Producent samochodów na przykład nie uwzględnia wieku pojazdu przy porównywaniu wskaźnika kolizji swoich samochodów ze wskaźnikiem krajowym. Tesla porównuje swoje pojazdy – które mają średnio zaledwie 4,1 roku, według danych S&P Global Mobility – ze wszystkimi pojazdami w USA, których średni wiek wynosi 12,8 roku. Dziesięciu badaczy bezpieczeństwa poinformowało Reutersa, że wypacza to wyniki, ponieważ prawie wszyscy producenci samochodów zaczęli ostatnio oferować przełomowe funkcje bezpieczeństwa, w tym monitorowanie martwego pola i automatyczne hamowanie awaryjne, w całych swoich liniach produktów.

Tesla obniża również swój bilans kolizji, licząc tylko wypadki, które miały miejsce przy włączonym FSD lub w ciągu pięciu sekund od wyłączenia tej funkcji. Rząd USA natomiast wymaga od producentów samochodów zgłaszania kolizji występujących w ciągu 30 sekund od dezaktywacji zaawansowanego systemu wspomagania kierowcy.

Tesla twierdzi, że FSD mógłby rocznie uratować ponad 32 000 istnień ludzkich i zapobiec ponad 1,9 miliona obrażeń. Niektórzy badacze bezpieczeństwa ruchu drogowego nazwali te liczby bez znaczenia, ponieważ opierają się na nierealistycznym założeniu, że każdy pojazd w USA, w tym ciężarówki towarowe i podatne na wypadki motocykle, zostałby zastąpiony samochodem Tesla z obsługą FSD – i że każdy samochód Tesla jest co najmniej siedem razy bezpieczniejszy od tego, który zastępuje.

Bardziej rygorystyczne podejście Waymo

Założenie leżące u podstaw statystyk bezpieczeństwa Tesli jest również wadliwe, ponieważ FSD nie jest prawdziwie autonomicznym systemem – stwierdziło 10 badaczy bezpieczeństwa ruchu drogowego. Tesla nie porównuje swojej technologii z ludzkimi kierowcami, jak twierdzą jej przedstawiciele. Zamiast tego producent samochodów porównuje przeciętnego ludzkiego kierowcę z innym przeciętnym człowiekiem – tym, który prowadzi Teslę z FSD. Tesla nie uwzględnia również tego, że kierowcy mogą włączać i wyłączać FSD – a badania pokazują, że kierowcy często unikają korzystania z zaawansowanych systemów wspomagania kierowcy w skomplikowanych sytuacjach drogowych, w których technologia wydaje im się niebezpieczna. Własne dane Tesli pokazują, że FSD jest używany głównie na autostradach.

Waymo należący do Alphabetu porównuje natomiast swoje w pełni bezzałogowe robotaxi, wdrożone obecnie w 11 obszarach metropolitalnych USA, z pojazdami prowadzonymi przez ludzi w podobnych warunkach.

Waymo stosuje bardziej rygorystyczne podejście niż Tesla, analizując dane o kolizjach na rynkach, na których działa, i dostosowując je do rodzajów dróg i dzielnic, po których poruszają się jego robotaxi. Waymo koncentruje się na konkretnych wskaźnikach kolizji – takich jak te z uruchomionymi poduszkami powietrznymi lub poważnymi obrażeniami – zarówno dla swoich samochodów, jak i samochodów prowadzonych przez ludzi na tych samych rynkach.

„Musimy być naprawdę ostrożni w doborze słów" – powiedział John Scanlon, badacz bezpieczeństwa w Waymo. „Potrzebujesz bardzo konkretnych pytań badawczych i bardzo konkretnych wniosków."

Waymo wskazuje również na braki w swoich danych i współpracuje z zewnętrznymi badaczami w celu publikowania swoich statystyk bezpieczeństwa w recenzowanych czasopismach. Tesla natomiast nie poddaje się żadnej recenzji i publikuje jedynie ogólne statystyczne twierdzenia dotyczące bezpieczeństwa, jednocześnie zachowując w tajemnicy swoje podstawowe dane o kolizjach samochodów Tesla.

Nagrania wideo Tesli uderzających w psy, koty i jelenie

Wewnątrz Tesli osoby etykietujące dane mają nieocenzurowany wgląd w bezpieczeństwo FSD. Trzech byłych pracowników opisało kilka nagrań wideo pokazujących Tesle nierozpoznające zwierząt i uderzające w nie z prędkością – bez hamowania.

Pięciu byłych pracowników stwierdziło, że konkretne zespoły skupiały się na problemach FSD z rozpoznawaniem autobusów szkolnych. To obawa wyrażona przez grupę zajmującą się bezpieczeństwem technologii o nazwie Dawn Project, która emitowała reklamy podczas Super Bowl w 2023 i 2024 roku, pokazując nagrania wideo Tesli z włączonym FSD, które nie zatrzymywały się przy autobusach ze znakami stop i migającymi światłami.

Dwóch byłych pracowników stwierdziło, że widziało podobne klipy wideo wewnątrz Tesli.

Pięciu byłych etykietujących dane opisało napiętą, chaotyczną atmosferę pracy, z priorytetami zmieniającymi się w zależności od dyrektyw Muska i inżynierów FSD. Jednostka etykietowania danych borykała się z chroniczną rotacją pracowników z powodu monotonnej pracy i ogólnie niskich zarobków, jak stwierdzili.

Czterech byłych pracowników powiedziało, że wyżsi rangą pracownicy Tesli często inicjowali nowe projekty w reakcji na doniesienia prasowe lub posty w mediach społecznościowych pokazujące błędy FSD. Jeden opisał próbę rozwiązania problemu, jak światło słoneczne może zasłaniać zewnętrzne kamery samochodów. Zostało to sprowokowane przez wideo w mediach społecznościowych pokazujące, jak światło odbijające się od zegarka pasażera oślepiło jedną z kamer, wyłączając FSD. Kolejne działania dotyczące przejazdów kolejowych nastąpiły po doniesieniach prasowych o Teslach prowadzonych przez FSD, które nie zatrzymywały się przy nich.

Klipy FSD regularnie pokazywały również przekraczanie prędkości – powiedziało pięciu pracowników – co inżynierowie i inni wyżsi rangą traktowali jako problem niskiego priorytetu.

Jeden pracownik powiedział, że etykietujący widzieli Tesle regularnie przekraczające limity prędkości o 20 do 30 mil na godzinę po tym, jak producent samochodów wprowadził tryb FSD „Mad Max" umożliwiający bardziej agresywną jazdę. Inny etykietujący zgłosił, że widział pojazd prowadzony przez FSD jadący 60 mil na godzinę w strefie 25 mil na godzinę.

Publiczne pokazy robotaxi

Podczas gdy pracownicy Tesli zmagali się z szkoleniem FSD, Musk w październiku 2024 roku chwalił możliwości samojezdne Tesli podczas efektownej premiery robotaxi na terenie studia Warner Bros. w pobliżu Los Angeles. Tłum zaproszonych gości wiwatował, gdy Musk gestykulował w kierunku około 20 prototypów dwudrzwiowego „Cybercab", który nie ma kierownicy ani pedałów, pełzającego po terenie studia.

„Samochody po prostu jeżdżą, bez ludzi" – powiedział.

Musk powiedział, że oprogramowanie Tesli jest zaprojektowane do pracy w dowolnym miejscu, nawigując w nieznanych obszarach w czasie rzeczywistym. Jednak przez tygodnie poprzedzające wydarzenie z Cybercab, personel testował prototypy każdej nocy od godziny 18:00 do świtu, zbierając nagrania wideo trasy, którą samochody miały pokonać podczas premiery, zgodnie z relacją dwóch byłych pracowników etykietowania danych. Etykietujący spędzili setki godzin na oznaczaniu krawężników i oznaczeń drogowych na nagraniu, aby zapobiec krępującym incydentom, jak stwierdzili pracownicy.

Waymo przeprowadza takie mapowanie na dużą skalę przed uruchomieniem w określonych miastach – podejście, które Musk wielokrotnie odrzucał jako zbyt kosztowne i powolne. Musk w 2024 roku wyśmiewał „bardzo zlokalizowane rozwiązania" Waymo jako „dość kruche".

Po wydarzeniu w Warner Bros. Musk ogłosił podczas rozmowy z inwestorami w styczniu 2025 roku, że Tesla uruchomi robotaxi w czerwcu 2025 roku w Austin. Chwalił technologię jako „uogólnione rozwiązanie AI", które nie wymagało „precyzyjnych map danej miejscowości".

Jednak przez miesiące przed uruchomieniem w Austin Tesla intensywnie filmowała obiekty w ograniczonej strefie robotaxi, aby zmapować obszar, rejestrując sygnalizację świetlną, znaki drogowe i inne elementy. Etykietujący dane oznaczali to nagranie, aby upewnić się, że oprogramowanie poradzi sobie z trudnymi scenariuszami, w tym z odbiorem pasażerów i reagowaniem na pojazdy ratunkowe, zgodnie z relacją dwóch pracowników mających bezpośrednią wiedzę na ten temat.

Trzech pracowników powiedziało, że personel etykietowania danych w Utah podwoił się w ciągu pół roku przed uruchomieniem w Austin do około 300 pracowników. Dział, jak stwierdzili, pracował przede wszystkim nad projektami mającymi na celu sprawne przeprowadzenie starannie kontrolowanego testu w Austin.

Dwóch pracowników stwierdziło, że gdy etykietujący dane Tesli przygotowywali się do uruchomienia, oprogramowanie było nadal niestabilne. Przy każdej aktualizacji FSD niektóre zachowania podczas jazdy ulegały poprawie. Inne się pogarszały. W biurze w Utah dwa duże ekrany wyświetlały statystyki dotyczące mil między interwencjami kierowcy dla FSD – kluczowy wskaźnik bezpieczeństwa jazdy autonomicznej.

„Wahało się w górę i w dół jak giełda" bez żadnej konsekwentnej poprawy – powiedział jeden z byłych pracowników.

Pojazdy wyjechały na ulice z dwoma zestawami ludzkich monitorów bezpieczeństwa gotowych do przejęcia kontroli: jednym siedzącym na przednim siedzeniu pasażera i innymi obserwującymi zdalnie. W Utah etykietujący mogli na nagraniach wideo zobaczyć, kiedy zdalni monitorzy przejmowali kontrolę nad pojazdami. Jeden były pracownik powiedział, że trasy w Austin zostały zaprojektowane dla ograniczonego obszaru, aby oprogramowanie samochodów mogło być intensywnie szkolone na konkretnych manewrach na poszczególnych ulicach.

„To było jak: 'OK, wytrenowaliśmy samochód'" do działania w ograniczonej strefie – powiedziała ta osoba. „Nie możesz być kreatywny poza tym."

Czterech ze źródeł stwierdziło, że bezpieczne skalowanie może zająć lata. W lipcu, miesiąc po uruchomieniu robotaxi w Austin, Musk przewidział, że usługa rozszerzy się, aby obsłużyć połowę populacji USA do końca 2025 roku.

W styczniu Musk fałszywie twierdził, że Tesla obsługuje 500 „pojazdów robotaxi" w Austin i obszarze zatoki San Francisco, dodając, że spodziewa się, iż liczba ta będzie „podwajać się co miesiąc" na „krzywej wykładniczej". Musk powiedział, że Tesla prowadzi „usługę robotaxi" w obszarze zatoki, podczas gdy w rzeczywistości prowadzi jedynie usługę transportu na żądanie na podstawie zezwolenia stanowego, zazwyczaj używanego przez szoferów, które wymaga obecności ludzkiego kierowcy.

W rzeczywistości, prawie rok po uruchomieniu w Austin, Tesla nadal obsługuje tam tylko około 50 robotaxi, zgodnie z niedawną prezentacją slajdów przez urzędników miejskich. Pojazdy poruszają się po ograniczonej i starannie zmapowanej strefie, jak stwierdziło troje ze źródeł. Niektóre nadal mają ludzkich monitorów bezpieczeństwa na przednim siedzeniu pasażera, na podstawie niedawnych obserwacji reportera Reutersa.

W kwietniu Tesla poinformowała, że wprowadza robotaxi w Dallas i Houston, wraz z mapami pokazującymi obsługiwane obszary.

Reporterzy Reutersa, którzy niedawno testowali usługę w obu miastach, stwierdzili długie czasy oczekiwania i nieregularną dostępność. W trzech przypadkach, gdy reporterowi udało się skorzystać z przejazdu w Dallas, robotaxi nie dowoziło go do celu w centrum miasta w ramach reklamowanego obszaru usług Tesli.

Za każdym razem zostawiało go około 15 minut drogi pieszo. – Rappler.com