Articles

Everyone hates Self-driving car reports

elk jaar moeten bedrijven die zelfrijdende auto ‘ s exploiteren in Californië gegevens indienen bij het Ministerie van motorvoertuigen van de staat met een lijst van het aantal gereden kilometers en de frequentie waarmee bestuurders van menselijke veiligheid werden gedwongen om de controle over hun autonome voertuigen over te nemen (ook bekend als een “disengagement”). En elk jaar maken diezelfde bedrijven er een enorme stank van.Waymo, die in 2019 1,45 miljoen mijl reed in Californië en een disengagement van 0 noteerde.076 per 1.000 zelfgereden mijlen, zegt de metriek “levert geen relevante inzichten” in zijn technologie. Cruise, die 831.040 mijl vorig jaar reed en meldde een disengagement rate van 0,082, zegt het ” idee dat disengagements geven een zinvol signaal over de vraag of een is klaar voor commerciële inzet is een mythe.”Aurora, die slechts 13.429 mijl reed en registreerde een disengagement van 10.6 per 1.000 mijl, noemt ze” misleid.”

autonome voertuigen (AV) bedrijven kunnen een black box zijn, met de meeste bedrijven die een strakke deksel houden op meetbare statistieken en alleen hun technologie demonstreren onder de meest gecontroleerde instellingen. Dat betekent dat de disengagement rapporten kunnen voelen als het enige stukje transparantie op Av vooruitgang de meesten van ons krijgen. De problemen komen over het algemeen voort uit het proberen om de rapporten te gebruiken op manieren waarop ze niet zijn ontworpen om te worden gebruikt: om te bepalen wie de meeste kilometers heeft gereden, wie de beste disengagement rate heeft, en wie over het algemeen het verst is in het ontwikkelen van autonome voertuigen.

“het vergelijken van disengagement tarieven tussen bedrijven is erger dan zinloos: het creëert perverse prikkels,” zei Bryant Walker Smith, universitair hoofddocent aan de University of South Carolina ’s School of Law en een expert in zelfrijdende auto’ s. Bijvoorbeeld, Smith zegt, als hij zich registreert in Californië en nooit test, zou hij er goed uitzien. “Als ik wilde kijken nog beter, ik zou doen een ton van gemakkelijk snelweg mijlen in Californië en doe mijn echte testen ergens anders,” voegde hij eraan toe.Ontkoppelingsrapporten zijn niet de beste manier om vertrouwen en geloofwaardigheid op te bouwen in autonome voertuigen, legt Smith uit. In plaats daarvan is het beter om testsamenvattingen met detail en context vrij te geven. Maar tot nu toe heeft geen enkel bedrijf dat gedaan.

de meeste grote spelers hebben vrijwillige veiligheidsrapporten ingediend bij de federale overheid als onderdeel van de vrijwillige begeleiding van het Ministerie van vervoer. Helaas zijn deze veiligheidsrapporten meestal weinig meer dan slick marketingmateriaal.

wat de disengagement rapporten betreft, ze zijn “effectief betekenisloos”, zei Sam Abuelsamid, senior analist bij Navigant. Er zijn twee grote problemen: bedrijven hebben veel discretie over wanneer te ontkoppelen, en de testomgevingen zijn niet uniform. Onvermijdelijk, dat betekent dat het onmogelijk is om een appels-tot-appels vergelijking tussen bedrijven te maken. Abuelsamid ziet liever een gestandaardiseerde evaluatie van de prestaties van de systemen voordat iemand een vergunning krijgt voor het testen op straat.De DMV merkt op dat, hoewel de rapporten een vereiste zijn voor vergunninghouders, ze niet mogen worden gebruikt om “een bedrijf met een ander te vergelijken of brede conclusies te trekken over technologische capaciteiten”, aldus Martin Greenstein, de Public information officer van het agentschap.

“vergunninghouders hebben allemaal verschillende doelen en bedrijfsmodellen, en testen op verschillende manieren, locaties en omstandigheden met verschillende hoeveelheden voertuigen,” Greenstein zei in een e-mail. Hij voegde eraan toe dat bedrijven niet verplicht zijn om testen op particuliere wegen of testbanen te rapporteren, en ze hoeven niet te onthullen testen die buiten de staat plaatsvindt. Het testen van geavanceerde bestuurdersassistentiesystemen, zoals de stuurautomaat van Tesla, of het testen in simulatie is ook niet vereist.

het is een nieuwe herinnering dat het grootste deel van wat we weten over het testen van zelfrijdende auto ‘ s in het openbaar afkomstig is van de bedrijven zelf-wat veel vragen oproept. Er zijn bijna geen eisen voor bedrijven die openbare tests in een andere staat. Californië ‘ s terugtrekking rapporten zijn de echte uitschieter. En zelfs die bieden wat in het beste geval kan worden omschreven als een onvolledig beeld en in het slechtste geval een misleidend beeld van de vooruitgang van de technologie.

dus met dat in gedachten, hier zijn de laatste nummers van enkele van de belangrijkste spelers.

Waymo

Waymo, de zelfrijdende eenheid van Alphabet, heeft 153 zelfrijdende voertuigen en 268 bestuurders toegestaan in de staat Californië. Het grootste deel van de tests in Californië is rond de Mountain View campus. (Het grootste deel van Waymo ‘ s vloot bevindt zich in het Phoenix gebied waar het een beperkte robotaxi operatie heeft die ongeveer 1.500 mensen bedient. Dat zijn naar schatting 600 zelfrijdende voertuigen; het aantal bestuurders is onbekend.)

het bedrijf zegt dat het 1,45 miljoen mijl reed in Californië in 2019, een lichte stijging ten opzichte van de 1,2 miljoen mijl van het bedrijf in 2018. Het disengagement tarief van het bedrijf daalde tot 0,076 per 1.000 zelfgereden mijlen of één disengagement per 13.219 mijlen.

Cruise

Foto van Andrej Sokolow / picture alliance via Getty Images

Cruise, een dochteronderneming van General Motors die een meerderheidsbelang heeft, heeft haar aanwezigheid in San Francisco vergroot nadat zij haar eigen deadline om eind 2019 een volledige robottaxidienst op te starten niet had gehaald. Het bedrijf heeft nu 233 autonome voertuigen toegestaan om te testen op de openbare weg, waarvan de meerderheid in de Bay Area, volgens de DMV.Cruise Reed 831.040 mijl in 2019, bijna een verdubbeling van het aantal mijlen het voorgaande jaar. Het registreerde een totaal van 68 ontkoppelingen — waarvan 43 in de eerste zes maanden. Dat betekent dat Cruise ‘ s disengagement rate is 0.082 per 1.000 mijl gereden, of een disengagement per 12.221 mijl gereden.Aurora, het zelfrijdende Autobedrijf opgericht door voormalig Waymo-ingenieur Chris Urmson, heeft slechts negen auto ‘ s Geregistreerd in Californië. Urmson richtte het bedrijf op in 2017, samen met Sterling Anderson, Tesla ’s voormalige hoofd automatische piloot, en Drew Bagnell, een van de oprichters en hoofd van Uber’ s autonomy and perception team. Als zodanig is het nog erg vroeg voor het bedrijf.Aurora zegt dat het 39.729 mijl op de openbare weg reed, waarvan 26.300 door mensen werden gereden. Tijdens het testen in autonome modus, het bedrijf zegt dat het ervaren 142 ontkoppelingen, een kwart van die werden veroorzaakt door” een enkele Software probleem ” dat eerder in het jaar werd aangepakt. De snelheid van ontkoppelingen per 1.000 mijl was 10,6, dat is vergelijkbaar met vorig jaar.

Nuro

afbeelding: Nuro

Nuro is een ander bedrijf opgericht door ex-Waymo ingenieurs. Het bedrijf probeert te lanceren een bezorgservice Texas met behulp van zijn speciaal gebouwde, ei-vormige R2 autonome voertuigen. Maar het doet nog steeds testen in Californië, waar het is gevestigd. Nuro heeft 36 voertuigen geregistreerd in de staat.

het bedrijf zegt dat het 68.762 mijl reed in autonome modus in 2019 en registreerde 34 ontkoppelingen. Nuro ‘ s ontkoppelingssnelheid is 0,49 per 1.000 mijl, of één per 2.022 mijl gereden.

foto door James Bareham / The Verge

op 5 februari zijn er 66 vergunninghouders en 769 autonome testvoertuigen geregistreerd bij de California DMV, hoewel het moeilijk is om het gemiddelde aantal dat op een bepaald moment op de weg te vinden is te peilen. Het agentschap zei dat het gecombineerde veld reed meer dan 2,9 miljoen mijl in 2019.

andere belangrijke vergunninghouders zijn Tesla (met 32 voertuigen geregistreerd bij de DMV), Zoox (58 voertuigen), Apple (66 voertuigen), Pony.ai (22 voertuigen), Lyft (20 voertuigen), Mercedes-Benz( 19 voertuigen), Toyota Research Institute (14 voertuigen), Argo.ai (14 voertuigen), Nio (13 voertuigen), Didi Research (12 voertuigen), en Nvidia (11 voertuigen).

hier zijn nog enkele getallen:

  • Tesla heeft 32 voertuigen geregistreerd bij de DMV, maar meldde alleen rijden 12,2 autonome mijlen in Californië in 2019. In zijn brief aan de DMV, Tesla zei dat het “een voertuig in autonome modus om een demo op te nemen run op een 12,2-mijl route rond Tesla’ s Palo Alto hoofdkwartier. De route bedekte oppervlaktestralen en snelwegen. We hebben geen autonome modus ontkoppelingen ervaren tijdens deze run en hebben als gevolg daarvan geen ontkoppelingen om te rapporteren voor rapportagejaar 2019.”
  • Apple heeft zijn testen op openbare wegen in 2019 ernstig gedegradeerd. Na 79.745 mijlen te hebben gereden in 2018, heeft het in Cupertino gevestigde bedrijf in 2019 slechts 7.544 mijlen geregistreerd, met 63 ontkoppelingen, of 8.35 ontkoppelingen per 1.000 mijlen. Apple ‘ s geheimzinnige Project Titan is in flux bijna sinds haar oprichting. Na naar verluidt te beginnen met het doel van het ontwikkelen van een speciaal gebouwde zelfrijdende auto, werden de plannen later teruggeschaald naar alleen het ontwikkelen van software.
  • Zoox meldde dat hij 67.000 autonome mijlen Reed, waarvan het grootste deel in de complexe omgeving van het centrum van San Francisco lag. Het zei dat het 36 ontkoppelingen heeft meegemaakt, of één ontkoppeling per 1600 mijl gereden. Het tarief was 0.537 per 1000 mijl gereden.
  • Hoe deden de ride-hailing bedrijven? Lyft zei dat het 42.930 mijl reed in 2019. Het rapporteerde 1.666 ontkoppelingen, voor een snelheid van 38,8 per 1000 mijl gereden. Uber kreeg eerder deze maand zijn vergunning om te testen op de openbare weg in Californië, dus het had geen rapport voor 2019.
  • China ‘ s groeiende partij van zelfrijdende startups meldde een aantal vrij indrukwekkende cijfers in 2019. Baidu, het antwoord van het land op Google, zei dat het reed 108.300 mijl en meldde 6 ontkoppelingen, een tarief van 0,055 per 1.000 zelf-aangedreven mijlen. Pony.ai ‘ s 22 voertuigen Reed 174.845 mijl, meer dan 10 keer het totaal in 2018. Het rapporteerde 27 ontkoppelingen, een snelheid 0.154 per 1.000 mijl. AutoX Reed 32.054 mijl en meldde 3 ontkoppelingen voor een snelheid van 0.093 per 1000 mijl. TuSimple, een autonome trucking startup gevestigd in China, zei dat het niet langer het testen van de voertuigen in Californië.