Självkörande Teslor i EU: var god dröj

[d3marcus]

Fotonräknande kameror har funnits länge i labmiljö, men en foton gör ingen sommar för att travestera ordspråket. Nuvarande kameror är inte jättebra i mörker även om HW4 var ett stort kliv framåt från HW3. Bilderna blir brusiga och svårare att tolka. Och lysen har man ju bara framåt.

Det är där direktinmatning av fotoner i det neurala nätverket kommer in. Ett av de stora misstagen man kan göra vid bildbehandling är kontextfri filtrering för att snygga till bilden innan man börjar processa den.

Musk kallar det ”direct photon count”, men en vanlig CMOS-sensor är inte därmed en fotonräknande detektor. Den mäter ackumulerad laddning i pixlar, med shot noise, read noise, full-well capacity, kvantiseringsbrus och begränsat dynamiskt omfång.

Att ge nätverket råare sensordata kan absolut undvika informationsförlust från tone mapping, demosaicing och annan ISP-processing. Men det skapar inte fotoner som aldrig registrerats, förhindrar inte saturation från starka ljuskällor och eliminerar inte dåligt SNR i mörker. Det är precis de fysikaliska begränsningar som är relevanta här.

Och framför allt: var finns den oberoende evidensen för att Musks påstådda metod faktiskt löser dessa problem till den nivå som krävs för förarlös körning? En rekonstruktionsbild på X visar inte detection recall, false negatives eller säkerhetsmarginaler för fotgängare och hinder i mörker.

Musk har beskrivit ”raw photon counts” sedan åtminstone 2021. Att Musk upprepar ett tekniskt påstående på X gör det inte till verifierad ingenjörsvetenskap, det är snarare hans modus operandi.

Kritiskt tänkande är aldrig fel.

[Maetlarv]

Fotonräknande kameror har funnits länge i labmiljö, men en foton gör ingen sommar för att travestera ordspråket. Nuvarande kameror är inte jättebra i mörker även om HW4 var ett stort kliv framåt från HW3. Bilderna blir brusiga och svårare att tolka. Och lysen har man ju bara framåt.

Det är där direktinmatning av fotoner i det neurala nätverket kommer in. Ett av de stora misstagen man kan göra vid bildbehandling är kontextfri filtrering för att snygga till bilden innan man börjar processa den.

Musk kallar det ”direct photon count”, men en vanlig CMOS-sensor är inte därmed en fotonräknande detektor. Den mäter ackumulerad laddning i pixlar, med shot noise, read noise, full-well capacity, kvantiseringsbrus och begränsat dynamiskt omfång.

Att ge nätverket råare sensordata kan absolut undvika informationsförlust från tone mapping, demosaicing och annan ISP-processing. Men det skapar inte fotoner som aldrig registrerats, förhindrar inte saturation från starka ljuskällor och eliminerar inte dåligt SNR i mörker. Det är precis de fysikaliska begränsningar som är relevanta här.

Och framför allt: var finns den oberoende evidensen för att Musks påstådda metod faktiskt löser dessa problem till den nivå som krävs för förarlös körning? En rekonstruktionsbild på X visar inte detection recall, false negatives eller säkerhetsmarginaler för fotgängare och hinder i mörker.

Musk har beskrivit ”raw photon counts” sedan åtminstone 2021. Att Musk upprepar ett tekniskt påstående på X gör det inte till verifierad ingenjörsvetenskap, det är snarare hans modus operandi.

Kritiskt tänkande är aldrig fel.

Jo, jag begriper noll om ”raw photon counts” men det är väl min erfarenhet också att det Elon säger låter rimligt förutom när han uttalar sig om områden som jag har djupare kunskap om, då är det mest blaha blaha..

[Gustafsson]

Vad jag har sett menas att man använder kameradata direkt in i dataprocessing utan att försöka skapa en ”fin bild” som vi skulle uppfatta det. Varje pixel har en laddning motsvarande antalet fotoner som träffar sensorn/pixeln, så i den meningen kan man väl kalla en kamerasensor för fotonräknamde. Även i ett gråskaleområde som för ögat skulle se svart ut så finns det gråskala kvar rent matematiskt. Den infon kan lätt försvinna om man ”förbättrar” bilden med kontrasthöjande tekniker tex, se inlägget ovan. Det här arbetssättet/tekniken är dock inget nytt. Det har använts länge i kvantitativ bildanalys.

[Autonom]

Har du någon länk till tekniken? Skulle vara intressant att se hur tekniken ser ut idag. Jobbade en del med ultrasvagt ljus för väldigt länge sedan, vi kunde då fånga typ varannan foton från en extremt svag ljuskälla. Men sen var man ju tvungen att samla in ett gäng för att förstå hur ljuskällan såg ut. De kameror vi då använde var kylda CCD kameror och de var inte gratis…

Jag har ingen direkt länk, informationen jag bygger det på kommer i små skvättar om hur det hela fungerar och byggelement de använt, eftersom jag är högst bekant med tekniken.

Det som jag tolkar vad Elon kallar raw photon count är inte HW-räknare utan att man använder oprocessat data direkt, dvs ingen konventionell kamerakrets emellan så data motsvarar respektive pixlars laddning/spänning (som i princip är proportionell mot antalet registrerade fotoner) vid utklockningen. Finns naturligtvis hjälpelektronik för att klocka sensorn och kabel-interface.

Eftersom kamerasensorn IMX963 har 120db dynamik (runt 20 bitar) så får data inte plats direkt i 16 bitar (som HW4 arbetar med), så antingen arbetar den med längre tal än 16 bitar eller så arbetar man med t.ex. en aning aningen olika slutartider och/eller klockhastigheter beroende på ljusförhållandena (vilket är min gissning att man gör, för att spara databandbredd). Vilket är egentligen inte så viktigt, eftersom man arbetar med 16-bitarstal i de neurala nätverken i HW4 så måste man skala data på något sätt någonstans.

En viktig förutsättning för att det hela ska fungera är att de neurala nätverken i HW4 använder 16-bitars integer (HW3 är native bara 8-bitars), och inte Floating Point (med dess oundvikliga trunkeringsfel) till skillnad från conventional wisdom, jag antar dock att detta håller på att ändra sig i rask takt i och med ökade insikter.

Skillnaden i hur man behandlar data är i princip att man matar in (nära) ofiltrerat data i nätverken och man kan extremt förenklat se det som att man gör mönsterigenkänning på det brusiga data genom att parallellt matcha kända objekt mot rådata för att se vad det är och först efter detta dra slutsater vad man ser, dvs. samma sorts rimlighetstolkning som en människa gör på ofullständigt data, när man försöker se i mörker, men som att man sätter ett antal personer på uppgiften med lite olika vinklar (dataset/tidsfönster) och sedan majoritetsröstar.

Den lite längre historien när det gäller end-to-end är att man egentligen inte bryr sig om mellanresultatet vad man ser, utan drar det hela genom beslutsträdet, dvs. om man ser en sten, katt, ekorre eller igelkotte spelar ingen roll, för om alla resulterar i samma beslut spelar det ingen roll. Vad som däremot spelar roll är hur säker man är på att resultatet är rätt, och det har framgått från Ashok Elluswamys presentationer att det finns en annan kanal utöver resultatet som är en kvalitetsindikator för att avgöra detta, och som rimligen används i meddelandena i FSD (Supervised) för att påkalla ökad uppmärksamhet eller begära att föraren tar över (vilket i senare versioner inte betyder att den faktiskt inte kan fortsätta, den är bara osäker).

[Gustafsson]

Well AI har onekligen utvecklats på ett sätt jag inte trodde var möjligt för ett par år sedan. Så i ett till synes brusigt bildmaterial kan det finnas mönster som inte är uppenbara, men som AI har bättre möjlighet att bringa ordning i/associera till kända strukturer. Men det är en gissning från min sida och jag har ingen aning om hur bra det skulle kunna bli. Som vanligt gäller rimligen att skit in leder till skit ut…
Vore intressant att vara ”flugan på väggen” i labben som utvecklar tekniken.
Tesla (Musk) är ju kroniskt överoptimistisk så magkänslan är att optimismen till största delen är kommersiell hype än så länge.
Beklagar lite OT funderingar, men teknologin som sådan är intressant tycker jag.

[Autonom]

Well AI har onekligen utvecklats på ett sätt jag inte trodde var möjligt för ett par år sedan. Så i ett till synes brusigt bildmaterial kan det finnas mönster som inte är uppenbara, men som AI har bättre möjlighet att bringa ordning i/associera till kända strukturer.

Ja, det är ett bra sätt att sammanfatta det på.

Det finns en sak till, och det är att med 16 bitars djup i pixeldata så har kan man utnyttja extremt små kontraster i en ljus bild, och de neurala nätverken gör att man fiska upp mönster även djupt under brusgolvet. Jämför hur en människa lätt kan uppfatta toner som ligger 20 dB under bruset (vilket då inte syns med vanliga mätinstrument och därför ofta dyker upp som produktproblem med oljud).

[d3marcus]

Har du någon länk till tekniken? Skulle vara intressant att se hur tekniken ser ut idag. Jobbade en del med ultrasvagt ljus för väldigt länge sedan, vi kunde då fånga typ varannan foton från en extremt svag ljuskälla. Men sen var man ju tvungen att samla in ett gäng för att förstå hur ljuskällan såg ut. De kameror vi då använde var kylda CCD kameror och de var inte gratis…

Jag har ingen direkt länk, informationen jag bygger det på kommer i små skvättar om hur det hela fungerar och byggelement de använt, eftersom jag är högst bekant med tekniken.

Det som jag tolkar vad Elon kallar raw photon count är inte HW-räknare utan att man använder oprocessat data direkt, dvs ingen konventionell kamerakrets emellan så data motsvarar respektive pixlars laddning/spänning (som i princip är proportionell mot antalet registrerade fotoner) vid utklockningen. Finns naturligtvis hjälpelektronik för att klocka sensorn och kabel-interface.

Eftersom kamerasensorn IMX963 har 120db dynamik (runt 20 bitar) så får data inte plats direkt i 16 bitar (som HW4 arbetar med), så antingen arbetar den med längre tal än 16 bitar eller så arbetar man med t.ex. en aning aningen olika slutartider och/eller klockhastigheter beroende på ljusförhållandena (vilket är min gissning att man gör, för att spara databandbredd). Vilket är egentligen inte så viktigt, eftersom man arbetar med 16-bitarstal i de neurala nätverken i HW4 så måste man skala data på något sätt någonstans.

En viktig förutsättning för att det hela ska fungera är att de neurala nätverken i HW4 använder 16-bitars integer (HW3 är native bara 8-bitars), och inte Floating Point (med dess oundvikliga trunkeringsfel) till skillnad från conventional wisdom, jag antar dock att detta håller på att ändra sig i rask takt i och med ökade insikter.

Skillnaden i hur man behandlar data är i princip att man matar in (nära) ofiltrerat data i nätverken och man kan extremt förenklat se det som att man gör mönsterigenkänning på det brusiga data genom att parallellt matcha kända objekt mot rådata för att se vad det är och först efter detta dra slutsater vad man ser, dvs. samma sorts rimlighetstolkning som en människa gör på ofullständigt data, när man försöker se i mörker, men som att man sätter ett antal personer på uppgiften med lite olika vinklar (dataset/tidsfönster) och sedan majoritetsröstar.

Den lite längre historien när det gäller end-to-end är att man egentligen inte bryr sig om mellanresultatet vad man ser, utan drar det hela genom beslutsträdet, dvs. om man ser en sten, katt, ekorre eller igelkotte spelar ingen roll, för om alla resulterar i samma beslut spelar det ingen roll. Vad som däremot spelar roll är hur säker man är på att resultatet är rätt, och det har framgått från Ashok Elluswamys presentationer att det finns en annan kanal utöver resultatet som är en kvalitetsindikator för att avgöra detta, och som rimligen används i meddelandena i FSD (Supervised) för att påkalla ökad uppmärksamhet eller begära att föraren tar över (vilket i senare versioner inte betyder att den faktiskt inte kan fortsätta, den är bara osäker).

Vet att du blockat de som inte finns i din åsiktskorridor men för er andra:

Det här illustrerar egentligen min invändning ganska väl. Du skriver själv ”jag tolkar”, ”min gissning”, ”jag antar” och ”rimligen”. Det är alltså en möjlig arkitektur du rekonstruerar utifrån fragment av information, inte en dokumenterad beskrivning av Teslas eventuella implementation.

Dessutom blandas föera saker ihop. 120 dB dynamiskt omfång betyder inte att sensorn levererar ett linjärt 20-bitars råvärde per pixel; sådant HDR-omfång uppnås normalt genom sensorarkitektur/exponerings- och readouttekniker. Och påståendet att integer skulle vara viktigt eftersom floating point har ”oundvikliga trunkeringsfel” håller inte heller som generell förklaring. Både fixed-point och floating-point kvantiserar, och FP16 har tvärtom ett betydligt större dynamiskt omfång än INT16. Valet handlar om precision, range, throughput och effekt, inte om att integer på något fundamentalt sätt är mer korrekt. Det är trivial gymnasiekunskap.

Det viktigaste kvarstår dock: ingen av dessa arkitekturfantasier från Youtube visar att vision-only löser perception i mörker. Ingen fotonträff är alltid sämre än en fotonträff. Och shot noise, read noise, saturation, motion blur och brist på infångade fotoner försvinner inte för att man matar råare data till ett neuralt nätverk.

Och en confidence-signal är inte heller evidens för korrekt perception. Ett neuralt nätverk kan vara både fel och självsäkert; kalibrering och out-of-distribution-beteende är egna problem.

Det är just därför jag efterfrågar mätresultat, inte fler slutsatser dragna från Twitter och Musk-inlägg utan evidens.

[Gustafsson]

När jag funderar lite mer så tänker jag att det möjligen inte är de små kontrasterna i objekt/bakgrund som är kameror/ai s styrka. Om man bara diskuterar kontrast tror jag systemen kan prestera bättre i mörker än en förare under motsatta förhållanden dvs med mycket hög kontrast, dvs starkt ljus och svagt ljus i samma synfält, såsom vid möte med en bil med bländande strålkastare. Människor får med tiden grumlingar i ”optiken” dvs ljus sprids i ögats lins mm och orsakar ströljus som döljer svagt ljus (typ från en älg) i de delar av synfältet. Många äldre blir ”bländade” mycket lättare än vad unga blir av det skälet. Med bra optik vågar jag påstå att kameror kan ge en bättre bild än många bilförares ögon kan under vissa liknande förhållanden. Men för det behövs inte fotonräknare och problemet är där inte svagt ljus i sig utan snarare kombon med starkt ljus. En simpel metod som vi använde var att summera våra 8 bitars pixlar sekventiellt till 16 bitars tal i datorns minne. På så sätt minskas brus och S/N blir bättre. Men det tar ju tid att samla in mer ljus och systemen blir långsammare. Man kan också bara samla mer ljus (längre exponering) i en kamerasensor och få samma effekt, men på bekostnad av lägre bildfrekvens. Det finns många sätt att optimera, detta var bara en fundering till.

[Krasche]

Roligt för mässbesökarna att få känna på FSD.

[RareEarth]

Har du någon länk till tekniken? Skulle vara intressant att se hur tekniken ser ut idag. Jobbade en del med ultrasvagt ljus för väldigt länge sedan, vi kunde då fånga typ varannan foton från en extremt svag ljuskälla. Men sen var man ju tvungen att samla in ett gäng för att förstå hur ljuskällan såg ut. De kameror vi då använde var kylda CCD kameror och de var inte gratis…

Jag har ingen direkt länk, informationen jag bygger det på kommer i små skvättar om hur det hela fungerar och byggelement de använt, eftersom jag är högst bekant med tekniken.

Det som jag tolkar vad Elon kallar raw photon count är inte HW-räknare utan att man använder oprocessat data direkt, dvs ingen konventionell kamerakrets emellan så data motsvarar respektive pixlars laddning/spänning (som i princip är proportionell mot antalet registrerade fotoner) vid utklockningen. Finns naturligtvis hjälpelektronik för att klocka sensorn och kabel-interface.

Eftersom kamerasensorn IMX963 har 120db dynamik (runt 20 bitar) så får data inte plats direkt i 16 bitar (som HW4 arbetar med), så antingen arbetar den med längre tal än 16 bitar eller så arbetar man med t.ex. en aning aningen olika slutartider och/eller klockhastigheter beroende på ljusförhållandena (vilket är min gissning att man gör, för att spara databandbredd). Vilket är egentligen inte så viktigt, eftersom man arbetar med 16-bitarstal i de neurala nätverken i HW4 så måste man skala data på något sätt någonstans.

En viktig förutsättning för att det hela ska fungera är att de neurala nätverken i HW4 använder 16-bitars integer (HW3 är native bara 8-bitars), och inte Floating Point (med dess oundvikliga trunkeringsfel) till skillnad från conventional wisdom, jag antar dock att detta håller på att ändra sig i rask takt i och med ökade insikter.

Skillnaden i hur man behandlar data är i princip att man matar in (nära) ofiltrerat data i nätverken och man kan extremt förenklat se det som att man gör mönsterigenkänning på det brusiga data genom att parallellt matcha kända objekt mot rådata för att se vad det är och först efter detta dra slutsater vad man ser, dvs. samma sorts rimlighetstolkning som en människa gör på ofullständigt data, när man försöker se i mörker, men som att man sätter ett antal personer på uppgiften med lite olika vinklar (dataset/tidsfönster) och sedan majoritetsröstar.

Den lite längre historien när det gäller end-to-end är att man egentligen inte bryr sig om mellanresultatet vad man ser, utan drar det hela genom beslutsträdet, dvs. om man ser en sten, katt, ekorre eller igelkotte spelar ingen roll, för om alla resulterar i samma beslut spelar det ingen roll. Vad som däremot spelar roll är hur säker man är på att resultatet är rätt, och det har framgått från Ashok Elluswamys presentationer att det finns en annan kanal utöver resultatet som är en kvalitetsindikator för att avgöra detta, och som rimligen används i meddelandena i FSD (Supervised) för att påkalla ökad uppmärksamhet eller begära att föraren tar över (vilket i senare versioner inte betyder att den faktiskt inte kan fortsätta, den är bara osäker).

Vet att du blockat de som inte finns i din åsiktskorridor men för er andra:

Det här illustrerar egentligen min invändning ganska väl. Du skriver själv ”jag tolkar”, ”min gissning”, ”jag antar” och ”rimligen”. Det är alltså en möjlig arkitektur du rekonstruerar utifrån fragment av information, inte en dokumenterad beskrivning av Teslas eventuella implementation.

Dessutom blandas föera saker ihop. 120 dB dynamiskt omfång betyder inte att sensorn levererar ett linjärt 20-bitars råvärde per pixel; sådant HDR-omfång uppnås normalt genom sensorarkitektur/exponerings- och readouttekniker. Och påståendet att integer skulle vara viktigt eftersom floating point har ”oundvikliga trunkeringsfel” håller inte heller som generell förklaring. Både fixed-point och floating-point kvantiserar, och FP16 har tvärtom ett betydligt större dynamiskt omfång än INT16. Valet handlar om precision, range, throughput och effekt, inte om att integer på något fundamentalt sätt är mer korrekt. Det är trivial gymnasiekunskap.

Det viktigaste kvarstår dock: ingen av dessa arkitekturfantasier från Youtube visar att vision-only löser perception i mörker. Ingen fotonträff är alltid sämre än en fotonträff. Och shot noise, read noise, saturation, motion blur och brist på infångade fotoner försvinner inte för att man matar råare data till ett neuralt nätverk.

Och en confidence-signal är inte heller evidens för korrekt perception. Ett neuralt nätverk kan vara både fel och självsäkert; kalibrering och out-of-distribution-beteende är egna problem.

Det är just därför jag efterfrågar mätresultat, inte fler slutsatser dragna från Twitter och Musk-inlägg utan evidens.

Valet att processa mätdata med en fysikalisk modell eller att göra det med någon form av "black-box"-modell är klassiskt inom ingenjörsvetenskaper. Under historien har man gått från att helt göra det med en fysikalisk modell till att allt mer göra det med black-box-modeller. Det har följt utvecklingen av ökande beräkningskapacitet. Det går nog inte att säga att det ena sättet är generellt bättre än det andra i alla situationer, men såklart är det en rimlig ansats att stoppa in rådata direkt i ett neuralt nätverk om man ändå ska använda ett neuralt nätverk i nästa steg. Det har man jobbat med i årtionden. Det är väl typiskt för Elon Musk att spinna det till något nytt när förmodligen alla utvecklare av autonom körning arbetar med olika varianter på samma tema.

[Autonom]

Valet att processa mätdata med en fysikalisk modell eller att göra det med någon form av "black-box"-modell är klassiskt inom ingenjörsvetenskaper. Under historien har man gått från att helt göra det med en fysikalisk modell till att allt mer göra det med black-box-modeller. Det har följt utvecklingen av ökande beräkningskapacitet. Det går nog inte att säga att det ena sättet är generellt bättre än det andra i alla situationer, men såklart är det en rimlig ansats att stoppa in rådata direkt i ett neuralt nätverk om man ändå ska använda ett neuralt nätverk i nästa steg. Det har man jobbat med i årtionden. Det är väl typiskt för Elon Musk att spinna det till något nytt när förmodligen alla utvecklare av autonom körning arbetar med olika varianter på samma tema.

Att stoppa in rådata i ett neuralt nätverk är iofs. inget nytt, men det som är nytt är att här gör man det från en kamera i en sådan här tillämpning utan att passera någon databehandling alls, om jag förstått Sony IMX983 korrekt (det är en sensor som är lite avvikande från industristandard, optimerad specifikt för Teslas tillämpning).

En ytterligare sak som skiljer är hur man hanterar datat, innan Tesla V12 så var det ingen som använde end-to-end utan alla (inklusive Tesla) hade ett gemensamt filterblock som allt passerade genom. Idag har några men inte alla gjort på samma sätt som Tesla, men t.ex. Waymos beskrivningar innehåller det fortfarande.

Och av de som hållit på med autonomi var det bara Tesla som använde integer istället för Floating Point i de neurala nätverken vilket är signifikant, det går effektivt inte att göra dessa kameratrick med Floating Point, pga. trunkeringar, kancelleringar. kostnad samt bristande kommutativitet och determinism. Utöver att det är mycket vanligt med beräkningsbuggar i Floating Point-hårdvara, exempelvis:

Så troligen var Tesla först med att kombinera byggstenarna i den här tillämpningen, även om byggstenarna var kända.

Om det nu spelar någon roll, det som spelar roll är att FSD levererar bra resultat

[Gustafsson]

Fördelen med integer (heltal) är ju uppenbar när man ska göra snabba beräkningar. Flyttalsberäkningar är långsamma och i den här typen av beräkningar är snabbhet viktigt och kan lätt implementeras med enkla instruktioner som det finns stöd för i hårdvaran. Jag ser inte att det är något särskilt fiffigt som Tesla har hittat på?

[Jerker]

https://alltomelbil.se/tyskland-ger-sto ... odkannande

[RareEarth]

Valet att processa mätdata med en fysikalisk modell eller att göra det med någon form av "black-box"-modell är klassiskt inom ingenjörsvetenskaper. Under historien har man gått från att helt göra det med en fysikalisk modell till att allt mer göra det med black-box-modeller. Det har följt utvecklingen av ökande beräkningskapacitet. Det går nog inte att säga att det ena sättet är generellt bättre än det andra i alla situationer, men såklart är det en rimlig ansats att stoppa in rådata direkt i ett neuralt nätverk om man ändå ska använda ett neuralt nätverk i nästa steg. Det har man jobbat med i årtionden. Det är väl typiskt för Elon Musk att spinna det till något nytt när förmodligen alla utvecklare av autonom körning arbetar med olika varianter på samma tema.

Att stoppa in rådata i ett neuralt nätverk är iofs. inget nytt, men det som är nytt är att här gör man det från en kamera i en sådan här tillämpning utan att passera någon databehandling alls, om jag förstått Sony IMX983 korrekt (det är en sensor som är lite avvikande från industristandard, optimerad specifikt för Teslas tillämpning).

En ytterligare sak som skiljer är hur man hanterar datat, innan Tesla V12 så var det ingen som använde end-to-end utan alla (inklusive Tesla) hade ett gemensamt filterblock som allt passerade genom. Idag har några men inte alla gjort på samma sätt som Tesla, men t.ex. Waymos beskrivningar innehåller det fortfarande.

Och av de som hållit på med autonomi var det bara Tesla som använde integer istället för Floating Point i de neurala nätverken vilket är signifikant, det går effektivt inte att göra dessa kameratrick med Floating Point, pga. trunkeringar, kancelleringar. kostnad samt bristande kommutativitet och determinism. Utöver att det är mycket vanligt med beräkningsbuggar i Floating Point-hårdvara, exempelvis:

Så troligen var Tesla först med att kombinera byggstenarna i den här tillämpningen, även om byggstenarna var kända.

Om det nu spelar någon roll, det som spelar roll är att FSD levererar bra resultat

Det är ett väldigt svagt argument att det ”nya” är att man tar datan just från just den Sonysensorn. Alla sensorer har unika specs på någon punkt och det kommer alltid nya sensorer. Teslas Sonysensor har ju för övrigt inte heller mer än 16 bitars effektivt omfång som påpekades, det finns knappast någon okyld kommersiell sensor som har.

Min tolkning av detta är att det är en liten teknisk detalj som kan betraktas som en liten optimering, helt oväsentlig för det stora perspektivet. Alla utvecklare jobbar med sådana hela tiden utan att det uppmärksammas, med undantag av Tesla som använder sånt i sin marknadsföring som sedan plockas upp av folk på internet som blåser upp det långt bortom de proportioner det förtjänar.

[Autonom]

Valet att processa mätdata med en fysikalisk modell eller att göra det med någon form av "black-box"-modell är klassiskt inom ingenjörsvetenskaper. Under historien har man gått från att helt göra det med en fysikalisk modell till att allt mer göra det med black-box-modeller. Det har följt utvecklingen av ökande beräkningskapacitet. Det går nog inte att säga att det ena sättet är generellt bättre än det andra i alla situationer, men såklart är det en rimlig ansats att stoppa in rådata direkt i ett neuralt nätverk om man ändå ska använda ett neuralt nätverk i nästa steg. Det har man jobbat med i årtionden. Det är väl typiskt för Elon Musk att spinna det till något nytt när förmodligen alla utvecklare av autonom körning arbetar med olika varianter på samma tema.

Att stoppa in rådata i ett neuralt nätverk är iofs. inget nytt, men det som är nytt är att här gör man det från en kamera i en sådan här tillämpning utan att passera någon databehandling alls, om jag förstått Sony IMX983 korrekt (det är en sensor som är lite avvikande från industristandard, optimerad specifikt för Teslas tillämpning).

En ytterligare sak som skiljer är hur man hanterar datat, innan Tesla V12 så var det ingen som använde end-to-end utan alla (inklusive Tesla) hade ett gemensamt filterblock som allt passerade genom. Idag har några men inte alla gjort på samma sätt som Tesla, men t.ex. Waymos beskrivningar innehåller det fortfarande.

Och av de som hållit på med autonomi var det bara Tesla som använde integer istället för Floating Point i de neurala nätverken vilket är signifikant, det går effektivt inte att göra dessa kameratrick med Floating Point, pga. trunkeringar, kancelleringar. kostnad samt bristande kommutativitet och determinism. Utöver att det är mycket vanligt med beräkningsbuggar i Floating Point-hårdvara, exempelvis:

Så troligen var Tesla först med att kombinera byggstenarna i den här tillämpningen, även om byggstenarna var kända.

Om det nu spelar någon roll, det som spelar roll är att FSD levererar bra resultat

Det är ett väldigt svagt argument att det ”nya” är att man tar datan just från just den Sonysensorn. Alla sensorer har unika specs på någon punkt och det kommer alltid nya sensorer. Teslas Sonysensor har ju för övrigt inte heller mer än 16 bitars effektivt omfång som påpekades, det finns knappast någon okyld kommersiell sensor som har.

Min tolkning av detta är att det är en liten teknisk detalj som kan betraktas som en liten optimering, helt oväsentlig för det stora perspektivet. Alla utvecklare jobbar med sådana hela tiden utan att det uppmärksammas, med undantag av Tesla som använder sånt i sin marknadsföring som sedan plockas upp av folk på internet som blåser upp det långt bortom de proportioner det förtjänar.

Vad jag försökte förklara var hur systemet fungerar, och ur det perspektivet är det rätt ointressant hur unikt Elon beskriver det som, det är helheten som det resulterat i.

Vad som är nytt kan man se som en filosofisk fråga, alla nya uppfinningar bygger ju till sin natur på underliggande känd fysik och metodik, de är bara nya sätt att använda dem. (Om de inte gör det är det upptäckter, och något annat.)

Och Tesla har tagit ut en hel del patent under sin utveckling (vilket berättar en hel del om vad de gör), och min förståelse av det hela är att Teslas uttalade syfte med sina patent (som de licensierar kostnadsfritt*) är att försöka vrida kontrollen från patenttroll och andra som bromsar samhällsutvecklingen.

*) Den kostnadsfria licensieringen kommer med bivillkoret att den är reciprok, ungefär att licensen faller om man försöker utnyttja andra patent för att begränsa användningen av de licensierade patenten för andra. Liknande grundidé som GNU.