Hittade denna utmärkta förklaring på varför vision-only-system för autonomi (speciellt utan hd-kartor och geofence) sannolikt är decennier bort:
In general. ML systems, like, for example, the one Tesla is using to make sense of flat grid pixels to decide what is an obstacle and where it is in 3D space - are statistical blackbox. You feed a bunch of examples with metadata, some "magic" happens inside, and if everything goes well, the system will give you a right answer with good probability, say 98% of the time. I guess I don't need to explain why trusting your life to a system that 1 time out of 50 could fail to recognise a solid obstacle on your path and drive you through - isn't such a great idea.
But the interesting part is that even a very reliable ML box can't be truly validated to be working reliably, sometimes they fail spectacularly in seemingly simple cases and we don't know why. In general humans have very little understanding of what is happening inside ML systems - they are just millions of interconnected weights which are very difficult to analyse or rationalise why the net behaves in a certain way.
While ML techniques improve and systems get better and more reliable, for it to be a safety-critical component some major theoretical breakthrough is needed which will bring a robust validation and analysis of ML system. Good chance it will have to be something entirely different from the current ConvNet approach and nothing like this seems to be brewing in academia or industry as far as I know.
While this hasn't happened, autonomy companies are forced to rely on direct measurement sensors like LIDARs which don't require ML to discern drivable surfaces and obstacles. They still use ML of course, but not in the safety-critical path - for example in classification and prediction subsystem. This way they can still break or drive around an obstacle even if they don't understand what they are seeing, while vision-only system will happily drive the vehicle into such obstacle as it wasn't there.
Tolkar det mer som ett resonemang som gör att (större) ML-system inte kan valideras att vara "garanterat" tillförlitliga, snarare än att man sågar vision-only? Iofs har vision-system rimligt ofta ML som delsteg.
Komplexa problem som detta är svåra att verifiera även med man-made kod med många delfunktioner som kan få mer eller mindre oänskade egenskaper i allt från indata (sensorer) till utdata (ratt/acceleration).
Har svårt att tro att lidar-system inte alls använder ML, så det gäller nog inte ett bekymmer endast för vision-only-system.
Tolkar det mer som ett resonemang som gör att (större) ML-system inte kan valideras att vara "garanterat" tillförlitliga, snarare än att man sågar vision-only? Iofs har vision-system rimligt ofta ML som delsteg.
Komplexa problem som detta är svåra att verifiera även med man-made kod med många delfunktioner som kan få mer eller mindre oönskade egenskaper i allt från indata (sensorer) till utdata (ratt/acceleration).
Har svårt att tro att lidar-system inte alls använder ML, så det gäller nog inte ett bekymmer endast för vision-only-system.
Jag tolkar resonemanget så här:
Hela premissen med att köra med 2-D bilder som input, vilket kräver ML för att bedöma djup och avstånd. ML-systemet för detta kan inte valideras då man inte kan ge den "all data för alla platser" och det finns ingen implementation att granska. ML är en black-box. Därför kan bör man inte, utan att t ex geofence, använda den i säkerhetskritiska applikationer på liv och död.
Om man använder bra radar eller lidar så får man fysiskt korrekta avståndsbedömningar och behöver inte ha ML för att identifiera fysiska hinder. Då kan man vara säker på att man inte kör på något med långt större säkerhet. Man behöver/använder ju dock ML för en mängd andra saker (prediction/planning etc), men inte just denna, mest kritiska bit.
Tolkar det mer som ett resonemang som gör att (större) ML-system inte kan valideras att vara "garanterat" tillförlitliga, snarare än att man sågar vision-only? Iofs har vision-system rimligt ofta ML som delsteg.
Komplexa problem som detta är svåra att verifiera även med man-made kod med många delfunktioner som kan få mer eller mindre oönskade egenskaper i allt från indata (sensorer) till utdata (ratt/acceleration).
Har svårt att tro att lidar-system inte alls använder ML, så det gäller nog inte ett bekymmer endast för vision-only-system.
Jag tolkar resonemanget så här:
Hela premissen med att köra med 2-D bilder som input, vilket kräver ML för att bedöma djup och avstånd. ML-systemet för detta kan inte valideras då man inte kan ge den "all data för alla platser" och det finns ingen implementation att granska. ML är en black-box. Därför kan bör man inte, utan att t ex geofence, använda den i säkerhetskritiska applikationer på liv och död.
Om man använder bra radar eller lidar så får man fysiskt korrekta avståndsbedömningar och behöver inte ha ML för att identifiera fysiska hinder. Då kan man vara säker på att man inte kör på något med långt större säkerhet. Man behöver/använder ju dock ML för en mängd andra saker (prediction/planning etc), men inte just denna, mest kritiska bit.
Fast det är ju inte sant att radar och lidar ger korrekta data som avbildar omgivningen 1:1. Man filtrerar och fixar med signalerna för att göra dem användbara. Det kan också ge fel, men med konventionella metoder som man i kvalitetshänseende kan hantera.
Men visst. Om man hårddrar tesen med att ML inte kan "granskas" och därför valideras konventionellt så ska man inte använda ML för kritiska system.
Jag tror dock det är lite väl fyrkantigt för att diskvalificera tekniken. Helt klart dock att det behöver valideras med mer "black-box"-liknande metoder. Tror absolut att det är görbart med delsystem och en bra struktur i designen. Vid någon nivå av black-box-testning så kan det vara bättre än de buggar som trots allt kan finnas i validerad kod.
Tolkar det mer som ett resonemang som gör att (större) ML-system inte kan valideras att vara "garanterat" tillförlitliga, snarare än att man sågar vision-only? Iofs har vision-system rimligt ofta ML som delsteg.
Komplexa problem som detta är svåra att verifiera även med man-made kod med många delfunktioner som kan få mer eller mindre oönskade egenskaper i allt från indata (sensorer) till utdata (ratt/acceleration).
Har svårt att tro att lidar-system inte alls använder ML, så det gäller nog inte ett bekymmer endast för vision-only-system.
Jag tolkar resonemanget så här:
Hela premissen med att köra med 2-D bilder som input, vilket kräver ML för att bedöma djup och avstånd. ML-systemet för detta kan inte valideras då man inte kan ge den "all data för alla platser" och det finns ingen implementation att granska. ML är en black-box. Därför kan bör man inte, utan att t ex geofence, använda den i säkerhetskritiska applikationer på liv och död.
Om man använder bra radar eller lidar så får man fysiskt korrekta avståndsbedömningar och behöver inte ha ML för att identifiera fysiska hinder. Då kan man vara säker på att man inte kör på något med långt större säkerhet. Man behöver/använder ju dock ML för en mängd andra saker (prediction/planning etc), men inte just denna, mest kritiska bit.
Fast det är ju inte sant att radar och lidar ger korrekta data som avbildar omgivningen 1:1. Man filtrerar och fixar med signalerna för att göra dem användbara. Det kan också ge fel, men med konventionella metoder som man i kvalitetshänseende kan hantera.
Men visst. Om man hårddrar tesen med att ML inte kan "granskas" och därför valideras konventionellt så ska man inte använda ML för kritiska system.
Jag tror dock det är lite väl fyrkantigt för att diskvalificera tekniken. Helt klart dock att det behöver valideras med mer "black-box"-liknande metoder. Tror absolut att det är görbart med delsystem och en bra struktur i designen. Vid någon nivå av black-box-testning så kan det vara bättre än de buggar som trots allt kan finnas i validerad kod.
Ja, jag håller med om att det mer nyanserat än så. Men man behöver inte ML för att tvätta en Lidar-voxelmodell vad jag vet.
Det finns ju även aspekter kring t ex tillräcklig kvalitet/upplösning i insignalerna, blind-spots vs 360, redundanta/parallella sensorer och tillräcklig compute i bilen som alla bidrar till att komma upp till en acceptabel MTBF. Det är bland annat därför jag inte tror på Teslas förmåga att leverera någon mer avancerad funktion än L2 inom 5-10 år utan bättre hw. På HW3 kommer det i alla fall inte någonsin att ske autonomi (på ett sätt där Tesla är liable), det är jag helt övertygad om.
Tesla gör fantastiska saker med FSD City Streets, men det hela verkar lite poänglöst i praktiken om man man inte kommer upp i MTBF för L3-L4. Jag ser liksom inte poängen. Fokus på autonomi för motorväg tror jag vore helt rätt med dagens tillgängliga teknik, möjligheter till lagstiftning och kostnads-acceptans för personbilar.
Tesla gör fantastiska saker med FSD City Streets, men det hela verkar lite poänglöst i praktiken om man man inte kommer upp i MTBF för L3-L4. Jag ser liksom inte poängen. Fokus på autonomi för motorväg tror jag vore helt rätt med dagens tillgängliga teknik, möjligheter till lagstiftning och kostnads-acceptans för personbilar.
Om man håller sig till validering av ML isf att såga teslas approach kan man dyka ner i strategier för ML-validering av säkerhetskritiska system.
Verkar som det finns/ jobbas på detta på svenska RISE.
"The SMILE program develops method(s) that allow DML-based functions to be included into safety critical vehicular applications. The SMILE III project further develops the Safety Cage concept developed within SMILE I/II, into a reference system architecture and prototype(s), while facilitating compliance with the evolving safety standards."
Tesla gör fantastiska saker med FSD City Streets, men det hela verkar lite poänglöst i praktiken om man man inte kommer upp i MTBF för L3-L4. Jag ser liksom inte poängen. Fokus på autonomi för motorväg tror jag vore helt rätt med dagens tillgängliga teknik, möjligheter till lagstiftning och kostnads-acceptans för personbilar.
Om man håller sig till validering av ML isf att såga teslas approach kan man dyka ner i strategier för ML-validering av säkerhetskritiska system.
Verkar som det finns/ jobbas på detta på svenska RISE.
"The SMILE program develops method(s) that allow DML-based functions to be included into safety critical vehicular applications. The SMILE III project further develops the Safety Cage concept developed within SMILE I/II, into a reference system architecture and prototype(s), while facilitating compliance with the evolving safety standards."
Ja det finns flera initiativ på forskningsstadiet, men dåligt med lösningar som man kan använda i praktiken. Jag brukar titta på Phil Koopmans yt-kanal när jag har tid: https://www.youtube.com/channel/UC7QA0w ... X7g/videos
"ON AN EARLY April morning, around 4 am, a San Francisco Fire Department truck responding to a fire tried to pass a doubled-parked garbage truck by using the opposing lane. But a traveling autonomous vehicle, operated by the General Motors subsidiary Cruise without anyone inside, was blocking its path. While a human might have reversed to clear the lane, the Cruise car stayed put. The fire truck only passed the blockage when the garbage truck driver ran from their work to move their vehicle."
Waymo undviker kollision med förare som kör mot rött i obemannat fordon:
"According to the @USDOT, someone runs a red light every ~20 min. Proud of the work by our team to make roads safer, like in this situation where the @Waymo driver in fully-auto mode (no human in the driver’s seat) safely reacts to a car blowing through a red light in Phoenix."
"When I started @Cruise over 8 years ago, I was told self-driving cars would always be science projects. They were wrong. It was a grind, but we made the tech work. Now we’re building a business"
"Today, we earned our driverless deployment permit from the CPUC. After offering free rides for the last ~6 months, we will now start to earn revenue. Big milestone, very proud of the @Cruise team!"
"What you’ll see from us next is growth. We’ve been quietly scaling up our service, expanding geographic coverage (now 70% of SF), etc. You’ll soon see much more."
"But our job is to not only prove self-driving tech is real, but also to show it can be profitable. This is the next frontier in self-driving."
"Once a business is profitable, it’s easier to scale. And scale is critical, since self-driving can save lives, free up time, and reduce emissions. So the more people who have it, the better."
Waymo undviker kollision med förare som kör mot rött i obemannat fordon:
Det är ju inte så svårt att undvika en kollision med en förare ifall denne inte ens är i (det obennade) fordonet
Men skämt åsido. Det kanske ligger närmare i tiden än man tror att det i snitt blir säkrare än med autonoma fordon bara för att det finns så många dåliga förare idag...
Waymo undviker kollision med förare som kör mot rött i obemannat fordon:
Det är ju inte så svårt att undvika en kollision med en förare ifall denne inte ens är i (det obennade) fordonet
Men skämt åsido. Det kanske ligger närmare i tiden än man tror att det i snitt blir säkrare än med autonoma fordon bara för att det finns så många dåliga förare idag...
Ja, lite syftningsfel där
AV-företagen som gör detta och är framme/seriösa typ Cruise, Waymo framför allt, kommer nog knappast att köra ihjäl folk i större utsträckning än en vanlig bilist. Acceptansen för att en maskin har ihjäl en människa är låg och dom har väldigt bra processer för validering med miljarder mil i simulering och faktiska tester inom deras kontrollerade område. De flesta kommer antagligen vara irriterade på att robotaxin kör för konservativt eller inte tar sig fram där man tycker att den borde. Det är en svår balansgång och väldigt spännande nu när det närmar sig "prime-time".
Skulle vilja veta hur de tänker lösa det med snöstorm och massa snö på vägen som döljer en hel del
Yandex har gjort en hel del testning i snö, även Waymo i Detroit - sedan 2012. Det blir lättare om man förmappar så man vet var drivable path är. Det blir väldigt svårt med bara kameror.
Idag har jag lyssnat på den här intervjun med Geoff Hinton (deep-learnings pappa och Turing award-vinnare) som jag tycker var både intressant och underhållande: https://www.therobotbrains.ai/who-is-geoff-hinton
Bland annat tror han att vi kommer att odla datorer (individer där alla är olika) för AI (sic!). Dagens arkitekturer för exakta beräkningar lämpar sig inte för AI enligt Hinton.
Det är mycket snack om NN och hur man försöker bygga modeller baserat på hjärnan (som man egentligen inte förstår så bra).
Han är Cambridge-dropout som blev snickare. Insåg han var får dålig på det och blev PhD i psykologi och forskade på NN på 1970-talet. Senare professor för teamet bakom AlexNet.
Han har en son som har en funktionsnedsättning så han sa upp sig som professor och startade ett forskningsbolag med några andra som auktionerades ut (där Google vann budgivningen) för att kunna se till så hans son skulle kunna få hjälp livet ut. Se https://www.wired.com/story/secret-auct ... oft-baidu/
Den andra parten var vållande i 79% av Waymos 140 olyckor, och i 87% av Cruises 121 olyckor. I de övriga, förutom tre, var säkerhetsföraranden vållande och bilen var i manuellt läge.
Det finns alltså två olyckor som Waymo vållat autonomt och en för Cruise. Dessa tre var relaterade till parkering av fordon, med parkerade fordon på TVÅ MILJONER KÖRDA MIL (12,6M miles).
"Gary Marcus and Naveen Rao join Emmet Peppers and Matt Smith to discuss their view on $TSLA Full Self Driving, AGI, neural networks, and more."
Skapligt insatta diskussioner men en del fel, som t ex att ADAS/L2 skulle vara en säkerhetshöjande funktion och att vissa verkar tro att man kan dra slutsatsen att FSD-betan höjer säkerheten eftersom att det inte skett dödsolyckor (sic!)
"Gary Marcus and Naveen Rao join Emmet Peppers and Matt Smith to discuss their view on $TSLA Full Self Driving, AGI, neural networks, and more."
Skapligt insatta diskussioner men en del fel, som t ex att ADAS/L2 skulle vara en säkerhetshöjande funktion och att vissa verkar tro att man kan dra slutsatsen att FSD-betan höjer säkerheten eftersom att det inte skett dödsolyckor (sic!)
Rekommenderas dock varmt om ni har en timme över.
Rimligen borde man ju jämföra med antal dödsolyckor i teslor utan FSD-beta…
Har man gjort det? Har själv inte lyssnat.
Rimligen borde man ju jämföra med antal dödsolyckor i teslor utan FSD-beta… Har man gjort det? Har själv inte lyssnat.
Till att börja med så finns det ingen publicerad data, men frågeställningen var bl a huruvida FSD-betan var säkrare än en människa och mycket annat. Lyssna gärna så kan vi bolla lite sen.
Rimligen borde man ju jämföra med antal dödsolyckor i teslor utan FSD-beta… Har man gjort det? Har själv inte lyssnat.
Till att börja med så finns det ingen publicerad data, men frågeställningen var bl a huruvida FSD-betan var säkrare än en människa och mycket annat. Lyssna gärna så kan vi bolla lite sen.
Ja, säkrare än en människa som kör istället, allt annat lika.
Jag tror det är nära noll dödsolyckor för bägge. Noll är färre än noll.
Ja, säkrare än en människa som kör istället, allt annat lika.
Jag tror det är nära noll dödsolyckor för bägge. Noll är färre än noll.
Jag tror inte det finns en chans i världen att ett system med en passiv förare som fallback kommer i närheten av ett system med en aktiv förare plus säkerhetssystem som fallback (dvs det omvända). Människor suger på att vara fallback, och datorer suger på att köra effktivt i komplexa miljöer.
Ja, säkrare än en människa som kör istället, allt annat lika.
Jag tror det är nära noll dödsolyckor för bägge. Noll är färre än noll.
Jag tror inte det finns en chans i världen att ett system med en passiv förare som fallback kommer i närheten av ett system med en aktiv förare plus säkerhetssystem som fallback (dvs det omvända). Människor suger på att vara fallback, och datorer suger på att köra effktivt i komplexa miljöer.
