Moderator: Redaktion
Man får ju försöka förstå hur omgivningen uppfattar vad man säger och säkerställa att det stämmer med vad man menar. HAr man svårt för det kan man ju fråga runt lite.RagWal skrev:Jag uppfattar ordet LOVA som något tyngre än att säga att det "ska" ske men inser att jag har tydligen en avvikande uppfattning om ordets betydelse, inget annat. Jag överväger gärna den tolkningen och går vidare.
Ingen bildbehandling utan råa fotoner eller råa elektroner från bildsensorn om man så vill. Det handlar om mycket mer än bara fördröjning utan mer om att tydligare se nyanser, se i motljus, i mörker, dimma m.m. Det innebär helt annan träningsdata än den man haft innan. Surround-video som man också håller på och implementera innebär också helt annan träningsdata så lämpligt tillfälle att genomföra det.Maw skrev:Det var just uttrycket "från bild till råa fotoner" som lät väkdigt konstigt, och ärligt talat helt orimligt. Tydligen så är det dortfarande tvärt om, fotoner till data (bild) som Tesla tänker använda sig av men utan bildbehandling i sensorn/kameran.
Jag förmodar att de menar att de tänker använda sensorns rådata direkt i FSD-mjukvaran utan att låta specialiserad hårdvara behandla datan först, alternativt att de kommer ha bildbehandlingshårdvara i sin systemdator som har kortare latency än den som finns tillgänglig i de kameror de använder, om det är kortare latency de är ute efter. Att bildbehandla i mjukvara låter dock ineffektivt så det borde handla om specialiserad hw.
När jag tänkt lite mer på uttrycket så blev det rimligareJordad skrev:Ingen bildbehandling utan råa fotoner eller råa elektroner från bildsensorn om man så vill. Det handlar om mycket mer än bara fördröjning utan mer om att tydligare se nyanser, se i motljus, i mörker, dimma m.m. Det innebär helt annan träningsdata än den man haft innan. Surround-video som man också håller på och implementera innebär också helt annan träningsdata så lämpligt tillfälle att genomföra det.Maw skrev:Det var just uttrycket "från bild till råa fotoner" som lät väkdigt konstigt, och ärligt talat helt orimligt. Tydligen så är det dortfarande tvärt om, fotoner till data (bild) som Tesla tänker använda sig av men utan bildbehandling i sensorn/kameran.
Jag förmodar att de menar att de tänker använda sensorns rådata direkt i FSD-mjukvaran utan att låta specialiserad hårdvara behandla datan först, alternativt att de kommer ha bildbehandlingshårdvara i sin systemdator som har kortare latency än den som finns tillgänglig i de kameror de använder, om det är kortare latency de är ute efter. Att bildbehandla i mjukvara låter dock ineffektivt så det borde handla om specialiserad hw.
Kan du ta Elons narrativ utan att tänka? Ha ingen relevant bakgrund eller kunskap? Prata i 90 minuter? Grattis du kan jobba som YouTuber![JM] skrev:
James Douma och Dr. Know-it-all pratar allmänt om AI och FSD
I dagsläget, inte ens teorin?spacecoin skrev:Vision-only self-driving är inte ett problem som kan lösas i dagsläget. Inte ens i teorin. HD-kartor är instrumentala att få upp reliabiliteten. Det är lättare att veta var trafikljusen är och endast lista ut färgen istället för att försöka gissa vad som är trafikljus eller väggmålning, vilket fil trafikljusen hör till och sedan lista ut om det är grönt eller rött. Varje gång man kommer till den korsningen.
Inte ens Tesla gör så. Man har ju ruttplanering och även trafikinformation. Man kan väl absolut tänka sig att det kompletteras med mer info som avviker, tex direkt felaktig skyltning och annat tok. Fortsatt dock med arbetshypotesen "lätta kartor" och primärt visuell körning.Låt mig förtydliga: Jag tror inte att det går att få den säkerhet som krävs i dagsläget. Oavsett budget per bil eller mjukvaruteam, med vision-only ML e2e. Är det praktik eller teori? Om de praktiska gränserna för en budget är obegränsade så tycker jag att det är en teoretisk gräns i dagsläget som jag skrev.RagWal skrev:I dagsläget, inte ens teorin?
En stor fördel med HD-kartor är metadata och inte bara en korrekt 3d-representation på millimetern. Man mappar upp bussfiler, trafikljusens koppling till körfält osv osv. Som Chris Umson säger: Kartorna är rätt 99% av fallen så varför inte ha det som indata? Varför inte ha flera "stacks" av olika sensorers tolkning då det är det billigaste sättet att komma till tillräckligt många 9:or? Man måste använda alla kryckor som finns om man ska komma någon vart.RagWal skrev:Sen är det en gråskala hela vägen bort till extrema HD-kartor där man kan se brevlådor och detaljer som kräver att specielle bilar kört innan och mätt upp. Såklart kör man inte bara efter detta men man ger det mer tyngd om man kommer från "det hållet".
Om man har som mål att komma till marknaden med ett autonomt fordon inom fem år så är det meningslöst att försöka göra som Tesla gör.RagWal skrev:För- och nackdelar med allt och olika huvudspår. Det är väl bra att alla inte tänker lika. Även i praktiken.
Jodå. Men det räcker inte med att bara se färgfälten. Den behöver se och rimligt väl "bedöma" armaturen, stolpen etc. Lära sig skillnad på riktigt trafikljus (hängande, stående, på vägg etc) och "fake" stolpe (papplåda, Ljuskälla eller bara färg). En människa kan också bli lurad av en seriös atrapp om man ska hårddra det. ML behöver bli tillräckligt duktig på detta.spacecoin skrev:ML kan inte skilja ett trafikljus på en jacka, bil eller en vägg och ett riktigt trafikljus. Byt sedan ut "trafikljus" mot allt som är relevant i trafiken. Det finns inget resonemang i ML det finns bara sannolikheter. Och det finns för många avvikelser i verkliga världen för att våga riskera liv på ML:ens funktion. Och nu pratar vi bara perception.
Det jag vill få fram är att frågan (HD vs vision) är ju snarare vilken nivå på noggrannhet i kartorna som behövs viktat mot hur duktig vision-systemet är att avgöra det. Visst överlapp är lämpligt.spacecoin skrev:En stor fördel med HD-kartor är metadata och inte bara en korrekt 3d-representation på millimetern. Man mappar upp bussfiler, trafikljusens koppling till körfält osv osv. Som Chris Umson säger: Kartorna är rätt 99% av fallen så varför inte ha det som indata? Varför inte ha flera "stacks" av olika sensorers tolkning då det är det billigaste sättet att komma till tillräckligt många 9:or? Man måste använda alla kryckor som finns om man ska komma någon vart.
Precis. Men hur då? Du får inte ett resonerande system genom att bada det i mer data. Ingen vet hur. Ännu. Eller kanske någonsin.RagWal skrev:ML behöver bli tillräckligt duktig på detta.
Frågan är definitivt inte HD-maps eller vision. Det är att man behöver mer av allt för att lösa problemet. Fler parallella sensortyper, bättre kartor, mer compute, större träningsset osv osv.RagWal skrev:Det jag vill få fram är att frågan (HD vs vision)
Ja, det är det jag säger. Och det är därför Tesla inte gör det. Det skär i marginalerna.RagWal skrev:Överdådiga (super-duper-ultra) HD-kartor är fördyrande datahantering
Min bild är att Tesla gör 'allt' så länge det inte kostar något extra per såld licens eller bil. T ex att byta ut kameror, lägga till Lidar, öka compute osv. Det gynnar kanske samhället på sikt på något vis, men knappast deras möjligheter att lösa självkörning (dvs utan mänsklig säkerhetsförare, L3+) i närtid.RagWal skrev:Återigen har Tesla tagit ett strapå att man måste lösa sin vison oavsett.
Om du sett lite andra videos med James när han går igenom Teslas NN i detalj och förklarar vad de olika delarna har för roll så kanske du skulle döma honom annorlunda.spacecoin skrev:Kan du ta Elons narrativ utan att tänka? Ha ingen relevant bakgrund eller kunskap? Prata i 90 minuter? Grattis du kan jobba som YouTuber![JM] skrev:
James Douma och Dr. Know-it-all pratar allmänt om AI och FSD
Nej, vissa föredrar självlärda personer i YouTubes Tesla-bubbla, det är tydligt. Då kan man nöja sig med det och skatta åt hur dåliga de 15-20 ledande AV-företagen är som behöver "kryckor" som HD-kartor och Lidar. Utan att reflektera över att dom faktiskt kan köra autonomt och att Tesla inte är i närheten.[JM] skrev:Om du sett lite andra videos med James när han går igenom Teslas NN i detalj och förklarar vad de olika delarna har för roll så kanske du skulle döma honom annorlunda.spacecoin skrev:Kan du ta Elons narrativ utan att tänka? Ha ingen relevant bakgrund eller kunskap? Prata i 90 minuter? Grattis du kan jobba som YouTuber![JM] skrev:
James Douma och Dr. Know-it-all pratar allmänt om AI och FSD
Men vi kanske bara ska återgå till att lyssna på självlärda personer på något obskyrt teslaforum istället....
"Ingen vet hur. Ännu. Eller kanske någonsin."? Missförstår jag dig eller busar du? Hyfsat ordinärt problem skulle jag påstå. Att skilja en katt från en hund på bild kan ju ett ML-system göra sen flera år tillbaka. Soptunnor från brevlådor är ju ett mer nära exempel.spacecoin skrev:Precis. Men hur då? Du får inte ett resonerande system genom att bada det i mer data. Ingen vet hur. Ännu. Eller kanske någonsin.RagWal skrev:ML behöver bli tillräckligt duktig på detta.
Andrej Karpathy har twittrat mycket om det här sedan något år tillbaka. Teslas strategi bygger på liknande teknologi. Andrej är bra att följa om man är intresserad av autonomi: https://twitter.com/karpathy?t=SYYooalm ... LYU3g&s=09spacecoin skrev:We present Block-NeRF, a variant of Neural Radiance Fields that can represent large-scale environments.
Ja det här handlar bara om träningsdata vilket är ett enkelt men tidskrävande problem.RagWal skrev:"Ingen vet hur. Ännu. Eller kanske någonsin."? Missförstår jag dig eller busar du? Hyfsat ordinärt problem skulle jag påstå. Att skilja en katt från en hund på bild kan ju ett ML-system göra sen flera år tillbaka. Soptunnor från brevlådor är ju ett mer nära exempel.
Att skilja ett trafikljus från tre färgglada punkter på ett plakat går med hyfsat god sannolikhet. Eftersom det är rörlig video så kan man när man kommer närmare "se" dess form. Såklart är en människa ännu bättre på att skilja ett fake-trafikljus från ett riktigt, men det finns ju gråzoner även för det.
Jag har fått inbromsning vid röd signal för tåg. Klarastrandsleden i Stockholm och nånstans vid Bräcke (tror jag). På båda ställen går tåg nära vägen. Går säkert att filtrera bort med rimligt enkel logik pga deras placering i förhållande till vägen.
Finns andra problem som är svårare då.
Det är klart jag följer AK på Twitter. Tesla pratade om NeRF på AI-day om jag inte minns fel. Alla och deras mamma använder NeRF sedan forskningen publicerades 2020. Det som var nytt är var det som skrevs i Google Research-publiceringen: metoden att sy ihop dem (ny) och att simulera olika förhållanden (inte nytt per se, men kanske metoden) t ex.Jordad skrev:Andrej Karpathy har twittrat mycket om det här sedan något år tillbaka. Teslas strategi bygger på liknande teknologi. Andrej är bra att följa om man är intresserad av autonomi: https://twitter.com/karpathy?t=SYYooalm ... LYU3g&s=09spacecoin skrev:We present Block-NeRF, a variant of Neural Radiance Fields that can represent large-scale environments.
Det är klart det inte är omöjligt att köra utan HD-kartor och ja, det är klart att det finns svårare problem än att hitta trafikljus, läsa av dem korrekt, och förstår vilken fil de hör till. Det var bara ett exempel på något som HD-kartor kan bidra med att ÖKA SÄKERHETSGRADEN i bedömningen genom att skära ned problemet till ett mindre komplicerat problem. Crowd-sourcade HD-kartor kan innehålla annan information som t ex genomsnittlig hastighet på varje meter väg, vilken väg folk normalt sett åker (inte i bussfiler, inte på light-rail) osv osv.RagWal skrev:"Ingen vet hur. Ännu. Eller kanske någonsin."? Missförstår jag dig eller busar du? Hyfsat ordinärt problem skulle jag påstå. Att skilja en katt från en hund på bild kan ju ett ML-system göra sen flera år tillbaka. Soptunnor från brevlådor är ju ett mer nära exempel.spacecoin skrev:Precis. Men hur då? Du får inte ett resonerande system genom att bada det i mer data. Ingen vet hur. Ännu. Eller kanske någonsin.RagWal skrev:ML behöver bli tillräckligt duktig på detta.
Att skilja ett trafikljus från tre färgglada punkter på ett plakat går med hyfsat god sannolikhet. Eftersom det är rörlig video så kan man när man kommer närmare "se" dess form. Såklart är en människa ännu bättre på att skilja ett fake-trafikljus från ett riktigt, men det finns ju gråzoner även för det.
Jag har fått inbromsning vid röd signal för tåg. Klarastrandsleden i Stockholm och nånstans vid Bräcke (tror jag). På båda ställen går tåg nära vägen. Går säkert att filtrera bort med rimligt enkel logik pga deras placering i förhållande till vägen.
Finns andra problem som är svårare då.
När man är 18 År gammal kan ma ta körkort i sverige. Då har man upplevt 18*365*24*60*60/10=56764800 dvs ca 60 miljoner 10 sekunders intervaller.spacecoin skrev:Det är klart det inte är omöjligt att köra utan HD-kartor och ja, det är klart att det finns svårare problem än att hitta trafikljus, läsa av dem korrekt, och förstår vilken fil de hör till. Det var bara ett exempel på något som HD-kartor kan bidra med att ÖKA SÄKERHETSGRADEN i bedömningen genom att skära ned problemet till ett mindre komplicerat problem. Crowd-sourcade HD-kartor kan innehålla annan information som t ex genomsnittlig hastighet på varje meter väg, vilken väg folk normalt sett åker (inte i bussfiler, inte på light-rail) osv osv.RagWal skrev:"Ingen vet hur. Ännu. Eller kanske någonsin."? Missförstår jag dig eller busar du? Hyfsat ordinärt problem skulle jag påstå. Att skilja en katt från en hund på bild kan ju ett ML-system göra sen flera år tillbaka. Soptunnor från brevlådor är ju ett mer nära exempel.spacecoin skrev:Precis. Men hur då? Du får inte ett resonerande system genom att bada det i mer data. Ingen vet hur. Ännu. Eller kanske någonsin.RagWal skrev:ML behöver bli tillräckligt duktig på detta.
Att skilja ett trafikljus från tre färgglada punkter på ett plakat går med hyfsat god sannolikhet. Eftersom det är rörlig video så kan man när man kommer närmare "se" dess form. Såklart är en människa ännu bättre på att skilja ett fake-trafikljus från ett riktigt, men det finns ju gråzoner även för det.
Jag har fått inbromsning vid röd signal för tåg. Klarastrandsleden i Stockholm och nånstans vid Bräcke (tror jag). På båda ställen går tåg nära vägen. Går säkert att filtrera bort med rimligt enkel logik pga deras placering i förhållande till vägen.
Finns andra problem som är svårare då.
Ett NN-system kan träna på hundra miljoner bilder på djur och ändå klassificera en katt i ett träd som en fågel eller alla bilder som innehåller en regnbåge som giraffer. Det kan vara svårt att upptäcka.
Jag anser att man är fruktansvärt naiv om man tror några miljoner 10s videoklipp kan ge ett dataset som är säkert nog kör att representera vad som kan hända när man kör i t ex USA på ett sånt sätt att man kan göra L4 av det trots att problemet i princip kan uttryckas som "kör där man kan köra, följ trafikregler och kör inte på något".
Man behöver ett dataset som sannolikt är flera hundra "orders-of-magnitude" mindre om man t ex begränsar sin ODD till en stad/stadsdel, använder bättre indata (Waymo har 29 kameror per bil), använder hd-kartor, använder flera parallella system för att få upp säkerheten (imaging radar, lidar, kameror), till exempel.
Frågan det kokar ned till är om det är möjligt att få ihop det där perfekta datasettet och NN-lösningar så man är så säker på att inte folk dör. Går det över huvudtaget, inom rimlig tid och till rimlig kostnad eller ej. Jag tror nej tills vidare på alla tre: kostnad, tid, över huvudtaget.
Sedan har vi Teslas praktiska problem med bland annat en NN-arkitektur som inte funkar ännu för rätt triviala fall (och vill köra in i cyklister, forgängare, eller annat, väljer fel hastighet). Dom har för lite compute, sensorer som inte är adekvata under vissa förhållanden som t ex låg sol, suboptimal sensorplacering, säkra avståndsbedömningar, och säkert hundra andra saker som dom brottas med.
Hade det bara varit en fråga om att slänga på mer träningsdata så tror jag vi hade sett större förbättring de senaste 15 månaderna.
Jag vet inte riktigt vad du är ute efter. Men det tar faktiskt under 100 timmar totalt att lära en tonåring att köra en bil säkert nog att man kan ge hen ett körkort. Det säger en del om skillnaden mellan ML och människans förmåga. Som människa behöver man inte ha sett alla situationer i världen för att kunna klara av det mesta. Som människa VET man vad som kan hända eftersom en människa kan resonera. Det kan inte ett ML-program.[JM] skrev:När man är 18 År gammal kan ma ta körkort i sverige. Då har man upplevt 18*365*24*60*60/10=56764800 dvs ca 60 miljoner 10 sekunders intervaller.
Nu har jag räknat med att man är vaken under hela denna period så egentligen borde man dra bort en tredjedel pga 8h sömn per dygn.
Det krävs alltså ca 40-60miljoner 10s klipp för att NN i vår hjärna ska lära sig köra bil.
Det inkulderar även AGI för övrigt.
Vår hjärna består av ett fixt/begränsat antal neuroner och synapser som under vår uppväxt lär sig "omvärlden".spacecoin skrev:Jag vet inte riktigt vad du är ute efter. Men det tar faktiskt under 100 timmar totalt att lära en tonåring att köra en bil säkert nog att man kan ge hen ett körkort. Det säger en del om skillnaden mellan ML och människans förmåga. Som människa behöver man inte ha sett alla situationer i världen för att kunna klara av det mesta. Som människa VET vad som kan hända eftersom en människa kan resonera. Det kan inte ett ML-program.[JM] skrev:När man är 18 År gammal kan ma ta körkort i sverige. Då har man upplevt 18*365*24*60*60/10=56764800 dvs ca 60 miljoner 10 sekunders intervaller.
Nu har jag räknat med att man är vaken under hela denna period så egentligen borde man dra bort en tredjedel pga 8h sömn per dygn.
Det krävs alltså ca 40-60miljoner 10s klipp för att NN i vår hjärna ska lära sig köra bil.
Det inkulderar även AGI för övrigt.
AlphaZero vinner alltid i schack mot människor men den förstår inte koncept som att en löpare bara får gå diagonalt. ML är brute-force-metod att lösa problem som är för svåra för konventionell programmering. Det är inte frågan om någon som helst "intelligens".
GPT-3 förstår inte språk eller kontext bara för att den kan med hög sannolikhet gissa vad vi ska säga för ord härnäst. https://www.technologyreview.com/2020/0 ... i-opinion/
Att kurera ett dataset som är representativt för "alla" saker som kan hända är något som kanske tar så länge att verkligheten hinner ändras innnan man är klar.
