FSD Beta är imponerande!

[Hertsh]

Med v12 börjar vi se en trend där det faktiskt sker en direkt förbättring av antal km innan Critical Disengagement , framförallt i stad där nya neuralnet ”koden” är aktiv (ännu är det hårdkodat på Highway om jag fattat det korrekt).


Källa är teslafsdtracker

Ett nytt snapshot från teslafsdtracker. Det var visst en trend som inte fortsatte rakt uppåt.

[spacecoin]

Med v12 börjar vi se en trend där det faktiskt sker en direkt förbättring av antal km innan Critical Disengagement , framförallt i stad där nya neuralnet ”koden” är aktiv (ännu är det hårdkodat på Highway om jag fattat det korrekt).


Källa är teslafsdtracker

Ett nytt snapshot från teslafsdtracker. Det var visst en trend som inte fortsatte rakt uppåt.

Jag är CHOCKAD.

[Hertsh]

Med v12 börjar vi se en trend där det faktiskt sker en direkt förbättring av antal km innan Critical Disengagement , framförallt i stad där nya neuralnet ”koden” är aktiv (ännu är det hårdkodat på Highway om jag fattat det korrekt).


Källa är teslafsdtracker

Ett nytt snapshot från teslafsdtracker. Det var visst en trend som inte fortsatte rakt uppåt.

Jag är CHOCKAD.

[Domenix]

Med v12 börjar vi se en trend där det faktiskt sker en direkt förbättring av antal km innan Critical Disengagement , framförallt i stad där nya neuralnet ”koden” är aktiv (ännu är det hårdkodat på Highway om jag fattat det korrekt).


Källa är teslafsdtracker

Ett nytt snapshot från teslafsdtracker. Det var visst en trend som inte fortsatte rakt uppåt.

Jag är CHOCKAD.

Fast när över 2 miljoner bilar har de nya versionerna (och folk som aldrig testa fsd förr) börjar använda och rapportera in data till fsdtracker så är det omöjligt med objektiv bevisning för något som har att göra med funktionerna i fsd.

Att citera fsdtracker visar bara hur dålig koll man har på nuvarande situation

[spacecoin]

Fast när över 2 miljoner bilar har de nya versionerna (och folk som aldrig testa fsd förr) börjar använda och rapportera in data till fsdtracker så är det omöjligt med objektiv bevisning för något som har att göra med funktionerna i fsd.

Att citera fsdtracker visar bara hur dålig koll man har på nuvarande situation

Det finns inte nämnvärt fler miles rapporterade på FSD-trackern än tidigare versioner så din teori om att det skulle vara ett inflöde av nya "testare" är ju ett rent påhitt. Det är fortfarande samma ca 160 "testare" som förr.

[Gustafsson]

Att tvivla på varandras intellekt och förmåga till analys är inte ett smickrande sätt att argumentera. Att det finns de som drar slutsatser som snart visar sig vara felaktiga drabbar väl många av oss någon gång. Så med det sagt kanske man kan efterlysa åtminstone ett försök till saklighet. Läsaren kan förmodligen värdera argumenten utan invektiv.

[fth]

Jag har i mångt och mycket diametralt olika åsikter än spacecoin, men att kalla honom "troll" är direkt felaktigt.

Han är mycket väl insatt i det han uttalar sig om, i allmänhet, men om FSD/AI/autonomy i synnerhet, där han kanske är den mest beläste och uppdaterade medlemmen på TCS.

Jag delar inte hans åsikter och slutsatser om många saker (framtiden och potentialen för Tesla/TSLA, Elon Musks bakomliggande motiv, etc), men jag har stor respekt för hans kunskap, speciellt i denna och närliggande trådar.

/fth

[spacecoin]

Tack för det fth!

Jag vill påminna alla bulls om vad chefen själv sa:



ps. Jag håller med Elon i just det här fallet. Han verkar dock ha glömt det själv. Man behöver reella genombrott för att hitta nästa kurva. Det här är inte hårdvara eller Moore's Law.

"March of nines" et.c et.c.

pps. Han kunde givetvis ha läst denna artikel redan 2020:

[fth]

ps. Jag håller med Elon i just det här fallet. Han verkar dock ha glömt det själv. Man behöver reella genombrott för att hitta nästa kurva. Det här är inte hårdvara eller Moore's Law.

"March of nines" et.c et.c.

Jag håller också helt med, det enda enskilda genombrott som skulle kunna resultera i kontinuerlig exponentiell utveckling är att åstadkomma en "feedback loop" av automatisk förbättring, dvs en modell som tillåts förändra sig själv i grunden, vilket ju tyvärr också kanske är den farligaste vägen framåt.

/fth

[spacecoin]

ps. Jag håller med Elon i just det här fallet. Han verkar dock ha glömt det själv. Man behöver reella genombrott för att hitta nästa kurva. Det här är inte hårdvara eller Moore's Law.

"March of nines" et.c et.c.

Jag håller också helt med, det enda enskilda genombrott som skulle kunna resultera i kontinuerlig exponentiell utveckling är att åstadkomma en "feedback loop" av automatisk förbättring, dvs en modell som tillåts förändra sig själv i grunden, vilket ju tyvärr också kanske är den farligaste vägen framåt.

Jag tror att vi inte behöver oroa oss (tyvärr). Däremot är jag hoppfull att ML kan accelera forskning och medicin och många andra områden.

Härom dagen kom en (ogranskad) forskningsrapport där man menar att det krävs exponentiell träningsdata för linjär progress (ungefär). Eftersom hela internet mer eller mindre är bas för dagens mest avancerade språkmodeller, så behöver man nya grepp.

https://arxiv.org/pdf/2404.04125.pdf

"We comprehensively investigate this question across 34 models and five standard pretraining datasets
(CC-3M, CC-12M, YFCC-15M, LAION-400M, LAION-Aesthetics), generating over 300GB of data
artifacts. We consistently find that, far from exhibiting “zero-shot” generalization, multimodal models
require exponentially more data to achieve linear improvements in downstream “zero-shot” performance,
following a sample inefficient log-linear scaling trend. This trend persists even when controlling for
sample-level similarity between pretraining and downstream datasets [75], and testing on purely synthetic
data distributions [48]. Furthermore, upon benchmarking models on long-tailed data sampled based on
our analysis, we demonstrate that multimodal models across the board perform poorly. We contribute this
long-tail test set as the Let it Wag! benchmark to further research in this direction. Taken together, our
study reveals an exponential need for training data which implies that the key to “zero-shot” generalization
capabilities under large-scale training paradigms remains to be found."

Där är det där "log"-ordet igen...

[fth]

Jag tror att vi inte behöver oroa oss (tyvärr).

[...]

Där är det där "log"-ordet igen...

Ja, det finns ju mycket som tyder på att förbättringar i en given modell/struktur inte skalar med volymen på träningsdata, men min poäng var alltså att istället låta modellen förbättra sig själv, dvs vända på resonemanget och låta modellen förbättra sig själv, sin struktur, och sin egen inlärning i grunden, dvs vad som kallats "recursive self-improving" eller "strange loop AI".

Givet dom framsteg som görs i LLM för kodning etc så ser jag inga principiella hinder som skulle göra det omöjligt att skapa en "navelskådande" modell som analyserar sin egen kod och struktur, förbättrar den, och repeterar ad infinitum.

Detta är ju som sagt dock precis det scenario som alla domedagsprofeter inom AI varnar för.

/fth

[spacecoin]

Jag tror att vi inte behöver oroa oss (tyvärr).

[...]

Där är det där "log"-ordet igen...

Ja, det finns ju mycket som tyder på att förbättringar i en given modell/struktur inte skalar med volymen på träningsdata, men min poäng var alltså att istället låta modellen förbättra sig själv, dvs vända på resonemanget och låta modellen förbättra sig själv, sin struktur, och sin egen inlärning i grunden, dvs vad som kallats "recursive self-improving" eller "strange loop AI".

Givet dom framsteg som görs i LLM för kodning etc så ser jag inga principiella hinder som skulle göra det omöjligt att skapa en "navelskådande" modell som analyserar sin egen kod och struktur, förbättrar den, och repeterar ad infinitum.

Detta är ju som sagt dock precis det scenario som alla domedagsprofeter inom AI varnar för.

/fth

Tyvärr är det du beskriver science fiction än så länge. Det hjälper heller inte om modellen kan koda för självförbättring eftersom modellen inte är kod. Modeller kan ju givetvis "tree-search":a sig fram till potentiella förbättringar av NN-arkitekturer, men i den typ av forskning är inte modellerna nära ännu.

Att hitta nya legeringar, läkemedel eller t ex teknik för batterier är något jag hoppas på under detta decennium.

Ex vis: https://www.isomorphiclabs.com/

"Isomorphic Labs announces strategic collaborations with two of the world’s leading pharmaceutical companies, Eli Lilly and Company and Novartis. These partnerships have the potential to be worth nearly $3 billion to Isomorphic Labs, excluding any royalties that may result from future drug sales, and are testament to Isomorphic’s approach to drug design and the progress we are making. Both collaborations are multi-target, focused on small molecules, and include a combination of upfront and milestone payments."


Economist hade en bra artikel om detta för ett tag sedan:
https://econ.st/3UcXN6U (gift link)

[fth]

Tyvärr är det du beskriver science fiction än så länge. Det hjälper heller inte om modellen kan koda för självförbättring eftersom modellen inte är kod. Modeller kan ju givetvis "tree-search":a sig fram till potentiella förbättringar av NN-arkitekturer, men i den typ av forskning är inte modellerna nära ännu.

Att hitta nya legeringar, läkemedel eller teknik för batterier är något jag hoppas på under detta decennium.

Finessen med rekursiv självförbättring är ju dock att man inte behöver göra ett gigantiskt genombrott som i första generation skapar en allsmäktig navelskådande programmerare. Systemet behöver ju "bara" vara kapabel att förbättra sig själv minimalt, sen tar rekursiviteten vid och skapar den exponentiella förbättringen.

Min gamla käpphäst med genetiska algoritmer tror jag t.ex. skulle kunna vara en potentiell väg framåt, det fungerade ju ganska bra i naturen att producera effektiva "meat NN" på det sättet.

/fth

[mikebike]

Vi hade en föreläsning om AI på jobbet och den handlade bland annat om skillnader mellan en mänsklig hjärna och datorbaserad AI. Enligt föreläsaren är AI ganska långt efter en mänsklig hjärna både när det volym och energibehov. Volymen är inget stort problem i en bil, men han hävdade att en bra självkörande bil skulle behöva så mycket energi till "hjärnan" att räckvidden skulle påverkas märkbart.

[spacecoin]

Tyvärr är det du beskriver science fiction än så länge. Det hjälper heller inte om modellen kan koda för självförbättring eftersom modellen inte är kod. Modeller kan ju givetvis "tree-search":a sig fram till potentiella förbättringar av NN-arkitekturer, men i den typ av forskning är inte modellerna nära ännu.

Att hitta nya legeringar, läkemedel eller teknik för batterier är något jag hoppas på under detta decennium.

Finessen med rekursiv självförbättring är ju dock att man inte behöver göra ett gigantiskt genombrott som i första generation skapar en allsmäktig navelskådande programmerare. Systemet behöver ju "bara" vara kapabel att förbättra sig själv minimalt, sen tar rekursiviteten vid och skapar den exponentiella förbättringen.

Min gamla käpphäst med genetiska algoritmer tror jag t.ex. skulle kunna vara en potentiell väg framåt, det fungerade ju ganska bra i naturen att producera effektiva "meat NN" på det sättet.

/fth

Hur många år tog det för oss att nå hit? Från de enklaste aporna var det väl ca 10M år sedan...

Förhoppningsvis kan vi nå vettig maskinintelligens inom 30-40 år så jag får se den. Just nu AI på nivån motsvarande "iglar och handsåg" för medicin . Brute force-tekniker med teorier från 70-talet blandat med några få nya teorier och genombrott + Moore's Law + Big Data.

Men även det kan ju göra skillnad.

[spacecoin]

Vi hade en föreläsning om AI på jobbet och den handlade bland annat om skillnader mellan en mänsklig hjärna och datorbaserad AI. Enligt föreläsaren är AI ganska långt efter en mänsklig hjärna både när det volym och energibehov. Volymen är inget stort problem i en bil, men han hävdade att en bra självkörande bil skulle behöva så mycket energi till "hjärnan" att räckvidden skulle påverkas märkbart.

En mänsklig hjärna drivs på motsvarande 40-60W har jag för mig och är oändligt mer avancerad än ML. Kan resonera, lära sig cykla, gå, köra bil på några timmar. ML-systemen behöver tiotusentals timmar eller mer och energiförbrukning som en mindre stad förbrukar på en vecka eller månad.

Moravec's paradox: Det som är enkelt för en människa, är svårt för en dator och vise versa. T ex lära sig gå vs lösa svåra ekvationer eller andra matteproblem.

edit: Hjärnan förbrukar uppskattningsvis "0.3 kilowatt hours (kWh) per day" för en vuxen.

edit2: Each H100 GPU, running at 61% annual utilization, consumes roughly 3,740 kilowatt-hours (kWh) of electricity annually. This is equivalent to the average American household.

För de större modellena (ChatGPT, Gemeni etc.) så trånar man på motsvarande 2000st H100 i en månad i full spätta för EN träningscykel.

[fth]

Hur många år tog det för oss att nå hit? Från de enklaste aporna var det väl ca 10M år sedan...

Fast det där kan man ju vända på också, hur lång tid tog det naturen att gå från encelliga organismer till dom allra enklaste nervsystemen, hur lång tid tog det att gå från simpla hårdkodade reflexer till självlärande system, etc?

Oavsett var man anser att AI befinner sig på den här kurvan så har vi ju på typ 50 år åstadkommit vad det tog naturen i runda slängar fyra miljarder år att utveckla.

Det finns ju inga garantier att vi kommer att fortsätta överträffa naturen på samma sätt, men jag är (som kanske framgått ) teknikoptimist, jag är helt övertygad om att så länge det inte finns några principiella hinder för att återskapa och överträffa mänsklig intelligens så kommer vi nå dit.

/fth

[fth]

En mänsklig hjärna drivs på motsvarande 40-60W har jag för mig och är oändligt mer avancerad än ML. Kan resonera, lära sig cykla, gå, köra bil på några timmar. ML-systemen behöver tiotusentals timmar eller mer och energiförbrukning som en mindre stad förbrukar på en vecka eller månad.

Moravec's paradox: Det som är enkelt för en människa, är svårt för en dator och vise versa. T ex lära sig gå vs lösa svåra ekvationer eller andra matteproblem.

edit: Hjärnan förbrukar uppskattningsvis "0.3 kilowatt hours (kWh) per day" för en vuxen.

edit2: Each H100 GPU, running at 61% annual utilization, consumes roughly 3,740 kilowatt-hours (kWh) of electricity annually. This is equivalent to the average American household.

För de större modellena (ChatGPT, Gemeni etc.) så trånar man på motsvarande 2000st H100 i en månad i full spätta för EN träningscykel.

Vi får ju komma ihåg att dagens modeller existerar ovanpå flera nivåer av abstraktionslager, där varje lager introducerar overhead. Ett NN emuleras ju i någon form av en klassisk von Neumann, och på samma sätt som det krävs en hyfsat biffig modern dator för att emulera en NES från 1983 så kan man anta att dessa abstraktionslager innebär en enorm overhead kontra en tänkt "sann" NN-arkitektur.

/fth

[Fredrik j]

Hur många år tog det för oss att nå hit? Från de enklaste aporna var det väl ca 10M år sedan...

Fast det där kan man ju vända på också, hur lång tid tog det naturen att gå från encelliga organismer till dom allra enklaste nervsystemen, hur lång tid tog det att gå från simpla hårdkodade reflexer till självlärande system, etc?

Oavsett var man anser att AI befinner sig på den här kurvan så har vi ju på typ 50 år åstadkommit vad det tog naturen i runda slängar fyra miljarder år att utveckla.

Det finns ju inga garantier att vi kommer att fortsätta överträffa naturen på samma sätt, men jag är (som kanske framgått ) teknikoptimist, jag är helt övertygad om att så länge det inte finns några principiella hinder för att återskapa och överträffa mänsklig intelligens så kommer vi nå dit.

/fth

Längs vägen skrotade naturen också ganska många felsatsningar…

[fth]

Längs vägen skrotade naturen också ganska många felsatsningar…

Ja precis, det styrker ju min gamla tes/käpphäst om genetiska algoritmer som mekanism för självförbättring, alla mutationer som inte driver utvecklingen framåt raderas skoningslöst.

/fth

[Fredrik j]

Längs vägen skrotade naturen också ganska många felsatsningar…

Ja precis, det styrker ju min gamla tes/käpphäst om genetiska algoritmer som mekanism för självförbättring, alla mutationer som inte driver utvecklingen framåt raderas skoningslöst.

/fth

T.ex. företag som släpper ofärdiga produkter på amerikanska marknaden.

[spacecoin]

Längs vägen skrotade naturen också ganska många felsatsningar…

Ja precis, det styrker ju min gamla tes/käpphäst om genetiska algoritmer som mekanism för självförbättring, alla mutationer som inte driver utvecklingen framåt raderas skoningslöst.

/fth

T.ex. företag som släpper ofärdiga produkter på amerikanska marknaden.

Touché.

[fth]

Längs vägen skrotade naturen också ganska många felsatsningar…

Ja precis, det styrker ju min gamla tes/käpphäst om genetiska algoritmer som mekanism för självförbättring, alla mutationer som inte driver utvecklingen framåt raderas skoningslöst.

/fth

T.ex. företag som släpper ofärdiga produkter på amerikanska marknaden.

Jag antar du menar Fisker?

/fth

[Fredrik j]

Längs vägen skrotade naturen också ganska många felsatsningar…

Ja precis, det styrker ju min gamla tes/käpphäst om genetiska algoritmer som mekanism för självförbättring, alla mutationer som inte driver utvecklingen framåt raderas skoningslöst.

/fth

T.ex. företag som släpper ofärdiga produkter på amerikanska marknaden.

Jag antar du menar Fisker?

/fth

Jag menar alla företag som tjänar pengar på att sälja bilar som kunderna uppfattar som självkörande. Olyckor i usa kan utradera hela företag.

[Hertsh]

Med v12 börjar vi se en trend där det faktiskt sker en direkt förbättring av antal km innan Critical Disengagement , framförallt i stad där nya neuralnet ”koden” är aktiv (ännu är det hårdkodat på Highway om jag fattat det korrekt).


Källa är teslafsdtracker

Ett nytt snapshot från teslafsdtracker. Det var visst en trend som inte fortsatte rakt uppåt.

Jag är CHOCKAD.

Fast när över 2 miljoner bilar har de nya versionerna (och folk som aldrig testa fsd förr) börjar använda och rapportera in data till fsdtracker så är det omöjligt med objektiv bevisning för något som har att göra med funktionerna i fsd.

Att citera fsdtracker visar bara hur dålig koll man har på nuvarande situation

Jag visade på en trend till det bättre med v12 och sedermera en rejäl dipp efter några veckor.

Jag är skeptisk till Teslas förmåga att skapa robotaxis, men är hoppfull. Jag kan på tok för lite om AI för att kunna avgöra om det kan ersätta teknik i form av Lidar, Radar, HD kartor etc men förstår på många som kan sådant att det med hög sannolikhet inte kommer lyckas. Inte ens om uppenbara saker som rena kameror löses mha tvätt etc. Men jag hoppas, för det vore bra ekonomiskt om saker kan lösas utan för mycket hängslen och livremmar.

Oavsett, så tycker jag det är spännande om det går att se en exponentiell utveckling i förbättring när AI appliceras. Det verkade som att det kunde vara fallet, men nya data visar på motsatsen. Återstår att se om Tesla lyckas göra FSD (supervised) rejält bättre eller ej.

Däremot har jag tillräcklig koll på teslafsdtracker så jag tror inte att det är några miljoner bilar som rapporterar in data, det är ett antal entusiastiska användare (tidigare betatestare) som rapporterar ”manuellt” från sina bilar. Datan är så pålitlig som den kan vara såväl bakåt i tiden som just nu. Bättre vore så klart om vi kunde få data direkt från Tesla, men det håller jag inte andan efter.

Vore bra om du försöker vara mer saklig framöver. Det ger ett bättre forum. Jag är inte korkad och vill inte få det påklistrat mig, men skulle jag ha fel (och det händer någon enstaka gång ) så är jag tidig med att erkänna det.