Stort förarhjälpsystem-test

[TiborBlomhall]

Source: https://teslaclubsweden.se/stort-forarhjalpsystem-test/

[xms67]

Någon som kan Kinesiska eller bara orkat se videon? Hur kan M3 och MY få olika poäng? Men det jag undrar mest över är om de körde testerna på riktiga vägar men med mjuka hinder? Eller var det bara en lockvara i början av videon?

[backe]

Någon som kan Kinesiska eller bara orkat se videon? Hur kan M3 och MY få olika poäng? Men det jag undrar mest över är om de körde testerna på riktiga vägar men med mjuka hinder? Eller var det bara en lockvara i början av videon?

MY var inte med(det var M3 och MX i testet), tror inte man får sälja FSD på dom i Kina?

[xms67]

Någon som kan Kinesiska eller bara orkat se videon? Hur kan M3 och MY få olika poäng? Men det jag undrar mest över är om de körde testerna på riktiga vägar men med mjuka hinder? Eller var det bara en lockvara i början av videon?

MY var inte med(det var M3 och MX i testet), tror inte man får sälja FSD på dom i Kina?

Tack! Läste fel i listan.

[TiborBlomhall]

Någon som kan Kinesiska eller bara orkat se videon? Hur kan M3 och MY få olika poäng? Men det jag undrar mest över är om de körde testerna på riktiga vägar men med mjuka hinder? Eller var det bara en lockvara i början av videon?

Jodå, riktiga vägar med mjuka hinder. M3 kunde bromsa bättre än MX i några tester, hann stanna i tid. MX bromsade också men hann inte få stopp på sig.

[Alfred]

Någon som kan Kinesiska eller bara orkat se videon? Hur kan M3 och MY få olika poäng? Men det jag undrar mest över är om de körde testerna på riktiga vägar men med mjuka hinder? Eller var det bara en lockvara i början av videon?

Slå på textning på Youtube så kan du se med engelsk text. Klart sevärt och ambitiöst test, inte minst för att förstå hur de andra tillverkarna ligger till. Riktiga vägar som de fått tillstånd att stänga av för testet och massor av hjälpförare som kör omgivande trafik så att alla bilar har fått så lika förutsättningar som möjligt. Måste ha kostat skjortan att genomföra.

Efter att ha sett ställer jag mig ändå frågan hur mycket tillfälligheter spelar in och vad resultatet skulle bli om man gjorde om samma test igen. När det är neurala nät som fattar besluten är det alltid svårt att veta exakt varför det blev som det blev och om det skulle bli samma utfall igen med tillsynes samma förutsättningar.

Model 3 och X borde ju rimligtvis prestera ungefär likadant eftersom det är samma system och enda skillnaden är vikt/storlek på fordonet och små (försumbara?) skillnader i kamerornas placering. Ändå fattar fordonen olika beslut flera gånger i testerna vilket antyder att det finns ett element av slump i resultatet.

Skulle vara fint att se Euro NCAP och andra testorganisationer införa något liknande i sina tester för säkerhetsklassning. Då skulle man kanske kunna se till att det blir identiska förhållanden och att analys av varje fordons prestanda sker utifrån repeterade tester av varje scenario.

[spacecoin]

Model 3 och X borde ju rimligtvis prestera ungefär likadant eftersom det är samma system och enda skillnaden är vikt/storlek på fordonet och små (försumbara?) skillnader i kamerornas placering. Ändå fattar fordonen olika beslut flera gånger i testerna vilket antyder att det finns ett element av slump i resultatet.

Skulle vara fint att se Euro NCAP och andra testorganisationer införa något liknande i sina tester för säkerhetsklassning. Då skulle man kanske kunna se till att det blir identiska förhållanden och att analys av varje fordons prestanda sker utifrån repeterade tester av varje scenario.

Neurala nätverk är probabilistiska. Den minsta avvikelse i input kan ge olika utfall. T ex om solen står i ett annat läge med 5 grader. Vidare, ADAS är inte typiskt ansett som ett säkerhetssystem som t ex AEB eller LDW, apropå säkerhetsklassning. L2+ flyttar ju gränsen en del, men marknadsföring är inte verklighet.

[Alfred]

Neurala nätverk är probabilistiska. Den minsta avvikelse i input kan ge olika utfall. T ex om solen står i ett annat läge med 5 grader. Vidare, ADAS är inte typiskt ansett som ett säkerhetssystem som t ex AEB eller LDW, apropå säkerhetsklassning. L2+ flyttar ju gränsen en del, men marknadsföring är inte verklighet.

Precis min poäng. Man vill ju inte att en faktor som att solen flyttar sig 5 grader får bilen att strunta i att stanna för en stillastående lastbil i körfältet. Alltså vore det toppen att göra mer än ett test av varje scenario så att man kontrollerar hur robust det är.

I resultatet av det kinesiska testet failar ju Model 3 och Model X olika delprov trots att det i grund och botten är samma system. Med bara ett test ser det i utfallet då ut som att X är bättre än 3 när de rimligtvis borde prestera lika bra. Hade därför varit intressant att förstå hur det hänger ihop. Båda bilarna kanske klarar samma delprov ca 80% av gångerna och det var slumpen som gav X fördel nu.

Rent teoretiskt kanske de båda bara klarar delproven 10% av gångerna och bara hade jättetur i testet, eller 99% av gångerna, men hade sjukt otur.

[spacecoin]

Neurala nätverk är probabilistiska. Den minsta avvikelse i input kan ge olika utfall. T ex om solen står i ett annat läge med 5 grader. Vidare, ADAS är inte typiskt ansett som ett säkerhetssystem som t ex AEB eller LDW, apropå säkerhetsklassning. L2+ flyttar ju gränsen en del, men marknadsföring är inte verklighet.

Precis min poäng. Man vill ju inte att en faktor som att solen flyttar sig 5 grader får bilen att strunta i att stanna för en stillastående lastbil i körfältet. Alltså vore det toppen att göra mer än ett test av varje scenario så att man kontrollerar hur robust det är.

I resultatet av det kinesiska testet failar ju Model 3 och Model X olika delprov trots att det i grund och botten är samma system. Med bara ett test ser det i utfallet då ut som att X är bättre än 3 när de rimligtvis borde prestera lika bra. Hade därför varit intressant att förstå hur det hänger ihop. Båda bilarna kanske klarar samma delprov ca 80% av gångerna och det var slumpen som gav X fördel nu.

Rent teoretiskt kanske de båda bara klarar delproven 10% av gångerna och bara hade jättetur i testet, eller 99% av gångerna, men hade sjukt otur.

Man får göra testet 1000 gånger då. Den som tränat för luftballonger vinner.

Att Tesla klarar testerna bättre betyder något, men inte att man kan lita på systemet.

[backe]

Neurala nätverk är probabilistiska. Den minsta avvikelse i input kan ge olika utfall. T ex om solen står i ett annat läge med 5 grader. Vidare, ADAS är inte typiskt ansett som ett säkerhetssystem som t ex AEB eller LDW, apropå säkerhetsklassning. L2+ flyttar ju gränsen en del, men marknadsföring är inte verklighet.

Precis min poäng. Man vill ju inte att en faktor som att solen flyttar sig 5 grader får bilen att strunta i att stanna för en stillastående lastbil i körfältet. Alltså vore det toppen att göra mer än ett test av varje scenario så att man kontrollerar hur robust det är.

I resultatet av det kinesiska testet failar ju Model 3 och Model X olika delprov trots att det i grund och botten är samma system. Med bara ett test ser det i utfallet då ut som att X är bättre än 3 när de rimligtvis borde prestera lika bra. Hade därför varit intressant att förstå hur det hänger ihop. Båda bilarna kanske klarar samma delprov ca 80% av gångerna och det var slumpen som gav X fördel nu.

Rent teoretiskt kanske de båda bara klarar delproven 10% av gångerna och bara hade jättetur i testet, eller 99% av gångerna, men hade sjukt otur.

Man får göra testet 1000 gånger då. Den som tränat för luftballonger vinner.

Att Tesla klarar testerna bättre betyder något, men inte att man kan lita på systemet.

Kan tycka att det blir lite märkligt att jämföra full FSD med t.ex. en Passat eller Mercedes C-klass som såvitt jag vet inte har några ambitioner att vara självkörande.

Mer rättvist hade väl varit att köra Tesla med autopilot om man ska köra mot bilar som har ACC och filhållningsassistans.

[Holve]

Neurala nätverk är probabilistiska. Den minsta avvikelse i input kan ge olika utfall. T ex om solen står i ett annat läge med 5 grader. Vidare, ADAS är inte typiskt ansett som ett säkerhetssystem som t ex AEB eller LDW, apropå säkerhetsklassning. L2+ flyttar ju gränsen en del, men marknadsföring är inte verklighet.

Precis min poäng. Man vill ju inte att en faktor som att solen flyttar sig 5 grader får bilen att strunta i att stanna för en stillastående lastbil i körfältet. Alltså vore det toppen att göra mer än ett test av varje scenario så att man kontrollerar hur robust det är.

I resultatet av det kinesiska testet failar ju Model 3 och Model X olika delprov trots att det i grund och botten är samma system. Med bara ett test ser det i utfallet då ut som att X är bättre än 3 när de rimligtvis borde prestera lika bra. Hade därför varit intressant att förstå hur det hänger ihop. Båda bilarna kanske klarar samma delprov ca 80% av gångerna och det var slumpen som gav X fördel nu.

Rent teoretiskt kanske de båda bara klarar delproven 10% av gångerna och bara hade jättetur i testet, eller 99% av gångerna, men hade sjukt otur.

Man får göra testet 1000 gånger då. Den som tränat för luftballonger vinner.

Att Tesla klarar testerna bättre betyder något, men inte att man kan lita på systemet.

Kan tycka att det blir lite märkligt att jämföra full FSD med t.ex. en Passat eller Mercedes C-klass som såvitt jag vet inte har några ambitioner att vara självkörande.

Mer rättvist hade väl varit att köra Tesla med autopilot om man ska köra mot bilar som har ACC och filhållningsassistans.

Var det full FSD?

[backe]

Neurala nätverk är probabilistiska. Den minsta avvikelse i input kan ge olika utfall. T ex om solen står i ett annat läge med 5 grader. Vidare, ADAS är inte typiskt ansett som ett säkerhetssystem som t ex AEB eller LDW, apropå säkerhetsklassning. L2+ flyttar ju gränsen en del, men marknadsföring är inte verklighet.

Precis min poäng. Man vill ju inte att en faktor som att solen flyttar sig 5 grader får bilen att strunta i att stanna för en stillastående lastbil i körfältet. Alltså vore det toppen att göra mer än ett test av varje scenario så att man kontrollerar hur robust det är.

I resultatet av det kinesiska testet failar ju Model 3 och Model X olika delprov trots att det i grund och botten är samma system. Med bara ett test ser det i utfallet då ut som att X är bättre än 3 när de rimligtvis borde prestera lika bra. Hade därför varit intressant att förstå hur det hänger ihop. Båda bilarna kanske klarar samma delprov ca 80% av gångerna och det var slumpen som gav X fördel nu.

Rent teoretiskt kanske de båda bara klarar delproven 10% av gångerna och bara hade jättetur i testet, eller 99% av gångerna, men hade sjukt otur.

Man får göra testet 1000 gånger då. Den som tränat för luftballonger vinner.

Att Tesla klarar testerna bättre betyder något, men inte att man kan lita på systemet.

Kan tycka att det blir lite märkligt att jämföra full FSD med t.ex. en Passat eller Mercedes C-klass som såvitt jag vet inte har några ambitioner att vara självkörande.

Mer rättvist hade väl varit att köra Tesla med autopilot om man ska köra mot bilar som har ACC och filhållningsassistans.

Var det full FSD?

Jag läste det, vet inte exakt var nu dock. Därför inte MY var med då den inte säljs i Kina med FSD tydligen.

Ska se om jag hittar infon.
-----------
Edit


Här såg jag det.

[Alfred]

Man får göra testet 1000 gånger då. Den som tränat för luftballonger vinner.

Att Tesla klarar testerna bättre betyder något, men inte att man kan lita på systemet.

Äh, diminishing returns gäller ju för fler tester. Poängen med att EuroNCAP skulle göra sådana här tester är ju inte för att validera full självkörning åt tillverkarna eller myndigheterna, utan att ge konsumenter en oberoende bild av hur väl förarassistansen verkar fungera och därmed skapa ett ekonomiskt incitament för tillverkarna att inte bara prioritera mjuk gång och få spökinbromsningar vid ordinär körning.

2 tester otroligt mycket bättre än 1. 5 tester väldigt mycket bättre än 2. 10 tester mycket bättre än 5. 20 tester bättre än 10 medan 1000 tester i detta sammanhang bara är lite bättre än 500.

Skulle man bara ge 5 stjärnor till bilar som klarar varje repetition av test kan man vid 1 test/scenario lätt få 5 stjärnor av ren tur. Om tillverkarna vet att de exempelvis måste klara 10 av 10 i oberoende test har de ekonomiskt incitament att på sin sida säkerställa att de klarar 1000 av 1000. Man kan ju inte riskera ett helt modellprogram som kostat flera miljarder på att lämna säkerhetstesterna åt slumpen.

Till skillnad från krocktesterna behöver ju bilarna heller inte gå sönder, så borde inte vara omöjligt kostnadsmässigt att få till något sådant. Stora kostnaden blir att ta fram testmiljön, men den kan ju isf återanvändas om detta skulle göras systematiskt.

Sen skulle vi säkert få ny variant av dieselgate där tillverkarna börjar träna på data som är identiskt med testmiljön så att systemen blir overfit för den miljön och därmed paradoxalt nog kanske osäkrare i det vilda. Men det skulle ändå vara ett mycket bättre problem än den vilda västern som råder idag där vem som helst kan claima feature parity med konkurrenter utan att konsumenterna har något sätt att syna bluffen.