Im Entwicklungsprozess des automatisierten Fahrens ist die Verifizierung und Validierung (V&V) eines der am intensivsten diskutierten Themen, insbesondere die szenariobasierte oder datengetriebene Validierung. Die Erstellung realistischer Szenarien ist eine zentrale Herausforderung, wobei die Berücksichtigung realistischer Straßenbedingungen (insbesondere auf langen Strecken) unerlässlich ist, beispielsweise hinsichtlich Verkehrsverhalten, Wetter, Tageszeit und vielem mehr.

Um die Herausforderung der Erstellung hochrealistischer Szenarien zu meistern, hat KPIT ein Verfahren bzw. Framework entwickelt, das Fahrdaten in testbare Szenarien umwandelt und so qualitativ hochwertige und präzise Tests ermöglicht. Die tatsächlichen Testfahrdaten werden analysiert und relevante Ereignisse für die Funktionen des automatisierten Fahrens extrahiert. Diese Ereignisse werden weiterverarbeitet und in synthetische Szenarien umgewandelt. KI-Technologien wie SLAM werden zur Identifizierung von Fahrzeugtrajektorien eingesetzt, während Deep-Learning-Algorithmen zur Identifizierung relevanter Verkehrsteilnehmer, deren Klassifizierung und zur Trajektorienschätzung dienen.

Werfen wir einen detaillierten Blick auf die verschiedenen Prozesse und KI-Techniken, die zur Extraktion und Ableitung hochwertiger Szenarien verwendet werden, welche die V&V-Abdeckung für automatisiertes Fahren sowie umfassende Anwendungsfalltests gewährleisten.

1. Arbeitsablauf auf hoher Ebene.

Die Fahrtenprotokolle werden analysiert, um kritische oder interessante Ereignisse zu identifizieren, die während realer Straßentests aufgetreten sind. Die identifizierten kritischen Ereignisse werden anschließend verarbeitet, um synthetische Szenarien zu erstellen oder abzuleiten, die zur Validierung durch Simulation verwendet werden können (datengetriebene Validierung).

Abbildung 1: Arbeitsablauf auf hoher Ebene

2. Schritte zur Erstellung synthetischer Szenarien aus realen Straßenfahrdaten

Abbildung 2: Schrittweiser Arbeitsablauf des Prozesses

1. Ereignisauswahl/ExtraktionIm ersten Schritt werden kritische Ereignisse identifiziert. Die Fahrdaten werden einem komplexen Algorithmus unterzogen, der die Daten analysiert, um kritische Ereignisse während der Fahrt zu ermitteln. Beispiele hierfür sind: ein unerwartetes Verhalten einer Funktion, eine verspätete/verfrühte Aktivierung einer Funktion oder ein verspätetes Bremsen.
2. DatenfilterungSobald das Ereignis identifiziert ist, werden die für die Verarbeitung benötigten relevanten Daten gefiltert. Die erforderliche Datenmenge wird aus allen verfügbaren Eingabequellen (wie Fahrzeugprotokollen, Sensorprotokollen usw.) extrahiert.
3. EingabedatenverarbeitungDie Daten werden auf Korrektheit und Synchronisation zwischen verschiedenen Eingangsdatenströmen geprüft. Sind die Daten nicht synchron, werden verschiedene Synchronisierungsmethoden angewendet. Beispielsweise schaltet der Fahrer zu Beginn des Fahrvorgangs den Scheibenwischer ein, was im Video aufgezeichnet wird. Der Zeitstempel wird mit dem Statussignal des Scheibenwischers verglichen, die Datenströme werden an die entsprechenden Zeitstempel angepasst und die Daten synchronisiert.
4. Datenanalyse oder SzenenverständnisDies ist der kritischste Schritt, in dem verschiedene Parameter der betrachteten Fahrzeuge (Geschwindigkeit, Position relativ zur Straße, Gierwinkel usw.), der anderen Verkehrsteilnehmer (Geschwindigkeit, relativer Abstand zum betrachteten Fahrzeug, Position, Ausrichtung usw.) und der Straße (Anzahl der Fahrstreifen, vorhandene Kreuzungen usw.) für die weitere Verarbeitung abgeleitet werden. Die Methode zur Ableitung der Parameter hängt maßgeblich von der Verfügbarkeit der Eingangsdaten ab. Typischerweise gestaltet sich dieser Prozess schwieriger, wenn die Eingangsdaten sehr begrenzt sind. In solchen Fällen werden KI-Techniken eingesetzt.
5. SzenenrekonstruktionDie in Schritt d ermittelten Parameter werden kategorisiert und in einen Datenstrom segmentiert, der gemäß den offenen Standards (OpenDRIVE und OpenSCENARIO) für die Szenenerstellung benötigt wird. Immer mehr Organisationen migrieren zu offenen Standards, da dies den Vorteil bietet, jeden Simulator mit minimalen Anpassungen am Szenariomodell verwenden zu können. OpenSCENARIO ist ein Standardformat zur Definition von Fahrzeugmanövern und OpenDRIVE ein Standardformat zur Definition der Straßeninfrastruktur.
6. Szenario-ModellierungDer Prozess, in dem die Open-Standard-Daten für die Ausgaben des vorherigen Schritts generiert und mit dem benötigten Simulator kompatibel gemacht werden. Die Open-Standard-Daten sind mit allen kommerziell erhältlichen Simulatoren sowie mit Open-Source-Simulatoren kompatibel, in denen das Szenario verwendet und visualisiert wird.

3. Art der Daten, die zur Ableitung von Szenarien erforderlich sind

Um Szenarien aus realen Daten abzuleiten, werden Daten aus verschiedenen Quellen benötigt.

Tabelle 1: Anforderungen an die Eingabedaten

4. Implementierung von KI-Techniken

Die Methodik zur Szenenableitung hängt von der Verfügbarkeit der Eingangsdaten ab.

Abbildung 3: Arbeitsablauf der Szenenerstellung basierend auf der Datenverfügbarkeit.

Sind die meisten der in Tabelle 1 geforderten Eingaben verfügbar, wird der Prozess einfach und weitgehend automatisiert. Mithilfe von Parsern und Automatisierungsskripten können die Szenarien aus den realen Fahrdaten in synthetische Szenarien umgewandelt werden.

Normalerweise ist dies nicht der Fall, und die bereitgestellten Informationen sind begrenzt, wodurch der Prozess komplexer wird. Hier setzt KI an, um den Prozess zu optimieren.

Betrachten wir ein Beispiel, bei dem als Eingabe nur Videodaten ohne weitere Daten wie Sensor- oder Fahrzeugprotokolle vorliegen. In diesem Szenario kann eine KI-Technik wie die simultane Lokalisierung und Kartierung (SLAM) zur Bestimmung der Fahrzeugparameter eingesetzt werden. SLAM verwendet einen Referenzpunkt in einem Plan, um eine Karte einer unbekannten Umgebung zu erstellen oder zu aktualisieren und gleichzeitig die Position eines Agenten (z. B. des Fahrzeugs) darin zu verfolgen. Mit SLAM können wir das Fahrzeug verfolgen und seine Standort- und Positionsinformationen ermitteln. SLAM hat jedoch auch Einschränkungen: Es kann nicht für längere Datensätze verwendet werden, da der Schätzfehler zunimmt. Um dies zu vermeiden, wird der Datensatz segmentiert, die Berechnungen werden für kleinere Segmente durchgeführt und diese anschließend mit minimalen Rechenfehlern wieder zusammengefügt.

Nachdem das Problem der Fahrzeugerkennung gelöst wurde, besteht die nächste Herausforderung darin, Verkehrsparameter und die Straßenführung abzuleiten. Dies kann durch den Einsatz von Deep-Learning-basierten Algorithmen erleichtert werden, die Verkehrsparameter wie Position, Klassifizierung und Geschwindigkeit sowie Straßenparameter wie Fahrspurinformationen ermitteln. Ein trainierter Deep-Learning-Algorithmus wird auf das Video angewendet, um die relevanten Verkehrsteilnehmer und Straßeninformationen zu identifizieren.

Alle diese Parameter werden anschließend mithilfe geeigneter Transformationen den entsprechenden Tags in OpenDrive und OpenScenario zugeordnet, um eine Szenariodatei zu generieren. Diese Szenariodatei wird dann in einem Simulator verwendet, um das Szenario zu visualisieren. Durch die Verfügbarkeit der für die Datenerfassung verwendeten Kamerakonfigurationsparameter (intrinsische und extrinsische) lassen sich präzise Szenariomodelle erstellen.

Abbildung 4: Beispielbild des Open Drive-Formats (XODR)

Abbildung 5: Beispielbild des Open Scenario-Formats (XOSC)

Die oben genannten Techniken helfen bei der Erstellung hochwertiger, realistischer Szenariomodelle für reale Straßendaten, die zur Validierung verwendet werden können. Die Validierung kann beispielsweise durch einen geschlossenen Regelkreistest eines AD-Stacks oder einer AD-Funktion erfolgen.

Zusammenfassend lässt sich sagen, dass die Implementierung dieser KI-Techniken zur Szenarioerstellung aus realen Daten dazu beiträgt, qualitativ hochwertige Szenarien zu generieren und darüber hinaus zahlreiche Vorteile mit sich bringt, wie zum Beispiel:

• Zeitersparnis von bis zu 50% durch Automatisierung,
• Erstellung realistischer Szenarien mit begrenzten Datensätzen (z. B. nur Kameradaten).
• Durch die Parametrisierung dieser realistischen Szenarien können Millionen von Szenarien präzise getestet werden, wodurch die erforderliche Abdeckung sichergestellt wird.

Insgesamt tragen die mit diesen Techniken generierten qualitativ hochwertigen Szenarien dazu bei, den Bedarf an Straßentests zu reduzieren, da die meisten Regressionstests für kommende AD-Stacks und Funktionen in der Simulationsumgebung durchgeführt werden können.