4-D-Ansatz

Eine der größten Herausforderungen beim autonomen Fahren mit hoher Geschwindigkeit liegt in den schnell wechselnden Ansichten von Straßenszenen. Zur Zeit von Dickmanns' Versuchen waren Computer viel langsamer als heute; deshalb waren ausgefeilte Strategien zum Rechnersehen notwendig, um in Echtzeit reagieren zu können. Dickmanns' Team löste das Problem mit einem innovativen Ansatz zum dynamischen maschinellen Sehen. Dabei wurden von Anfang an spatiotemporale (das heißt: raum-zeitliche) Modelle verwendet, ein sogenannter 4-D-Ansatz. Dabei mussten vorangehende Bilder nicht unbedingt gespeichert werden, aber es konnten trotzdem Abschätzungen für alle dreidimensionalen Positions- und Geschwindigkeitskomponenten gewonnen werden. Eine Aufmerksamkeitssteuerung mit künstlichen sakkadischen Bewegungen der Kameraplattform erlaubte dem System, seine Aufmerksamkeit auf die wichtigsten Details einer Szene zu lenken. Kalman-Filter wurden auf die Bearbeitung von perspektivischen Bildfolgen erweitert und dienten dazu, ein stabiles autonomes Fahren sogar in Gegenwart von Rauschen und Unsicherheit zu ermöglichen.

EUREKA-Programm

In den Jahren 1986/1987 startete die Europäische Forschungsförderungsorganisation EUREKA auf Anregung der europäischen Autoindustrie das Projekt PROgraMme for a European Traffic of Highest Efficiency and Unprecedented Safety (Prometheus), in dem mehrere hundert Millionen Euro investiert wurden. Der ursprüngliche Plan einer Seitenführung durch eingegrabene Kabel wurde schnell aufgegeben und durch den viel flexibleren Ansatz des maschinellen Sehens ersetzt, ermutigt durch Dickmanns' Erfolge. Die meisten größeren Automobilhersteller nahmen an dem Programm teil, Dickmanns und sein Team in Zusammenarbeit mit der Daimler-Benz AG. In den folgenden sieben Jahren wurden wesentliche Fortschritte erzielt: Dickmanns' Roboterfahrzeuge lernten, sich im Verkehr unter verschiedenen Bedingungen zu bewegen. Ein begleitender menschlicher Fahrer mit einem „roten Knopf“ garantierte, dass das Fahrzeug nicht außer Kontrolle geraten und eine Gefahr für die Öffentlichkeit werden konnte. Von 1992 an war das Fahren im öffentlichen Straßenverkehr der Normalfall. Mehrere Dutzend Transputer bewältigten die für die damalige Zeit enormen Mengen von Berechnungen.

PROMETHEUS-Projekt

Zwei Höhepunkte wurden 1994/1995 erreicht, als Dickmanns' umgebaute Mercedes-Benz-S-Klasse-Fahrzeuge internationale Vorführungen absolvierten. Der erste davon war die Abschlusspräsentation des PROMETHEUS-Projekts im Oktober 1994 auf der Autoroute 1 in der Nähe des Flughafens Paris-Charles de Gaulle. Die beiden Fahrzeuge VITA-2 von Daimler-Benz und VaMP („VaMoRs Passenger Car“ = Versuchsfahrzeug für autonome Mobilität und Rechnersehen) der UniBW München fuhren im normal starken Verkehr auf der dreispurigen Autobahn mehr als tausend Kilometer mit Geschwindigkeiten bis zu 130 km/h. Vorgeführt wurden dabei das Fahren auf freien Spuren, Konvoifahren mit einem von der Geschwindigkeit abhängigen Sicherheitsabstand und Spurwechsel nach links und rechts mit automatischem Überholen. Für die Überholvorgänge war es nötig, auch die hintere Hemisphäre zu interpretieren. Für diese Vorführung wurden pro Hemisphäre zwei Kameras mit verschiedenen Brennweiten eingesetzt.

Der zweite Höhepunkt bestand im Herbst 1995 in einer 1758 km langen Reise von München nach Odense in Dänemark zu einem Projekttreffen und zurück. Sowohl die longitudinale als auch die laterale Steuerung wurde dabei autonom durch Rechnersehen ausgeübt. Auf der Autobahn erreichte das Roboterfahrzeug dabei Geschwindigkeiten über 175 km/h. Publikationen aus Dickmanns' Forschungsgruppe geben eine autonome Fahrstrecke ohne Eingriffe von durchschnittlich 9 km an; die längste autonom gefahrene Teilstrecke betrug 158 km. Mehr als die Hälfte der Eingriffe (resets) wurden autonom ohne menschliches Zutun durchgeführt. Dies ist vor allem deswegen bemerkenswert, weil das System nur Schwarz-Weiß-Kameras verwendete und deshalb keine Situationen modellieren konnte, wo gelbe Straßenmarkierungen an Baustellen Vorrang gegenüber den weißen Linien haben. Bei diesen Fahrten wurden 95 % der Strecke rein autonom abgefahren.

In den Jahren 1994 bis 2004 wurde das ältere VaMoRs-Fahrzeug noch dazu benutzt, um die Fähigkeiten des Fahrens auf Netzwerken kleinerer Straßen (inklusive unbefestigter) sowie im Gelände zu entwickeln, wobei auch Hindernisse wie etwa Schlaglöcher vermieden werden mussten. Das Abbiegen auf Kreuzungen unbekannter Breite und verschiedener Kreuzungswinkel stellte sich als große Herausforderung dar, aber es wurde schließlich mit Hilfe des „Erwartungs-basierten, Multifokalen, Sakkadischen“ Sehens („Expectation-based, Multi-focal, Saccadic vision“, EMS-vision) bewältigt. Dieser von den Wirbeltieren abgeleitete Sehmechanismus verwendet Animationsfähigkeiten auf der Basis bekannter Kategorien bewegter Gegenstände (inklusive des autonomen Fahrzeugs selbst) und ihres möglichen Verhaltens in bestimmten Situationen. Dieser reiche Erfahrungsschatz wurde zur Steuerung der Blickrichtung und der Aufmerksamkeit verwendet.

Luftfahrt

Der 4-D-Ansatz wurde außer in erdgebundenen Fahrzeugen auch für das dynamische Sehen unbemannter Luftfahrzeuge (Flugzeuge und Hubschrauber) erprobt. Autonome Sicht-Landanflüge und Sichtlandungen wurden in hardware-in-the-loop-Simulationen mit einer Sensorfusion aus Sicht- und Trägheitsdaten vorgeführt. Reale Landeanflüge bis kurz vor dem Aufsetzen konnten 1992 mit einem Zweipropeller-Flugzeug Do-128 der Universität Braunschweig am dortigen Flughafen demonstriert werden.

Ein anderer Erfolg von Dickmanns' Ansatz zum maschinellen Sehen war das erste erfolgreiche sichtgesteuerte Experiment zum Einfangen eines freischwebenden Objekts in Schwerelosigkeit, das 1993 an Bord der Raumfähre Columbia im Rahmen der D-2 Spacelab-Mission als Teil des 'Rotex'-Experiments des DLR durchgeführt wurde.