Mars-DL

Ausgangssituation / Motivation

Planetare Robotermissionen enthalten visuelle Sensorik für verschiedene missionsspezifische und wissenschaftliche Aufgaben wie 2D- und 3D-Kartierung, geologische Charakterisierung, atmosphärische Untersuchungen oder Spektroskopie für die Exobiologie.

Eine wichtige Anwendung für maschinelles Sehen ist die Charakterisierung des wissenschaftlichen Kontexts und die Identifizierung von wissenschaftlichen Zielen (Regionen, Objekte, Phänomene), die für die Untersuchung durch andere wissenschaftliche Instrumente von Interesse sind. Aufgrund der hohen Variabilität des Erscheinungsbildes solcher potenziell wissenschaftlicher Ziele erfordert es gut angepasste und dennoch flexible Techniken, darunter Deep Learning.

Inhalte und Zielsetzungen

Mars-DL zielt daher auf die Anpassung und den Test von Simulationen und Deep Learning-Mechanismen zur autonomen Erkennung wissenschaftlich interessanter Ziele bei robotergestützten planetarischen Oberflächenmissionen ab.

Autonome Wissenschaft auf planetaren Oberflächen wird erst seit kurzem und im Zusammenhang mit der bevorstehenden Notwendigkeit, auf gegebene wissenschaftliche Möglichkeiten zu reagieren, diskutiert, auch angesichts begrenzter Datenaustauschressourcen und zeitlich enger Betriebszyklen.

Machine Learning und insbesondere Deep Learning ist eine Technik, die im Bereich der Bildverarbeitung eingesetzt wird, um Inhalte in Bildern zu erkennen, zu kategorisieren und Objekte mit spezifischer Semantik zu finden.

Methodische Vorgehensweise

Standard-Workflows benötigen große Mengen an Trainingsdaten mit bekannten / manuell kommentierten Objekten, Regionen oder semantischen Inhalten. Innerhalb von Mars-DL verwendet das Training verschiedene Ansätze, nämlich

• die Verwendung vorhandener Planetenbilder aus vergangenen und aktuellen Missionen einschließlich relevanter Feldkampagnen (MER, MSL, ExoFit),
• die Verwendung bekannter Ziele aus bestehenden Katalogen,
• die Verwendung von Simulationen durch virtuelle Platzierung bekannter Ziele im realen Kontext. 

Dabei notwendiges Training und Validierung werden die Optionen untersuchen, wissenschaftlich interessante Ziele über verschiedene Sensoren hinweg zu suchen, sowie die Verwendung verschiedener Cues wie 2D (multispektral / monochrom) und 3D sowie räumliche Beziehungen zwischen Bilddaten und Regionen darauf.

Für vergangene und aktuelle Missionen wird das Projekt dazu beitragen, Millionen von Oberflächenbildern zu erforschen und zu nutzen, die noch unentdeckte wissenschaftliche Gelegenheiten verbergen.

Mars-DL ist ein wichtiger Anwendungs- und Demo-Fall für Österreichs Beitrag zur internationalen wissenschaftlichen Planetenerkundung. Die Mars-DL Aktivitäten werden auf der Expertise von JR & VRVis im Bereich der planetaren Bildverarbeitung und der Bereitstellung von Datenprodukten für den wissenschaftlichen Gebrauch, dem operativen Rahmen von SLR für die Deep-Learning-basierte industrielle Inspektion und dem Hintergrund von NHM in der Planetenforschung aufbauen.

Das Sondierungs-Projekt wird die Machbarkeit einer maschinenlernbezogenen Unterstützung während und nach Missionen durch die automatische Suche nach planetarischen Oberflächenbildern untersuchen, um den wissenschaftlichen Output zu steigern, zufällige Möglichkeiten zu nutzen und die taktische und strategische Entscheidungsfindung während der Missionsplanung zu beschleunigen.

Erwartete Ergebnisse

In Prototypform wird ein automatischer "Science Target Consultant" (STC) realisiert, der als Testversion nach der Landung der Mission an den ExoMars-Betrieb angeschlossen werden kann. Während des Missionsbetriebs bevorstehender Missionen (Mars 2020, insbesondere ExoMars & Sample Fetch Rover – SFR) kann das STC vermeiden, dass Chancen ungenutzt bleiben, weil aus taktischen Zeitgründen eine eingehende Überprüfung des Bildmaterials nicht möglich war.

Falls die vorgeschlagenen Prinzipien erfolgreich demonstriert werden können, ist das Ziel einer Folgeaktivität ein funktionsfähiger Prototyp des STC, der für den ExoMars 2020 Missionsbetrieb eingesetzt wird. Terrestrische Anwendungen, hauptsächlich im geologischen Bereich, werden ebenfalls untersucht.

Projektleitung

JOANNEUM RESEARCH Forschungsgesellschaft mbH

Projektpartner:innen

• Naturhistorisches Museum Wien
• SLR Engineering GMBH
• VRVis Zentrum für Virtual Reality und Visualisierung

JOANNEUM RESEARCH Forschungsgesellschaft mbH
Dipl.-Ing. Gerhard Paar
Steyrergasse 17
A-8010 Graz