Flora Incognita ist ein gemeinsames bürgerwissenschaftliches Forschungsprojekt der TU Ilmenau und des Max-Planck-Instituts für Biogeochemie für halb-automatisierte Pflanzenbestimmung durch Nutzung von Methoden maschinellen Lernens (Deep Learning).

Zur Bestimmung wird die Analyse von Daten aus verschiedenen Quellen in einen interaktiven Ablauf integriert, der durch den Prozess der Identifizierung einer unbekannten Pflanze führt. Die Smartphone-App verzeichnet mit Stand 2022 über 5 Millionen Downloads und mehr als 300.000 täglichen Bestimmungsanfragen.

Geschichte

Ein gemeinsames Forschungsvorhaben zur automatischen Pflanzenerkennung wurde bereits seit 2010 geplant. Seit August 2014 wird das Forschungsprojekt Flora Incognita als kooperatives Vorhaben zwischen der TU Ilmenau und dem Max-Planck-Institut für Biogeochemie in Jena mit Unterstützung des Bundesministeriums für Bildung und Forschung (BMBF), des Bundesamts für Naturschutz (BfN) und der Stiftung Naturschutz Thüringen vorangetrieben. Ein interdisziplinäres Team, bestehend aus Biologen, Informatikern, Physikern und Medientechnikern, arbeitet gemeinschaftlich an der Verwirklichung der definierten Projektziele.

Die Entstehung von Flora Incognita ist eng mit dem globalen Biodiversitätsverlust und der dringenden Notwendigkeit des Monitoring der Biodiversität verknüpft. Der Rückgang der Artenvielfalt hat weitreichende Auswirkungen auf die Stabilität und Funktionen der Ökosysteme. Pflanzen, als Grundlage der terrestrischen Nahrungsnetze, spielen dabei eine Schlüsselrolle. Veränderungen in der Pflanzenzusammensetzung beeinflussen nicht nur einzelne Arten, sondern haben kaskadenartige Effekte auf das gesamte Ökosystem. Das Aussterben lokaler Arten oder das Einwandern neuer Arten kann eine Kettenreaktion auslösen, die sich auf die gesamte Biodiversität auswirkt. Daher wurde das Monitoring der pflanzlichen Biodiversität zu einer zentralen Forderung im Artenschutz.

Die Umsetzung von effektivem Naturschutz stieß jedoch auf Herausforderungen:

• Der Bedarf an detaillierten und zeitlich präzisen Erhebungen des Naturzustands nahm zu, erforderte aber gleichzeitig neue Ansätze zur Datenerfassung und -auswertung.
• Das Wissen über Arten ging in der Bevölkerung zurück, was die Datenerhebung über Natur und Landschaften erschwerte.
• Ein Mangel an Fachleuten verschärfte die Lage, da es immer weniger Spezialisten gab, die Daten über die Natur erheben konnten.

In dieser sich wandelnden Landschaft erwies sich der Einsatz künstlicher Intelligenz (KI) in Kombination mit Bürgerwissenschaften (Citizen Science) als Lösung.

Flora Capture ist der Vorgänger von Flora Incognita, worüber heimische Wildpflanzen aus verschiedenen Blickwinkeln aufgenommen werden und die hochgeladenen Beobachtungen von Botanikern des Forschungsprojekts bestimmt werden konnten. Flora Incognita war ein 2014–2020 aktives Forschungsvorhaben zur Umsetzung der nationalen Strategie zur biologischen Vielfalt, das 2019 in Flora Incognita ++ überging.

Funktionsweise der App

Nutzer nehmen mit ihrem Smartphone ein Foto der zu erfassenden Pflanze auf (oder wählen ein bereits vorhandenes Foto aus), welches sodann hochgeladen und durch KI-gestützte Mustererkennung (anhand eines neuronalen Netzwerks) mit einer umfangreichen Datenbank verglichen und klassifiziert wird. Hierbei kommt eine maschinell optimierte Netzwerkstruktur zum Einsatz, die 88,9 Millionen Parameter umfasst. Diese Struktur wurde 2017 durch Deep Learning auf Basis eines umfangreichen Datensatzes von etwa 780.000 Pflanzenbildern trainiert. Diese setzte sich zusammen aus geprüften Bildern mit Creative-Commons-Lizenzen, von Botanikern und Experten der heimischen Flora zur Verfügung gestellten Bildsammlungen sowie Bilder aus der App Flora Capture, dem Vorläufer von Flora Incognita. Um die Herausforderung der ungleichen Verteilung von Bildern über verschiedene Pflanzenarten hinweg zu bewältigen, werden während des Trainings taxonomische Informationen auf höheren Ebenen wie Gattungen und Familien einer Pflanzenart einbezogen.

In weit über 90 Prozent der Fälle wird die Pflanzenart bereits mit dem ersten Foto erkannt. Um eine präzisere Bestimmung zu ermöglichen, können auch mehrere Fotos eingereicht werden. Dabei kann auch eine bestimmte Wuchsform (Baum, Kraut, Gras, Farn, Sukkulente oder sonstiges) vorausgewählt werden, um die Bestimmung zu erleichtern. Als Ergebnis werden unter Angabe der Wahrscheinlichkeit der korrekten Bestimmung weitere Fotos und Informationen zur Pflanze angezeigt.

Nutzer können in der App ihre bisherigen Beobachtungen einsehen und Abzeichen sammeln. Die Registrierung oder Übermittlung von Standortinformationen ist für die Nutzung der App optional. Sie ist kosten- und werbefrei. 2023 wurde Flora Incognita durch eine neue künstliche Intelligenz aufgewertet und um weitere Datengrundlagen von der Hochschule Geisenheim und der Hochschule für Technik und Wirtschaft Dresden erweitert; sie funktioniert seitdem zudem auch offline. Erkannt werden weltweit rund 16.000 Pflanzenarten; zuvor waren es rund 5.000 europäische Arten.

Darüber hinaus können kostenlos weitere Zusatzfunktionen hinzugefügt werden, so bspw. Hintergrundinformationen zur Flora im Zechenpark Kamp-Lintfort, Hilfestellungen zur Versorgung von Gartenpflanzen oder Einbindungen von Texten und Abbildungen aus dem Pflanzenbestimmungsbuch Was blüht denn da? in der jeweils aktuellen Auflage. Über Zusatzfunktionen können auch Beobachtungen geteilt werden, etwa mit der Senckenberg Gesellschaft für Naturforschung im Rahmen der Kooperation #Krautschau. Diese zusätzlichen Funktionen lassen sich nach Belieben de- und reaktivieren.

Wissenschaftliche Nutzung

Die meisten Nutzer erfassen oft Pflanzen während auffälliger Phasen wie voller Blüte oder Fruchtreife. Diese phänologischen Phasen sind eng mit klimatischen Bedingungen verbunden und können im Laufe der Zeit Veränderungen aufzeigen. Die kontinuierliche Nutzung der App über mehrere Jahre ermöglicht einen Langzeitvergleich von Beobachtungsdaten mit Klimaveränderungen. Diese Daten liefern wertvolle Erkenntnisse über Verschiebungen von Blütezeiträumen und helfen dabei, die Auswirkungen des Klimawandels auf biologische Systeme besser zu verstehen.

Die gesammelten Daten eröffnen auch Möglichkeiten für das Monitoring der Ausbreitung invasiver Pflanzenarten. Diese Arten bedrohen oft die heimische biologische Vielfalt und erfordern teure Kontroll- und Bekämpfungsmaßnahmen. Die App kann hierbei eine Rolle spielen, indem sie hochauflösende und aktuelle Daten über das Vorkommen liefert. Diese Daten können von Naturschutzbehörden verwendet werden, um entsprechende Gegenmaßnahmen einzuleiten. Zusätzlich ermöglicht Flora Incognita Organisationen, eigene Citizen-Science-Projekte zur Erforschung der biologischen Vielfalt in städtischen und landwirtschaftlichen Gebieten zu initiieren.

Im Rahmen des Forschungsprojekts Flora Incognita ++ werden mithilfe der Daten aus der App Flora Incognita zahlreiche zusätzliche Fragestellungen erforscht. So wird etwa untersucht, zu welchem Zeitpunkt bestimmte Arten blühen, wie groß die Variationen in den Eigenschaften einer Pflanzenart sind und welche Verbindungen zwischen diesen Aspekten, dem Klimawandel und der Art der Landnutzung bestehen.

Finanzierung

Flora Incognita wurde von 2014 bis 2020 durch das Bundesministerium für Bildung und Forschung (BMBF) und von 2014 bis 2019 durch das Bundesamt für Naturschutz (BfN) mit Mitteln des Bundesministeriums für Umwelt, Naturschutz und nukleare Sicherheit (BMUV) sowie durch das Thüringer Ministerium für Umwelt, Energie und Naturschutz (TMUEN) die Stiftung Naturschutz Thüringen finanziert. Seit 2019 wird das Anschlussvorhaben Flora Incognita ++ entsprechend gefördert.

• 2011–2017: Das Bundesministerium für Bildung und Forschung und das Bundesamt für Naturschutz haben im Rahmen der nationalen Strategie der biologischen Vielfalt eine gemeinsame Förderung ausgeschrieben mit einer Laufzeit von sechs Jahren und einem Fördervolumen in Höhe von 1,5 Millionen Euro ausgeschrieben mit der Vorgabe, Theorie und Praxis miteinander zu verbinden und eine Citizen-Science-Komponente umzusetzen.
• 2019 erhielt die TU Ilmenau für Flora Incognita von der Stiftung Naturschutz Thüringen Zuwendungen in Höhe von rund 5.000 Euro (Gesamtzuwendung: 45.000 Euro).
• Für 2021 wurde vom Thüringer Ministerium für Umwelt, Energie und Naturschutz eine Förderung in Höhe von 74.000 Euro aus Landesmitteln angesetzt.
• 2020 wurde aus Mitteln des Bundesministeriums für Bildung und Forschung unter anderem Hardware nachgerüstet, um die hohe Anzahl an Bestimmungen auf den Servern verarbeiten zu können.
• Bis 2024 fördert das Bundesumweltministerium (BMUV) die Weiterentwicklung von Flora Incognita mit 2,38 Millionen Euro im Bundesprogramm Biologische Vielfalt; das Bundesamt für Naturschutz begleitet das Projekt inhaltlich.

Datenschutz

Bei Nutzung des Bestimmungsservices der App werden die aufgenommenen Bilder, Angaben zur Beobachtung sowie der Benutzername (bei Übertragung als registrierter Nutzer) oder eine zufällig generierte Nutzerkennung (bei Übertragung als Gast) sowie Standortdaten (nur nach Einwilligung) erhoben. Die Daten werden auf dem Projektserver auf dem Campus der TU Ilmenau in Deutschland gespeichert; die Verbindung zum Benutzerkonto wird verschlüsselt. Eine Weitergabe personenbezogener Daten an Dritte erfolgt nur nach ausdrücklichem Hinweis und Erteilung einer Einwilligung. Sämtliche Datenerhebung und -verwendung erfolgt zu dem Zweck, einen wissenschaftlichen Beitrag zum Verbundprojekt Flora Incognita zu leisten.

Auszeichnungen

• Offizielles Projekt der UN-Dekade Biologische Vielfalt
• Thüringer Forschungspreis für angewandte Forschung 2020
• Thüringer Umweltpreis 2019 (Anerkennungspreis)
• Kindersoftwarepreis TOMMI 2019 (Nominierung)

Publikationen

2022

• Wäldchen, J., Wittich, H. C., Rzanny, M., Fritz, A., & Mäder, P. (2022). Towards more effective identification keys: A study of people identifying plant species characters. People and Nature. doi:10.1002/pan3.10405
• van Klink, R., August, T., Bas, Y., Bodesheim, P., Bonn, A., Fossøy, F., …Wäldchen, J. .. & Bowler, D. E. (2022). Emerging technologies revolutionise insect ecology and monitoring. Trends in Ecology & Evolution.
• Katal, N., Rzanny, M., Mäder, P., & Wäldchen, J. (2022). Deep learning in plant phenological research: A systematic literature review. Frontiers in Plant Science, 13. doi:10.3389/fpls.2022.805738
• Rzanny M, Wittich HC, Mäder P, Deggelmann A, Boho D & Wäldchen J (2022) Image-Based Automated Recognition of 31 Poaceae Species: The Most Relevant Perspectives. Front. Plant Sci. 12:804140. doi:10.3389/fpls.2021.804140

2021

• Pärtel, J., Pärtel, M., & Wäldchen, J. (2021). Plant image identification application demonstrates high accuracy in Northern Europe. AoB PLANTS. Volume 13, Issue 4. doi:10.1093/aobpla/plab050
• Mäder, P., Boho, D., Rzanny, M., Seeland, M., Wittich, H. C., Deggelmann, A., & Wäldchen, J. (2021). The flora incognita app–interactive plant species identification. Methods in Ecology and Evolution. 12: 1335– 1342. doi:10.1111/2041-210X.13611
• Mahecha, M. D., Rzanny, M., Kraemer, G., Mäder, P., Seeland, M., & Wäldchen, J. (2021). Crowd‐sourced plant occurrence data provide a reliable description of macroecological gradients. Ecography. doi:10.1111/ecog.05492
• Seeland, M. & Mäder, P. (2021). „Multi-view classification with convolutional neural networks.“ Plos one 16.1: e0245230.

2020

• Boho, D., Rzanny, M., Wäldchen, J., Nitsche, F., Deggelmann, A., Wittich, H. C., Seeland, M., & Mäder, P. (2020). Flora Capture: a citizen science application for collecting structured plant observations. BMC bioinformatics, 21(1), 1-11. doi:10.1186/s12859-020-03920-9

2019

• Rzanny, M., Mäder, P., Deggelmann, A., Chen, M., & Wäldchen, J. (2019). Flowers, leaves or both? How to obtain suitable images for automated plant identification. Plant methods, 15(1), 77. doi:10.1186/s13007-019-0462-4
• Wäldchen, J. and Mäder, P. (2019). Flora Incognita – how artificial intelligence revolutionizes plant identification. Biol. Unserer Zeit, 49: 99-101 doi:10.1002/biuz.201970211
• Seeland, M., Rzanny, M., Boho, D., Wäldchen, J. & Mäder, P. (2019). Image-based classification of plant genus and family for trained and untrained plant species. BMC Bioinformatics 20:4 doi:10.1186/s12859-018-2474-x
• Wäldchen J. & Mäder P. (2018) Machine learning for image based species identification. Methods in Ecology and Evolution 2018;00:1–10. doi:10.1111/2041-210X.13075

2018

• Wittich, H. C., Seeland, M., Wäldchen, J., Rzanny, M. & Mäder, P. (2018). Recommending plant taxa for supporting on-site species identification. BMC Bioinformatics. 19(190). doi:10.1186/s12859-018-2201-7
• Hofmann, M., Seeland, M., Mäder, P., (2018). Efficiently Annotating Object Images with Absolute Size Information Using Mobile Devices. International Journal of Computer Vision: 1-18. doi:10.1007/s11263-018-1093-3
• Wäldchen, J., Rzanny, M., Seeland, M. & Mäder, P. (2018). Automated plant species identification – Trends and future directions. PLoS Computational Biology 14 (4). doi:10.1371/journal.pcbi.1005993

2017

• Rzanny, M., Seeland, M., Wäldchen, J., & Mäder, P. (2017). Acquiring and preprocessing leaf images for automated plant identification: understanding the tradeoff between effort and information gain. Plant Methods, 13(1), 97. doi:10.1186/s13007-017-0245-8
• Seeland, M., Boho, D., Rzanny, M., Hofmann, M., Alaqraa, N., Wäldchen, J., Mäder, P. (2017): Flora Incognita – Bilder für das Trainieren neuronaler Netzwerke gesucht. Landschaftspflege und Naturschutz in Thüringen 54 (2): 85-86
• Seeland, M., Rzanny, M., Alaqraa, N., Wäldchen, J. & Mäder, P. (2017): Plant species classification using flower images—A comparative study of local feature representations. PLoS ONE 12(2): e0170629. doi:10.1371/journal.pone.0170629
• Wäldchen, J. & Mäder, P. (2017): Plant Species Identification Using Computer Vision Techniques: A Systematic Literature Review. Archives of Computational Methods in Engineering. doi:10.1007/s11831-016-9206-z

2016

• Wäldchen, J., Thuille, A., Seelnad, M., Rzanny, M., Schulze, E.-D., Boho, D., Alaqraa, N., Hofmann, M. & Mäder, P. (2016): Flora Incognita – Halbautomatische Bestimmung der Pflanzenarten Thüringens mit dem Smartphone. Landschaftspflege und Naturschutz in Thüringen 53 (3): 121–125
• Seeland, M., Rzanny, M., Alaqraa, N., Thuille, A., Boho, D., Wäldchen, J. & Mäder, P. (2016): Description of Flower Colors for Image based Plant Species Classification. in: Proc. 22nd German Color Workshop (FWS), Ilmenau, Germany, pp. 145-1154, 2016, ISBN 978-3-00-053918-3, Eds. K.-H. Franke, R. Nestler

Weblinks

• Gemeinsame Projektseite
• Projektseite der TU Ilmenau
• Projektseite des Max-Planck-Instituts für Biogeochemie

Einzelnachweise