Apache NiFi

Screenshot des Web UI von Apache NiFi
Basisdaten
Maintainer Apache Software Foundation
Entwickler Apache Software Foundation, Cloudera, Hortonworks
Erscheinungsjahr 2006
Aktuelle Version 1.19.1
(7.12.2022)
Betriebssystem Cross-platform
Programmiersprache Java (Programmiersprache)
Kategorie Streamprozessor
Lizenz Apache-Lizenz 2.0
nifi.apache.org

Apache NiFi ist eine freie Software der Apache Software Foundation, die zur Automatisierung des Datenflusses zwischen Softwaresystemen dient. Es dient der Implementierung von ETL-Prozessen. Es wird für Big Data Anwendungen verwendet.

Geschichte

2006 wurde NiFi unter dem Pseudonym Niagarafiles von der National Security Agency entwickelt und im November 2014 im Rahmen des NSA Technology Transfer Program an die Apache Software Foundation übergeben und unter der Apache-Lizenz freigegeben und galt gemäß heise online 2019 als das bekannteste Open-Source-Projekt der NSA. Im Juli 2015 wurde NiFi seitens Apache zum Top-Level-Projekt erkoren. Das hauptverantwortliche Entwicklungs-Unternehmen war bis August 2015 Onyara, welches von Hortonworks aufgekauft wurde.

NiFi wurde Teil der Hortonworks DataFlow des Projekts Hortonworks Data Platform und nach der Fusion von Hortonworks mit Cloudera im Januar 2019 ebenso Teil von Cloudera. Zu den weiteren Nutzern gehören unter anderem Gaia-X mit dem Projekt Marispace-X oder Porsche mit der Datenplattform Streamzilla.

Details

Die Anwendung basiert auf einer Datenfluss-Architektur.

Die Kernkonzepte sind FlowFiles (ein Blob von 0 oder mehr Bytes mit Metadaten in Form von Key-Value-Pairs), welche den Input und Output von FlowFile Processors (die Datenstrom-Verarbeitungskomponenten) darstellen.

NiFi stellt Standard-„FlowFile Processors“ zur Verfügung, die nur noch für eine bestimmte Anwendung konfiguriert werden können.

Literatur

Sebastian Müller: Big Data Analysen. Für den schnellen Einstieg (= Bernd Ulmann [Hrsg.]: Softwaretechnik. Band 3). Hannover 2018, ISBN 978-3-11-045552-6, S. 71–107.

Einzelnachweise

  1. ↑ Adrian Bridgwater: NSA 'NiFi' Big Data Automation Project Out In The Open. Forbes, abgerufen am 15. Januar 2023 (englisch).
  2. ↑ Stefan Krempl: Ghidra: NSA will Reverse-Engineering-Werkzeug als Open Source veröffentlichen. heise online, 8. Januar 2019, abgerufen am 15. Januar 2023.
  3. ↑ Ulrich Bantle: Apache kürt NiFi zum Top-Level-Projekt. Linux Magazin, 21. Juli 2015, abgerufen am 15. Januar 2023.
  4. ↑ Alexander Neumann: Big Data: Hortonworks übernimmt Onyara. heise online, 25. August 2015, abgerufen am 15. Januar 2023.
  5. ↑ Plattform-Alternative aus Deutschland will Datensouveränität ermöglichen. Datacenter Insider, 18. Juli 2022, abgerufen am 15. Januar 2023.
  6. ↑ Werner Beutnagel: Wie Porsche dem Datenberg Herr wird. automotiveIT, 23. April 2021, abgerufen am 15. Januar 2023.
  7. ↑ Apache NiFi Overview. Abgerufen am 15. Januar 2023.
  8. ↑ Apache Nifi: What Processors are there? Abgerufen am 15. Januar 2023.
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.