Release Notes

In diesem Dokument werden Highlights, wichtige Fixes sowie notwendige Migrationsschritte der Versionen aufgeführt.

IGUASU 4.0

Releasedatum: 01.12.2025

Highlights

  • 🆕 Public Release des Rio AI Assistenten

    • Rio kennt sich mit IGUASU aus und antwortet auf Fragen zu dem Produkt oder der Umsetzung von Lösungen. Die Antworten enthalten konkrete Quellenlinks in die Dokumentation.

    • Beispiele dafür wären "Wie kann ich eine Prozessgruppe versionieren?" oder "Wie kann ich ein JSON aufteilen und dann diese Teile an einen REST-Service senden?"

  • 🆕 Generierung von Flows durch Rio

    • Rio generiert aus der Beschreibung eines Szenarios komplette Flows

    • Ein einfaches Beispiel dafür wäre "Erstelle einen REST-Endpunkt, der 'Hallo Welt' zurückliefert". Innerhalb dieser Beschreibung können Konfigurationen oder auch Wünsche zu Mappings etwa von einem JSON in ein anderes integriert werden.

  • 🆕 Neue AI-Processors in den Flows

    • PromptVertexAI - Nutzung von Vertex AI, um über die vielen dort bereitgestellten LLMs Anfragen zu verarbeiten

    • CreateVertexAIEmbeddings - Nutzung von Vertex AI um Text-Embeddings für Texte über die bereitgestellten Embedding Modelle zu erstellen

    • SearchQdrant/UpsertQdrant - Interaktion mit der Vector-Datenbank Qdrant für die Umsetzung von RAG Lösungen

    • ListenLLMTool/RespondLLMTool – Bereitstellung von Tools für LLMs, die über PromptVertexAI aufgerufen werden

  • 🆕 Neues Security Cockpit

    • Ampelstatus zu den sicherheitsrelevanten Konfigurationen des Systems direkt im Header

    • Basierend auf Flow Analysis Rules und der Aktualität des Systems (anstehende Updates)

    • Mit zusätzlichen Regeln einfach erweiterbar

  • 🆕 Beim Importieren eines bereits vorhandenen Parameter Context vergleicht ein neuer Dialog die Parameter im vorhandenen/importierten Parameter Contexts und lässt den Benutzer entscheiden, welche Parameter übernommen werden sollen

  • 🆕 Übersicht aller versionierten Flows bei den Process Groups des Monitorings. Dies ist eine Erweiterung der bisherigen Sicht und bringt Filtermöglichkeiten über den Status der Versionierung, die Registry, den Branch, das Bucket sowie Namen und Beschreibung

  • 🆕 Das Endpunkt-Management erlaubt Bulk-Operationen. Es können mehrere Endpunkte bearbeitet, gelöscht oder angelegt werden – die Änderungen werden dann zusammen durchgeführt

  • 🆕 Die Systeminformationen enthalten jetzt neben den zur Verfügung stehenden Processors und Services auch die Management-Services, Reporting-Tasks und Flow-Analysis-Rules. Für alle diese Komponenten kann man sich anzeigen lassen, welche auf dem aktuellen System wie oft verwendet sind.

  • 🆕 Die Metro-Prozessoren wurden mit besonderem Fokus auf Durchsatz und geringer Latenz reimplementiert

    • Aus den Provenance-Events kann jetzt in beide Richtungen zu der dazugehörigen Ausführungslinie bzw. dem Ausführungsevent gesprungen werden

  • 🆕 Hat man Prozessoren in verschiedenen Versionen (z. B. über entsprechend hochgeladene NARs), kann man die Versionen einzelner Processors oder auch ganzer Process Groups auf die neue bzw. alte Version setzen.

    • Dies kann insbesondere dafür verwendet werden auf einem Entwicklungssystem neue Versionen zu testen, während man noch die Möglichkeit hat an anderen Flows mit der alten Version für das Produktiv-System weiterzuentwickeln

  • 🆕 Die Zertifikatsverwaltung unterstützt jetzt auch PEM Files

  • Kleinere UI Verbesserungen

    • Im Bearbeitungsmodus der Flows steht jetzt ein visuelles Grid zur Verfügung

    • Die Shortcuts in IGUASU im Allgemeinen sowie in der Text-Editor-Komponente wurden überarbeitet und vereinfacht - grundsätzlich mit Control (Windows/Linux) oder Command (Mac) und einer weiteren Taste

    • Die Vorschau der Expression Language Auswertungen der Properties kann jetzt einfach in das Clipboard überführt werden

    • Die Metriken an Processor/Process-Group werden auch bei großen Werten mit passendem Layout und Angaben in Tausendern (K) gerendert

    • Rendering und Umbrüche der Namen der Elemente in den Diagrammen verbessert

    • Weitere Einstellungsoptionen werden pro User gemerkt, wie die Ansicht der Attribute als Tabelle oder Tags

    • Parameter können an Properties jetzt noch bequemer auch per Tastatur gesetzt sowie entweder komplett gesetzt oder an der Stelle des Cursors eingesetzt werden

    • Die Ansicht lokaler Änderungen ist noch übersichtlicher und lange Texte können selektiv umgebrochen werden

    • In der Provenance-Ansicht im Monitoring ist die Filterung nach den Events verbessert

    • Wird auf den Tab von IGUASU gewechselt, wird die Ansicht des Diagramms aktualisiert

    • Die letzte Suche wird sich gemerkt

    • Die Ansicht der Zertifikate, Treiber und Custom NARs unterstützt Filter

    • Beim Wechsel von Versionen werden die Pfade zu den Process Groups (insbesondere der anderen Instanzen) angezeigt

    • Die Welcome-Tour wurde aktualisiert

    • Im Diagram kann man mit der Tastatur jetzt zwei Rasterschritte, einen Rasterschritt oder ein Pixel weit verschieben

    • Die Einstellungen des Retries an Processors sind abhängig von den Einstellungen an den Relationen und somit auch oft kompakter

Breaking Changes & Migration

  • MergeMetro wurde entfernt; die Funktionalität kann über MergeContent mit mehr Optionen und flexibler erreicht werden

  • Die Defaults der Metro Prozessoren in Bezug auf Run Duration und Penalty Duration haben sich teilweise verändert. Hier kann eine Prüfung der neuen Defaults für bestehende Prozessoren sinnvoll sein.

IGUASU 3.7

Releasedatum: 01.10.2025

Highlights

  • 🆕 Neuer UploadTestFile Prozessor: Flows können mit einer Datei, welche man am Prozessor hochlädt, direkt gestartet werden. Das mach den Test und die Entwicklung von Flows noch einfacher.

  • PutMetro erlaubt das setzen einer "Run Duration" und gibt die über Dynamic Properties gesetzten Attribute auch auf den Ausgang. Dies erlaubt die Nutzung für z.B. Logging - auch unter stärkerer Last.

  • Attribute im Data Panel: Es wird klarer angezeigt welche Attribute aus dem Input kamen, welche hinzugefügt und welche verändert wurden. Das Kopieren und Speichern von Daten unterscheided konsequent nach Input und Output.

  • ArrivalGate Verbesserungen:

    • Es kann eine "Run Duration" gesetzt werden, um unter hoher Last mehr FlowFiles zu verarbeiten

    • Die Ausgänge aus Process Groups, Input Ports und Funnels werden deutlicher angezeigt und die Relationen sind entsprechend sichtbar/unsichtbar

  • Beim Erstellen einer neuen Process Group aus der Registry kann über die Flows gefiltert werden

  • 🆕 Nicht versionierte Process Groups können jetzt auf eine schon versionierte Prozessgruppe gesetzt werden. Wenn diese Process Group zuvor schon einmal aus dieser Versionierung kam, werden Referenzen bestehender Komponenten korrekt verwendet, ansonsten sind alles lokale Änderungen.

  • Git basierte Repositories unterstützen neue Strategien zur Speicherung von Parametern

  • Parameter Context Verbesserungen:

    • Parameter des Parent Context können ausgeblendet werden

    • Es wird deutlich, wenn Parameter überschrieben werden und die überschriebenen Werte können leicht entfernt werden

  • Kleinere Erweiterungen in der UI

    • Die Präferenz für die Anzeige in der Editor-Komponente - also ob JSON/XML als Baum oder als Text angezeigt werden soll - wird sich nun gemerkt

    • Anwender können sich für jede Instanz ein unterschiedliches Favicon (Icon im Browser-Tab) setzen - damit kann leichter zwischen verschiedenen IGUASU Instanzen unterscheiden werden

    • Die Editor-Komponente erlaubt es an allen Stellen den Editor zu maximieren, um längere Texte komfortabel bearbeiten zu können

    • Alle Icons des Produktes sind nun in einem konsistenten Stil gehalten

    • Das Layout des Commit-Dialoges wurde verbessert und für die Git-basierten Repositories optimiert

    • Auch aus sensitiven Properties kann ein Parameter erstellt werden (dann ist nur der Name gesetzt)

    • Deprecated Processors werden jetzt schon im Auswahldialog und auch in den Einstellungen entsprechend markiert

    • Versionierungs-Anzeige: Die Ansicht der Registry wird sich gemerkt; überlange Commit-Messages werden gekürzt dargestellt

    • Wenn die Services WARN/ERROR Meldungen haben, wird dies auch direkt an den Services farblich dargestellt

    • Aus dem JSON-Baum kann der Knoten in den JSONata Editor gezogen werden, um den absoluten JSONata Pfad zu erhalten; aus dem XML-Baum kann der Knoten in den XSLT Editor gezogen werden, um den absoluten XPath zu erhalten

  • Neue Metriken für die Processors in der Status History (z.B. zur CPU Nutzung)

  • BPC 5 wird unterstützt

  • Neue JSONata Funktion zum Lesen aller Attribute (um z.B. über diese zu iterieren): $nfGetAttributes()

  • ListenWebSocket kann die HTTP-Request-Header des Verbindungsaufbaus als Attribute in den Flow geben

  • ExecuteGroovyScript unterstützt jetzt auch sensitive Dynamic Properties

  • Der ExcelReader unterstützt jetzt Binary XLS

  • Die Kafka Prozessoren unterstützen jetzt SASL/OAUTHBEARER

  • Refactored SFTP Processors von SSHJ zu Apache MINA SSHD

Cloud

  • Vorinstallierte Parameter Kontexte zur Nutzung der IGUASU NiFi REST API

  • Die Begrenzungen für die Dateigrößen in den Editoren - z.B. im Input/Output Panel oder den Queues wurden erhöht - es werden also größere Dateien komplett angezeigt

Fixes

  • Die Git-basierte Registry unterstützt jetzt Paging - vorher konnte man nur die ersten 10 Flows sehen

Breaking Changes

  • Das Format der Heruntergeladenen ZIPs aus dem Data Panel hat sich geändert

Bekannte Probleme

  • Invalide Processor, die versuchen zu starten, sind nicht einzeln stoppbar. Workaround: Komplette Process Group stoppen.

IGUASU 3.6

Releasedatum: 07.07.2025

Highlights

  • 🆕 Versionierung: Operationen auf alle verwendeten Instanzen

    • Beim Commit einer Version, sowie beim Versionswechsel wird geschaut, wo dieser Flow auf dem System noch instanziiert ist. Diese Flows können dann ebenfalls auf die gewünschte Version gesetzt werden

  • 🆕 Bulk Replay

    • In der Provenance des Monitorings hat man jetzt die Möglichkeit eine beliebige Anzahl von Prozessor-Events erneut ausführen zu lassen (dies ging bisher nur direkt an einem Event in der Provenance, die direkt am Prozessor angezeigt wird)

    • Es kann gefiltert und/oder direkt ausgewählt werden

    • Die Events können einzeln oder alle auf einmal ausgeführt werden

  • 🆕 Verlinkte Metro-Ausführungen

    • Aus den Ausführungsevents eines GetMetro, ExitMetro oder MergeMetro kann zu dem entsprechenden Event des zugehörigen PutMetro gesprungen werden. Dadurch ist es möglich die Ausführungen auch über die Nutzung der Metro hinweg zu verfolgen

  • Wenn man über den Link an einem Bulletin zum Prozessor springt, wird die zugehörige Ausführung mit den Provenance Daten angezeigt, falls alle notwendigen Informationen im Bulletin vorhanden sind

  • Der AI Assistent kann jetzt auch länger "nachdenken", um komplexere Aufgaben zu lösen

  • Die Endpunkte im Management sind jetzt komplett mit allen Feldern editierbar

  • Die UI der Versionierung wurde auf die Nutzung von BitBucket hin optimiert (bezüglich teilweise wesentlich länger dauernder Requests)

  • Kleinere Änderungen in der UI

    • Die Updates von IGUASU sind jetzt sowohl in der Auswahlbox als auch in der Historie mit den neuesten oben sortiert

    • Zusätzliche Details und Use Cases aus den Prozessoren verlinken jetzt immer in die allgemeine Dokumentation

    • In den ArrivalGate Settings kann sortiert werden und die Links sind deutlicher

    • Attribute in der Anzeige der Ausführungsdaten werden nun konkret in eingehende und veränderte/gelöschte Attribute unterschieden

    • An den Prozessoren, die Beschränkungen haben wird sowohl im Diagramm als auch in den Settings ein entsprechendes Icon angezeigt

    • Leicht überarbeitetes Theme in light und dark

  • Die WebSocket Prozessoren erlauben jetzt das Setzen eines Idle-Timeouts, sowie eines Pings auf der Serverseite als auch das Schließen von Sessions über PutWebSocket

Fixes

  • MergeMetro hatte keine Ausgangs-Relationen

  • JSONataTransformJSON hat keine Syntaxfehler mehr angezeigt

  • Die Debug/Test-Ausführung des JSONataTransformJSON schlug unter bestimmten Bedingungen fehl

IGUASU 3.5

Releasedatum: 21.05.2025

Highlights

  • 🆕 Es gibt einen neuen 'Dark Theme' - damit kann zwischen light, dark und der System/Browser-Einstellung gewählt werden

  • 🆕 Bitbucket Repositories können als IGUASU-Registries verwendet werden

  • 🆕 Neue Flow Analysis Rules

    • PropertyNeedsParameter - erzwingt das Nutzen von Parametern an definierten Properties. In Staging-Szenarien können damit Fehler verhindert werden, die entstehen können, wenn vergessen wird die Konfiguration über Parameter Kontexte für die verschiedenen Stages vorzunehmen

    • RestrictBackpressureSettings - verhindert ungewollte Backpressure-Settings die nicht zum gewünschten Systemverhalten passen

  • 🆕 Ausführungs-Sequenzen aus Queue heraus öffnen - Ausgehend von einem FlowFile in einer Queue kann man sich die Provenance über das Diagramm hinweg ansehen. Öffnen man eine Queue zu einer aktiven Ausführungs-Sequenz, werden die zugehörigen FlowFiles markiert

  • FetchBPCProcessLog und DeleteBPCProcesslog unterstützen jetzt auch komplexe Queries

  • Verbesserungen bei Statusänderungen

    • Disable/Enable aller Services in Prozess-Gruppen ist jetzt aufgeräumter und schneller

    • Wenn Gruppen mit Untergruppen verändert werden, wird jetzt nachgefragt und es kann ausgesucht werden, ob auch die Untergruppen mit angepasst werden sollen

  • Die Erfassung einer größeren Anzahl von Parametern ist jetzt leichter und schneller möglich

  • Die Reihenfolge/der Prioritizer der Queue wird direkt an der Queue dargestellt

  • Die lokale/test-Ausführung ist jetzt für Admins auch auf produktiven Systemen aktiv

  • TransformXml kann bei der Nutzung der EL jetzt auch eigene, temporäre Attribute aus dem Inhalt übergeben

  • Für AWS MSK (Kafka) wird IAM authentication unterstützt

  • 🆕 Neuer OAuth 2.0 Controller Service um den JWT Bearer Flow zu unterstützen

  • Upgrade auf IGUASU NiFi 2.4

Cloud

  • Der Neustart der Server-Komponente von IGUASU wurde stark optimiert. Damit wird die kurze Downtime beim Update noch weiter verringert

  • Nutzung verschiedener Netzwerke bzw. VPNs über den Operator konfigurierbar

  • Das IGUASU Gateway kann für Hybrid-Verbindungen zur Cloud jetzt auch einen Proxy-Server verwenden

IGUASU 3.4

Releasedatum: 08.04.2025

Highlights

  • 🆕 IGUASU Gateway

    • Das IGUASU Gateway Artefakt (als Verbindungskomponente in die on-prem Welt, wenn kein INUBIT verfügbar ist) wird jetzt bei jeder neuen Version von IGUASU erzeugt

    • Der GatewayFlowProvider Service erlaubt es, beliebige Flows von IGUASU für ein IGUASU Gateway bereitzustellen. Hierüber hat das Gateway einen auto-update Mechanismus für den darauf laufenden Flow. Damit können Entwicklungen oder Änderungen sehr nutzerfreundlich und sicher auf das Gateway gebracht bzw. getestet werden.

  • 🆕 Der neue ArrivalGate Prozessor dient dazu Verbindungen (zu ihm) zu erstellen, die im Diagramm nur dann sichtbar werden, wenn er oder der Quell-Prozessor ausgewählt ist. Darüber lassen sich Aspekte abbilden, die nicht dem originären Fluss dieses Prozesses folgen. Gleichzeitig bleibt die Verarbeitung über die Queues etc. aber genauso wie immer. Dies kann beispielsweise für eine gemeinsame Fehlerverarbeitung von Prozessoren an sehr unterschiedlichen Stellen eines Flows sinnvoll sein.

  • Erweiterter Versioning-Bereich in der UI

    • Das Panel ist jetzt im unteren Bereich des Diagramms angesiedelt und breiter

    • 🆕 Wählt man eine Version aus, so wird direkt angezeigt was sich bei dieser Version im Vergleich zur Vorherigen geändert hat

    • 🆕 Die Änderungen aus Versionsvergleichen werden violett umrandet im Diagram dargestellt und sind somit zusammen mit den lokalen Änderungen sichtbar

    • 🆕 Versionsvergleichs-Änderungen sind jetzt genauso navigierbar, wie lokale Änderungen – Untergruppen werden auch berücksichtigt

    • Die Darstellung der Änderungen ist optimiert

    • Änderungen, die sich auf Parameter beziehen, sind hervorgehoben

  • Diagramm-Erweiterungen

    • 🆕 Copy-and-paste im Diagramm geht jetzt über das Clipboard des Browsers und damit z. B. auch über Stages hinweg

    • 🆕 Innerhalb von Labels, die als Rahmen verwendet werden, ist jetzt die Nutzung des Lassos für Selektionen möglich

    • 🆕 Vertices können jetzt auch einzeln selektiert und entfernt werden. (Doppelklick oder Menü)

    • Vergrößerter Arbeitsbereich im Edit-Modus erlaubt das schnellere Erweitern des Flows nach unten/rechts

  • Erweiterungen zum Update in der Cloud

    • 🆕 Die Versions-Historie der installierten Versionen wird dargestellt (angefangen mit dieser Version)

    • 🆕 An den verfügbaren Updates wird dargestellt, welche Komponenten betroffen sind und wo es Downtimes beim Update geben wird

  • JSONata Erweiterungen

    • 🆕 Neue, optimierte Implementierung als neuer Default – eine 1:1 Umsetzung der JavaScript-Referenz-Implementierung

    • Die Transformation kann direkt auf einen String angewendet werden – dieser wird dazu in den Value einer einfachen JSON Struktur überführt

    • Bei der Ausgabe eines Strings als Ergebnis der Transformation können die umgebenden Anführungszeichen entfernt werden

  • Das disablen/enablen aller Services einer Prozessgruppe sowie aller weiteren in den hierarchisch darunter liegenden ist nun direkt und wesentlich performanter möglich

  • Direkte Navigation aus den BPC Prozessoren zu den Log-Services im BPC (zusätzlich zu der Möglichkeit, aus einem Ausführungsevent zu dem Eintrag in einem Monitor zu springen)

  • Verbesserte Tastaturbedienung (Tab) bei den Properties/Settings

  • Der Forward-Button des Browsers wird jetzt konsequent unterstützt

  • 🆕 Neue Prozessoren zur Kommunikation mit dem box.com Cloud-Service: ConsumeBoxEvents, FetchBoxFileRepresentation, ConsumeBoxEnterpriseEvents, FetchBoxFileInfo, GetBoxFileCollaborators, GetBoxGroupMembers

  • Erweiterung des ConsumeGCPubSub um Record und Dermarcator

  • 🆕 Neuer GetS3ObjectTags Prozessor um S3 Object Tags zu erhalten

  • Die Elasticsearch Prozessoren erlauben die Nutzung von JWT Auth

  • Upgrade auf IGUASU NiFi 2.3

Migration

  • Einige Komponenten haben geänderte bzw. erweiterte Properties – dies wird automatisch migriert, führt aber zu lokalen Änderungen, wenn der zugehörige Flow versioniert ist. Dies gilt beispielsweise für den JSONata-Prozessor, sowie für die Hybrid-Cloud- und BPC-Services.

IGUASU 3.3

Releasedatum: 03.02.2025

Highlights

  • Parameter lassen sich jetzt im Produktivmodus wesentlich leichter ändern, ohne dass Komponenten von Hand gestoppt werden müssen

  • 🆕 An allen Elementen wird angezeigt, wann und von wem die letzte Änderung erfolgte. Von dort kann ausserdem in das Audit Log für diese Komponente gesprungen werden, wo man die weiteren Änderungen einsehen kann.

  • Auto-Layouting Erweiterungen

    • Bei dem Layouting von Selektionen bleiben die Positionen der Verbindungen stabil

    • Stark verbessertes Layouting von Elementen, die nicht zu einem Graphen gehören

    • Verbessertes Layouting durch höhere Bewertung von längeren Branches

  • Vom Ausführungsevent eines BPC-Processors kann direkt in den zugehörigen Eintrag des BPC Monitors gesprungen werden

  • 🆕 Neue Flow Analysis Rules: SystemSafeguard, die eine Fehlkonfiguration des InvokeHTTP Prozessors verhindert, welche zu einer Belastung des Systems führen konnte, sowie RestrictBackpressureSettings, welche die Backpressure Settings prüft

  • 🆕 Die Bulletins können direkt an den Tabellen heruntergeladen werden

  • Bei den Texteditoren wird die Möglichkeit zu Suche, Undo und Redo jetzt auch über Buttons in der Toolbar angeboten

  • Parameter Contexte können gefiltert werden

  • Die IDs der Komponenten im Management-Bereich werden jetzt ebenfalls angezeigt

  • 🆕 Mit dem PEMEncodedSSLContextProvider werden PEM encodierte Schlüssel und Zertifikate unterstützt

  • 🆕 Es gibt den neuen StandardDatabaseDialectService für eine noch bessere Arbeit mit verschiedenen SQL Datenbanken

  • Upgrade auf IGUASU NiFi 2.2

Dokumentation

  • 🆕 In der Dokumentation sind jetzt alle vorhandenen Prozessoren, Services, Tasks, etc. mit ihren Beschreibungen, Einstellmöglichkeiten, Hinweisen und Beschränkungen aufgeführt

  • 🆕 Die Dokumentation enthält jetzt auch direkt die Referenzen zur Expression Language and zu Record Path

Wichtige Fixes

  • Der Bug, dass in SSLContextService immer ein Keystore angegeben werden musste, ist behoben

  • Ausgehende Success-Verbindungen aus dem PutMetro können wieder erstellt werden

  • Wird das Management-Fenster verlassen, gehen keine Einstellungen mehr verloren, wenn man nicht explizit gespeichert hatte

IGUASU 3.2

Releasedatum: 11.12.2024

Highlights

  • 🆕 Die Dokumentation steht jetzt auch in Englisch zur Verfügung (mit DeepL automatisch übersetzt)

  • 🆕 Es werden in der Cloud jetzt mehrere Ingresse unterstützt, so dass externe Adressen über unterschiedliche Wege und VPNs geschaltet werden können. Dies wird von der UI voll unterstützt

  • Für Prozessoren, die über NARs hochgeladen oder als neue Python Prozessoren angelegt werden, wird jetzt auch die volle Beschreibung angezeigt

  • Parameter können gefiltert werden

  • Wird eine neue Prozessgruppe angelegt, ist direkt der Parameter Context der Parent-Gruppe gesetzt und kann hier auch schon direkt angepasst werden

  • JSON Lines (https://jsonlines.org/) werden in den Anzeigen unterstützt

  • Der AI Assistent erlaubt ein Feedback auf die Antwort sowie längere Fragen

  • Das Auto-Layouting von Selektionen behält die Position der Prozessoren in Relation zu der linken oberen Ecke bei und ist auch über das Context-Menü erreichbar

  • Labels haben jetzt auch ein "Send to back" um Z-Position in Bezug zu anderen Labels zu setzen

IGUASU 3.1

Releasedatum: 27.11.2024

Highlights

  • 🆕 AI Assistant (Technology Preview) – es können Fragen zu IGUASU gestellt werden, die Antworten basieren auf der Dokumentation

  • 🆕 Nutzung von GitHub Repositories als IGUASU-Flow-Repository in unseren Cloud-Installationen

  • Es wurden Memory Leaks in der UI behoben

  • Die maximale Zeit, die ein Processor mit den eingestellten Retry-Konfigurationen im Retry verbringen kann, wird errechnet und angezeigt

  • Neue Processors und Services

    • CopyS3Object, GetS3ObjectMetadata – Metadaten von S3 erhalten und Files zwischen Buckets kopieren

    • DeleteSFTP – erlaubt das Löschen von Dateien auf einem SFTP Server

    • HttpRecordSink – erlaubt es Record Sinks auf eine beliebige HTTPS Adresse zu versenden

  • Upgrade auf IGUASU NiFi 2.0

Cloud

  • 🆕 Updates der UI können ohne Nutzerinteraktion ausgeführt werden

  • 🆕 Es können mehrere unterschiedliche Netzwerke und VPNs angebunden werden

Migration

  • DistributedMapCacheServer wurde umbenannt in MapCacheServer

  • DistributedSetCacheServer wurde umbenannt in SetCacheServer

  • DistributedMapCacheClientService wurde umbenannt in MapCacheClientService

  • DistributedSetCacheClientService wurde umbenannt in SetCacheClientService

IGUASU 3.0

Releasedatum: 09.09.2024

Highlights

User Interface

  • 🆕 Diagramm-Neuerungen

    • Das Diagramm kann durch Halten der mittleren Maustaste verschoben werden

    • Das Diagramm kann durch Control + Scrollen der mittleren Maustaste gezoomed werden (gleiches gilt für Pinch/Zoom auf Trackpads)

    • Das Zooming über die Toolbar ist feingranularer möglich

    • Success- und Failure Ports können nun direkt aus den Processors heraus verbunden werden

    • Die Ports haben Tooltips mit Beschreibungen

    • Neue Processors können direkt beim Erstellen von ausgehenden Verbindungen erzeugt werden

    • Verbindungen aus und in Process Groups zeigen nun den Namen und Status des Ports

    • Überarbeitete der Darstellung der Icons in den Prozess-Gruppen Modulen

  • 🆕 Management

    • Neue, integrierte Darstellung der verschiedenen zentralen Einstellungen und Services (nicht mehr verteilt im Menu)

    • Endpoint Management - Endpunkte können nach aussen freigegeben und intern auf Ports und damit Processors und Services gemappt werden. Diese Endpunkte können eingesehen, erweitert und verwaltet werden.

    • Datenbanktreiber, Zertifikate und eigene Processors/Services können exportiert und importiert werden

  • 🆕 Visuelle Tree-Darstellungen und Editoren für JSON und XML an allen Stellen, wo Daten in diesen Typen vorkommen können

    • Komplette Bearbeitung der Daten im Modell sowie XPath bzw. JSONata Abfragen

  • 🆕 Neue Ansicht der Services als Teil des Diagramms (nicht mehr in den Prozess-Gruppen Settings)

    • Die Services haben jetzt wie die Processors individuelle Icons

  • 🆕 Neue, grafische Dashboards

    • für zentrale Metriken in System Information (Speicher, Threads, Festplatte, etc.)

    • an Processors und Prozess-Gruppen mit Informationen über die Ausführungen

  • 🆕 Unterstützung von Regeln zur Analyse von Flows

    • Im ersten Schritt gibt es die Möglichkeit damit die Nutzung einzelner Processors zu verbieten oder bei der Nutzung zu warnen

  • Umgestaltete Ansicht der Connections mit Aufteilung der Bereiche für die Konfiguration sowie die Darstellungen der Queue während der Laufzeit

    • 🆕 Relationen können jetzt in der Konfiguration direkt hinzugefügt und entfernt werden

    • 🆕 Die Daten in der Queue können auch nach Datum ihres Eingangs dargestellt werden

  • Verbesserte Processor Konfiguration

    • Dynamische Properties haben jetzt einen eigenen Bereich und lassen sich direkt, ohne Dialog und somit auch im Bulk hinzufügen und direkt inline umbenennen

    • 🆕 Neue Use-Case Beschreibungen an diversen Processors, auch im Zusammenspiel mit weiteren Processors

    • 🆕 Zugehörige Processors werden angezeigt und können direkt von hier in das Diagramm gezogen werden (so wird beispielsweise an einem HandleHttpRequest der zugehörige HandleHttpResponse angezeigt)

  • 🆕 Neues Oberflächenelement für Mehrfachauswahl

    • Gewählte Prioritizer an Connections

    • Relationen an den Connections

    • Berechtigungen - z.B. an Prozess-Gruppen

    • Auswahl mehrere Werte bei Filtern im Monitoring

  • 🆕 Anzeige der Anzahl der Bulletins am Icon, wenn die Bulletins-Ansicht inaktiv ist

  • Monitoring

    • Die Auswahl und Anzeige von Zeiten in den Filtern des Monitorings wurde vereinfacht und optisch verbessert

    • 🆕 Im Audit Log und den Provenance Events kann jetzt auch auf eine Komponente gefilter werden. Die Komponente kann dabei aus der Selektierung im Diagramm oder der gerade selekttierten Row übernommen werden

    • Aus den allgemeinen Provenance Events kann man direkt die geflossenen Daten laden - dabei kann auch die Ausführungsansicht im Diagram aktiviert werden

  • Weitere Neuigkeiten im UI

    • 🆕 Es werden jetzt Avatar-Bilder aus den föderierten IDMs wie z.B. Google unterstützt

    • Überarbeitung der zentralen Toolbar, sowie Zugriff auf verdeckte Elemente

    • Orange als Markierung an Aktions-Button- und Menüs wird nun durchgängig verwendet, um deutlich zu machen, dass die Aktion direkten Einfluss auf Flow-Ausführungen hat/haben kann.

    • Der Dialog zum Hinzufügen von neuen Processors ist jetzt über die Pfeile und den Tab sehr einfach über die Tastatur bedienbar

    • Die Items in den Services- und Flow-Trees haben Tooltips, damit man die Einträge auch lesen kann, wenn der Tree zu schmal ist

    • Meldungen zur Inhaltsbegrenzung von Feldern erscheinen jetzt nur noch beim Überschreiten

    • Der Mauszeiger macht die möglichen Aktionen an Buttons und Elementen im Diagram noch deutlicher

    • Die Evaluation der Expression Language an den Properties zeigt den nutzbaren Scope

    • Im Texteditor gibt es die Sprach-Unterstützung 'nifi' zur Nutzung der Vorschläge zur Expression Language nicht mehr explizit. Diese sind nun direkt im Modus 'text' verwendbar

    • Der Texteeditor unterstützt jetzt bei den Properties auch Parameter

Virtimo Portfolio

  • Eine noch bessere Integration zwischen IGUASU und dem BPC:

    • 🆕 Aus den Ausführungsinformationen eines Flows in IGUASU (Provenance) kann direkt zu dem Eintrag im BPC gesprungen werden

    • 🆕 Aus einem Eintrag eines Monitors im BPC, der durch einen Flow in IGUASU erzeugt wurde, kann direkt zu der Ausführungs-Instanz in IGUASU zu gesprungen werden

  • 🆕 Neue Processors FetchBPCProcessLog und DeleteBPCProcessLog

Ausführung

  • 🆕 [BETA] Neues Stateless-Ausführungsmodell an Prozess-Gruppen

  • 🆕 Neue Processors

    • DeleteFile, SpliExel, PackageFlowFile, EncryptContentAge, DecryptContentAge, ListenSlack, ConsumeSlack, ListenOTLP, CalculateParquetOffsets, CalculateParquetRowGroupOffsets, FilterAttribute, PublishSlack, PutMongoBulk, PutAzureDataExplorer, PutZendeskTicket, SplitPCAP, SplitExcel

  • 🆕 Neue Services

    • BPCRecordSink, YamlTreeReader, StandardKustoIngestService, ZendeskRecordSink, ProtobufReader

  • 🆕 Neue Schema Registries

    • AmazonGlueSchemaRegistry, StandardJsonSchemaRegistry, ApicurioSchemaRegistry, DatabaseTableSchemaRegistryService

  • 🆕 Neuer Parameter Provider

    • OnePasswordParameterProvider

  • 🆕 [BETA] Unterstützung von Python als Sprache für die Entwicklung von Processors. Erste neue Processors für die Umsetzung von Retrieval-Augmented Generation im AI Umfeld (RAG):

    • PromptChatGPT - Anfragen an OpenAI ChatGPT senden

    • QueryChroma, PutChroma - Nutzung der Vector-Datenbank Chroma

    • QueryPinecone, PutPinecone - Nutzung der Vector-Datenbank Pinecone

    • QueryOpensearchVector, PutOpenSearchVector - Nutzung von OpenSearch als Vector-Datenbank

    • QueryQdrant, PutQdrant - Nutzung der Vector-Datenbank Qdrant

    • ChunkDocument - teilt Dokumente für die Nutzung als Embeddings auf

    • ParseDocument - parsen von unstrukturierten Textdokumenten, sowie OCR auf PDF und Bilder in "json-lines" (Daten und Metadaten) zur Verwendung als Embeddings

Upgrades

  • Unsere Processors und Services für die Kommunikation mit INUBIT und dem BPC nutzen jetzt Jetty 12

  • Upgrade auf IGUASU NiFi 2.0.0M4

Cloud

  • Updates von IGUASU können jetzt selbst und zeitgesteuert eingespielt werden (zur 3.0 final)

  • Es gibt die neue Standardgruppe viewer - Nutzer in dieser Gruppe können im System nichts ändern/starten etc. sondern nur einsehen

  • Es gibt einen Bereich im Filesystem, der für Services/Processors, die dies benötigen, verwendet werden kann und auch im Backup landet

  • GitHub kann nun direkt als Repository verwendet werden

Migration

  • Es wurden viele nicht mehr aktuelle oder funktional doppelte Komponenten entfernt. Die komplette Liste ist hier zu finden. Unter anderem sind dies mit möglichen Alternativen

    • Base64EncodeContentEncodeContent

    • ConvertAvroToJSONConvertRecord

    • ConvertExcelToCSVProcessorExcelReader

    • CryptographicHashAttributeUpdateAttribute

    • EncryptContentEncryptContentAge/EncryptContentPGP

    • FetchElasticsearchHttp -→ GetElasticsearch

    • GetHTTP, PostHTTPInvokeHTTP

    • GetTwitterConsumeTwitter

    • HashAttributeCryptographicHashAttribute

    • HashContentCryptographicHashContent

    • PostSlackPublishSlack

    • PutElasticsearchHttpPutElasticsearchJson

    • PutElasticsearchHttpRecordPutElasticsearchRecord

    • PutSlackPublishSlack

Dokumentation

  • Wird im User Guide oder in einem Tutorial ein Processor oder ein Service genauer beschrieben, dann ist dies jetzt direkt an der Komponente verlinkt

  • Neu strukturiert und um neue Features und Anpassungen ergänzt

IGUASU 2.8

Releasedatum: 05.02.2024

Highlights

  • 🆕 Records können über ZendeskRecordSink leicht in Zendesk geschrieben werden

  • 🆕 Neue Processors zur Arbeit mit Parquet: CalculateParquetOffsets, CalculateParquetRowGroupOffsets

  • 🆕 FilterAttribute - neuer Processor zum Filtern von Attributen

  • 🆕 PublishSlack - neuer Processor zum Publishen in Slack

  • 🆕 PutZendeskTicket - neuer Processor für die Arbeit mit Zendesk

  • Verbesserungen des Handling bei der Versionierung von Diagrammen

  • Kleine Verbesserungen der UI:

    • Globale Suche komplett über Shortcuts bedienbar

    • Leeren von Queues erfordert kein Schließen des Dialogs mehr

    • Bei "Enter-Taste" in einzeiligem Property wird die Anzeige direkt mehrzeilig

    • Einige Icons angepasst

  • Upgrade auf IGUASU NiFi 1.25.0

Cloud

  • Backup aller relevanten Daten über eigenen Operator

Dokumentation

  • Neue Shortcuts aufgenommen

  • Nutzung der NiFi-Expression-Language erläutert

  • Tutorial zur Nutzung von DynamoDB

  • Erweiterung der Beschreibung zur Wiederverwendung

IGUASU 2.7

Releasedatum: 08.12.2023

Highlights

  • 🆕 Möglichkeit zu sehen, welches Diagramm andere Nutzer gerade bearbeiten

  • 🆕 Upload von eigenes Bundles zur einfachen Erweiterung der Funktionalität oder Verwendung eines Bundles in mehreren Versionen

  • 🆕 Anzeige der Version eines Bundles (im Falle von mehreren Versionen eines Bundles)

  • Verbesserte Version der Hybrid Cloud Verbindung

    • Clustering auf der Client-Seite wird unterstützt

    • Besseres Fehlerhandling und Fehlermeldungen; konsistentes Verhalten; Versionsprüfung für zukünftige Anpassungen; etc.

  • Expression Language Unterstützung deutlich ausgebaut

    • Button, um aktive Nutzung zu starten

    • Deutliche Anzeige von Funktionen und System Variablen

    • Anzeige von Attributen, wenn diese z.B. aus vorhergehenden Ausführungen im Data-Panel vorhanden sind

  • 🆕 ListenOTLP Processor zur Verarbeitung von OpenTelemetry

  • 🆕 EncryptContentAge und DecryptContentAge Processors zur Unterstützung der age-encryption.org-Spezifikation

  • 🆕 YamlTreeReader zur Verarbeitung von YAML als Records

  • 🆕 PackageFlowFile Processor

  • Wechsel auf Java 21

  • Upgrade auf IGUASU NiFi 1.24.0

  • Saxon Update 12.2

Cloud

  • Nutzung der Operator Codebasis für das BPC Projekt ermöglicht; Erweiterung der Varianten des Deployments (z.B. in Bezug auf die Registry)

  • Logging für Verwendung in Loki angepasst

  • Nutzung weiterer eigener NARs oder NARs in mehreren Versionen ermöglicht

Migration

  • Java 21 notwendig

IGUASU 2.6

Releasedatum: 12.09.2023

Highlights

  • 🆕 Viele Tabellen können als HTML/PDF/CSV exportiert werden. Beispielsweise gilt dies für die Liste der Lizenzen oder der Processors aber auch z.B. für das Audit-Log

  • Die Zertifikatsverwaltung ist nun nicht mehr nur für Admins, sondern auch für normale Benutzer verfügbar. Editieren, herunterladen und löschen bleibt dem Admin vorbehalten

  • Die Ergebnisse der globalen Suche können weiter eingeschränkt werden, sodass übersichtlichere Ergebnisse vorliegen. Zur weiteren Übersichtlichkeit werden die Processor-farben und Icons in den Ergebnissen dargestellt

  • Das Laden von sehr großen Dateien in der Editor-Komponente und das Einfügen oder schreiben sehr großer Datenmengen in anderen Komponenten wird verhindert. Dies schützt das System und die Modelle, welche sonst z.T. die Daten halten würden

  • Elemente des Diagramms können beim Erstellen/Editieren über die Ränder gezogen werden, wobei das Diagramm dann in dieser Richtung erweitert wird

  • Gab es im Hintergrund Änderungen in einem Modul, das gerade geöffnet ist, so wird dies beim Speichern dargestellt und man kann sich entscheiden, ob man die eigenen Änderungen verwirft oder die vorhandenen überschreibt

  • 🆕 Es gibt einen neuen Record Reader zum Lesen von Excel XLSX Dateien

  • Die Provenance Tabelle im Monitoring zeigt weiter Informationen in einer Datei-Sicht

  • Im TransformXml (XSLT) läuft jetzt Saxon EE 12.2. Beim Erstellen eines neuen Processors wird ein initiales XSLT bereitgestellt

Cloud

  • Die Zertifikatserstellung und Verteilung zwischen IGUASU und dem BPC ist über (K8s) Operatoren automatisiert

Dokumentation

  • Erweiterung des Hybrid-Cloud-Tutorials

    • Erläuterung der technischen Hintergründe und der unterstützten Use Cases

IGUASU 2.5

Releasedatum: 17.07.2023

Highlights

  • 🆕 Kollaboration

    • Anzeige, welche anderen Benutzer gerade ebenfalls IGUASU verwenden

    • Anzeige, welche anderen Benutzer gerade eine Prozess-Gruppe ansehen bzw. editieren

  • 🆕 Benutzer-Einstellungen

    • Das Layout, Einstellungen zur Anzeige (z.B. Hilfstexte an/aus) und Präferenzen werden über Anmeldungen hinweg gespeichert und wiederhergestellt

    • Die letzte Arbeitsposition wird wiederhergestellt

  • 🆕 Der Editor des JSONataTransformJSON bringt jetzt Fehlermarkierung und Code-Completion mit

  • Kleine Verbesserungen

    • Bei der Erstellung einer Relation wird nun eine detaillierte Beschreibung der Relation angezeigt

    • Klarere Konfiguration der Quelle des XSLT bei TransformXml sowie Bereitstellung eines typischen XSLT-Templates zum Start

    • Verbesserte Attribut-Erstellung und -Bearbeitung im Data Panel

    • Verbessertes Handling beim Wechsel der Sichten bei Processors mit besonderen Editoren (TransformXml, JSONataTransformJSON, ExecuteGroovyScript, …​ )

    • Anpassungen der Inhaltsansicht in einer Queue bleiben beim Wechsel auf einen anderen Eintrag nun erhalten

    • RUN ONCE geht auch bei Processors, die disabled sind

  • Processors

    • PutDatabaseRecord unterstützt jetzt Upserts

    • 🆕 GetAzureQueueStorage/PutAzureQueueStorage für Azure Queue Storage mit dem Azure SDK 12

    • 🆕 ModifyCompression ändert die Kompression von Daten ohne große Last auf den Processor.

Cloud

  • In IGUASU terminierte SSL-Endpunkte können durch den IGUASU Operator konfiguriert werden

  • Hoher Speicherbedarf von IGUASU führt nicht mehr zum Neustart der Applikation

Migration

  • TransformXml - wurde als Quelle für das XSLT eine Datei oder ein Lookup-Service verwendet, so muss diese Grundeinstellung nun einmalig an dem TransformXml ausgewählt werden

  • ListenCloud - die Relation failure wurde entfernt. Vorhandene failure-Relationen sollten entfernt werden

  • In bestehenden InvokeInubit/InvokeOnPrem und InvokeCloud Processors muss das nicht mehr unterstützte Property für asynchrone Verarbeitung entfernt werden

Dokumentation

  • Beschreibung der Erstellung und Nutzung von Zertifikaten für die Hybrid-Cloud-Kommunikation mit INUBIT

IGUASU 2.4

Releasedatum: 23.05.2023

Highlights

  • 🆕 Der Editor des JSONataTransformJSON unterstützt jetzt JSONATA mit Syntax-Highlighting (Fehleranzeige und Code-Completion sind noch offen)

  • TransformXml gibt Fehler im XSLT als Bulletins aus

  • Geschwindigkeitsoptimierungen in der UI

  • 🆕 Neuer MergeMetro Processor (zusätzlich zu GetMetro)

    • Dieser übernimmt nicht nur den Content der vor dem PutMetro Processor steht, sondern mergt ihn mit dem aktuellen Content - dies kann z.B. für XML oder JSON verwendet werden

  • In der BOM/Liste der Lizenzen kann jetzt gesucht/gefiltert werden

  • Bei der Liste der Processors/Services beim Hinzufügen, kann jetzt über mehrere Begriffe gesucht werden

  • 🆕 Die Hybrid-Cloud Processors sind nun vollständig mit INUBIT getestet

    • ListenInubit, RespondInubit, InvokeInubit

  • Kleine Verbesserungen

    • Tooltips auch an deaktiven Buttons

    • Die Event-Tabelle selektiert immer den aktiven Event

    • Verbessertes Layout bei der User-Verwaltung/Anzeige

    • Dynamic Properties können nur noch hinzugefügt werden, wenn der Processor dies auch unterstützt

    • Die Testausführung von Processors ist auf die Processors eingeschränkt, bei denen das Sinn macht

    • Geghostete Elemente, auf die man keine Rechte hat, werden beim Editieren berücksichtigt (sind erst gar nicht editierbar, kopierbar, etc)

    • Queues beliebiger Größe werden jetzt in einem Rutsch komplett gelöscht

Cloud

  • Registries anderer Bereiche können nun auch in AWS verwendet werden (z.B. shared.virtimo.cloud)

Dokumentation

  • Die notwendigen Migrationsschritte bei lokalen Upgrades sind vollständig beschrieben

IGUASU 2.3

Releasedatum: 12.04.2023

Highlights

  • 🆕 Zertifikatsverwaltung

    • Zertifikate können zur Verwendung in Services und Processors hochgeladen werden

    • Zertifikate können generiert und heruntergeladen werden

  • Verbesserungen in der UI

    • 🆕 Unterstützung der Expression Language sowie Parameter in Form von Code-Completion, Syntax-Highlighting und Inline-Dokumentation

    • Filtermöglichkeit in der Globalen Suche

    • Elemente, für die der Anwender keine Rechte hat, werden jetzt ghosted dargestellt und nicht mehr komplett ausgeblendet

    • Serverseitiges Copy&Paste an der allgemeinen Text-Komponente

    • Tooltips werden früher eingeblendet und besser gerendert

    • 🆕 Der Monaco Editor wird unterstützt und z.T. verwendet

    • Leerzeichen am Beginn und Ende eines Properties werden hervorgehoben, um Fehleingaben zu vermeiden

    • Die UI zu Parameter Providern unterstützt die Verifizierung

    • Die Properties-Sicht passt sich kleineren Auflösungen an

    • Anpassung einiger Processor-Icons

  • 🆕 Neue Processors und Services

    • Processor zum Schreiben von Notifications in das BPC

    • Abrufen von Daten aus Asana

    • Interaktion mit Amazon Web Services: Polly, Textract, Translate und Transcribe

    • Daten an Salesforce senden

    • Daten in Apache IoTDB schreiben

    • Daten in Google Drive schreiben

    • Daten in Box schreiben

    • Neue Processors zum Ver- und Entschlüsseln

    • Generieren von Testdaten mit unterstützung von Records

Cloud

  • 🆕 Unterstützung von Amazon EKS

    • Die IGUASU Services (z.B. der Playground) auf der Virtimo Cloud laufen jetzt alle auf Amazon EKS

  • 🆕 Kubernetes Deployment von IGUASU über einen eigenen K8s-Operator

Migration

  • Einige Properties an den Processors und Services zum BPC wurden umbenannt

Dokumentation

  • Der ValidateJSON-Processor ist im JSON Tutorial beschrieben

  • Die NiFi Dokumentation (z.B. für die Beschreibung der Expression Langauge) ist auf https://docs.virtimo.net deployed

IGUASU 2.2

Releasedatum: 08.12.2022

Highlights

  • 🆕 Neue Processors und Services

    • Auflisten und Abrufen von Daten über SMB

    • Abfrage von Daten aus Airtable

    • Azure Event Hub als Datensenke über AzureEventHubRecordSink verwenden

    • Auflisten und Abrufen von Daten aus Dropbox

    • Auflisten und Abrufen von Daten aus Box

    • Daten von HubSpot abrufen

    • Erfassen von Daten aus Workday

    • Daten von Zendesk abrufen

    • Daten in Apache Iceberg einspeisen

    • Daten mittels Snowpipe-Ingest in Snowflake einspeisen

    • UpdateDatabaseTable, was sehr hilfreich ist, wenn sich das Schema der Daten entwickelt und die Tabellen, in die geschrieben wird, DDL-Änderungen benötigen

    • Veröffentlichung an MQTT unter Verwendung des Record-Mechanismus, der wesentlich effizienter und flexibler ist

  • 🆕 Pre-Release von Hybrid Cloud Processors und Services zur Anbindung von INUBIT an die IGUASU-Cloud (noch nicht produktionsreif!)

  • 🆕 Nutzung verschiedener Registry-Clients ermöglicht

  • 🆕 Das Vollaufen von Queues wird jetzt direkt im Diagram dargestellt

  • 🆕 Neue Informationen am Processor

    • Welche Attribute liest bzw. schreibt der Processor?

    • Ist der Processor nur in speziellen Rollen (z.B. Admin) verwendbar ("restricted")?

    • Welche Dynamischen Properties werden erwartet und was tun sie?

    • Hat der Processor einen State?

    • Kann der Processor eingehende Verbindungen haben bzw. benötigt er sie?

    • Nimmt der Processor bestimmte System Ressourcen besonders stark in Anspruch, wie z.B. MEMORY?

  • Registry

    • 🆕 Nutzung unseres Bitbucket (Git) als Backend für die Versionierung in der Registry

    • 🆕 Import und Export von Flows direkt aus der Registry

  • Dokumentation

    • Generelle Überarbeitung

    • 🆕 Neues Tutorial für die Zusammenarbeit zwischen IGUASU und dem BPC

    • 🆕 Neues Tutorial für die Arbeit mit JSON

    • 🆕 Neues How-To zu den Metro-Processors

    • Die Dokumentation wird wie bisher mit installiert - ist aber zusätzlich zusammen mit den anderen Dokumentationen des Virtimo-Portfolios unter https://docs.virtimo.net/ zu finden

Migration

  • Unser eigener JSLT-Processor wurde entfernt, da jetzt einer mit NiFi mitkommt

IGUASU 2.1

Releasedatum: 16.08.2022

Highlights

  • 🆕 Metro Processors hinzugefügt

    • Feature 1: Nutzung von FlowFiles aus vorhergehenden Steps im Flow

      • Beispiel: Der Inhalt des FlowFiles ist das Ergebnis eines externen Systems, man benötigt aber eigentlich noch das Ergebnis von drei Schritten vorher. Sonst bzw. in INUBIT gern über den Zwischenspeichern des Inhaltes in Variablen oder einen Bypass gelöst

      • → Nutzung der Metro von vorherigem Processor zu aktuellem

    • Feature 2: Gemeinsames Fehlerhandling

      • In IGUASU gibt es keine Scopes (wie z.B. in INUBIT). Möchte man Fehler an Processors gleich über einen "gemeinsamen Strang" lösen, muss man viele chaotische Verbindungen zwischen den Processors ziehen

      • → Nutzung der Metro zu einer gemeinsamen Fehlerverarbeitung

  • 🆕 Audit Log - verfügbar im Monitoring Tab

    • Zeigt alle Änderungen an der Konfiguration wie das Editieren eines Processor-Properties, sowie den Zeitpunkt und die Person

  • Parameter Support erweitert

    • Controller Services können Parametern zugewiesen werden (aktuell unter Nutzung der ID) und dann ganz normal an Properties verwendet werden. Damit können Controller Services (z.B. Zugriffe auf Datenbanken über DB-Pool-Services) noch besser entkoppelt werden

    • Das Scheduling (wann und wie oft ein Processor ausgeführt wird) kann über Parameter gesetzt werden. Somit könnte z.B. für eine Gruppe bestimmter Processors das Scheduling verlangsamt oder erhöht werden

  • Upgrade auf IGUASU NiFi 1.17.0

  • Dynamische Properties können jetzt auch sensitive Werte (z.B. Passwörter) enthalten, wenn der Processor das unterstützt (z.B. Header-Werte an InvokeHTTP)

  • Detaillierte Metriken zum CPU-Verbrauch auf Processor-Ebene

  • 🆕 Neuer Processor erlaubt Queries auf Daten, die von Salesforce kommen

  • 🆕 Neuer ConsumeTwitter Processor ersetzt den bisherigen GetTwitter und nutzt die aktuelle Twitter-API

  • 🆕 Neuer Processor, um auf Dateien auf Google Drive zuzugreifen

  • HTTP/2 support (ListenHTTP, HandleHttpRequest)

Cloud

  • Java 17

  • AWS/EKS Support

IGUASU 2.0

Releasedatum: 22.06.2022

Highlights

  • 🆕 Neue Darstellung für die Bulletins/Fehler

    • Das Icon für die Bulletins ist in den Header gewandert

    • Es gibt ein neues zentrales Panel, das prominent eingeblendet wird, sobald Bulletins vorhanden sind

    • Es werden Bulletins für Processors, Services und Reporting-Tasks sowie System-Bulletins angezeigt

    • Services und Reporting-Tasks mit Fehlern werden ebenfalls rot hervorgehoben

    • Bulletins bzw. der Fehlerstatus ("roter Processor") werden nicht mehr zwangsläufig für 5 Minuten angezeigt, sondern können durch den Nutzer gelöscht werden

  • 🆕 Es gibt eine neue zentrale Baumansicht aller Process Groups

  • 🆕 Die verfügbaren Processors bzw. Services werden in den System Informationen angezeigt

  • 🆕 An den Processors wird jetzt ein konfigurierbares Retry an den ausgehenden Relations unterstützt

  • 🆕 Selektierte Elemente können nun direkt mit der Maus in Process Groups verschoben werden. Ebenso können sie über das Kontext-Menü in eine beliebige Process Group verschoben werden

  • 🆕 Es wird nun eine Liste der verwendeten Softwarekomponenten mit ihren Lizenzen angeboten

  • An Properties, die Services konfigurieren, können diese nun direkt angelegt werden. Dabei kann die Process Group, an welcher der Service entstehen soll, gewählt werden

  • Ändert man Parameter Contexts an Process Groups, so wird dies nun über einen Dialog getan, der die notwendigen Operationen wie stoppen/starten etc. und das Ergebnis anzeigt

  • 🆕 Processors können jetzt auch verifiziert werden - dies dient z.B. der Prüfung, ob ein konfiguriertes System erreichbar ist

  • Die Darstellung der Dokumentation entspricht jetzt der auf docs.virtimo.net; es kann auch darin gesucht werden

  • JSONataTransformJSON kann den Output jetzt auch komplett in ein Attribut schreiben

  • 🆕 PutBPCAuditLog Processor

    • Zum einfachen Schreiben von Einträgen in das BPC Audit Log

  • PutBPCProcessLog Erweiterungen

    • Nach konfiguration des Zugehörigen BPC kann der BPC Logger direkt aus einer Liste der verfügbaren Logger gewählt werden

    • Gibt es schon Einträge in dem Log, kann der erste Eintrag als Template für die Erstellung abgefragt werden

  • ListenBPCFlowStarter Erweiterungen

    • Man kann nun Name und Beschreibung konfigurieren, die dann im BPC in der Auswahl zu sehen sind

    • Die BPC Session (komplettes JSON) kann optional, zur weiteren Nutzung im Flow, in ein Attribut geladen werden

  • Mit einer entsprechenden UUID kann zu Ausführungsinstanzen innerhalb von IGUASU gesprungen werden - das wird beispielsweise aus dem BPC heraus verwendet

  • Erweiterungen an XmlMerge

    • Es können jetzt alle Attribute aus allen Branches mitgenommen werden

    • Es ist jetzt möglich das Hinzufügen zusätzlicher Root-Tags zu verhindern, wenn es diese schon gibt

  • Apache NiFi auf 1.16.3 angehoben

  • JSONataTransformJSON kann jetzt auch auf Attributwerte bzw. ein leeres JSON ausgeführt werden

Migration

Die von IGUASU bereitgestellten Funktionen im JSONataTransformJSON Processor wurden zur Abgrenzung zu bestehenden oder eigenen Funktionen umbenannt.

  • $uuid()$nfUuid()

  • $el(<el>)$nfEl(<el>)

  • $attribute(<name>)$nfGetAttribute(<name>)

  • $attribute(<name>, <value>)$nfSetAttribute(<name>, <value>)

  • $lookup$nfLookup(<key>)

IGUASU 1.7

Releasedatum: 09.02.2022

Highlights

  • 🆕 Neuer Virtimo Theme (abgestimmt mit BPC 4 und inubit 8)

    • Grundsätzliche wurde die Nutzung verschiedener Themes ermöglicht

  • 🆕 Neue, optionale Tabellenansicht für Attribute an allen entsprechenden Stellen in Flow

  • Filtermöglichkeit für Attribut-Sichten

  • 🆕 Erweiterungen von Parametern und Parameter Contexts

    • Es werden vererbte Parameter Contexts unterstützt

    • Aus vorhandenen Properties können direkt neue Parameter erstellt werden

    • Parameter Contexts können über Rechte geschützt werden

    • An einem Parameter Context kann man alle Process Groups sehen, die ihn verwenden

    • Die Parameter eines Kontextes können direkt an der Process Group editiert werden

    • Import und Export von Parameter Contexts

  • Kommentare an Controller Services werden unterstützt

  • 🆕 JSONataTransformJSON unterstützt jetzt Lookups

  • Die Rechte an Process Groups können explizit vererbt oder überschrieben werden

  • Die Beschreibungen der Flows sind bei der Versionierung jetzt überall verfügbar

  • 🆕 Nutzung des Virtimo Keycloak in der Cloud (aktuell auf dev.virtimo.cloud)

    • Auch die Registry nutzt jetzt Keycloak

  • Anzeige der Versions-Informationen zu IGUASU in den System Diagnostics

  • Konsequenter Read-Only-Modus im Production-Mode

    • Das meint, dass Änderungs-Operationen immer explizit vorgenommen werden müssen

  • 🆕 Deep Links werden über die Anmeldung hinweg unterstützt

    • Zu jedem Processor kann ein eindeutiger Link abgerufen werden

  • Neue Tastaturkürzel für die globale Suche und die Übersicht

  • Neue Variante des TextEditors (kein Speicherleck mehr)

  • 🆕 Neuer How-to Bereich in der Dokumentation

    • Darstellung und Beschreibungen oft benötigten Funktionen in den Flows

    • Bereitstellung importierbarer Process Groups zur Verdeutlichung und zum Testen

  • 🆕 Treiber, wie JDBC-Datenbanktreiber können jetzt hochgeladen und an notwendiger Stelle direkt ausgewählt werden

Migration

  • Im TransformXml Processor wird das JSON jetzt bei der Verwendung von 'Surround input with <xml> tag' zusätzlich mit einem CDATA Tag umgeben, damit Entity-Referenzen wie z.B. '&' keine Probleme bereiten. Sollte das CDATA schon von Hand hinzugefügt worden sein, muss dies wieder entfernt werden.

IGUASU 1.6

Releasedatum: 6. Dezember 2021

Highlights

Neue/erweiterte Virtimo Processors

  • 🆕 Processor PutBPCProcessLog, zum Loggen von Prozess-Daten in ein Virtimo Business Process Center

    • BPCController Service zur wiederverwendbaren Konfiguration des BPC-Endpunktes

  • 🆕 Processor, um leicht Flows vom Business Process Center aufrufen zu können: ListenBPCFlowStarter

    • BPCListenerController Service zur Definition des zentralen Endpunktes für verschiedene Listener Processors

    • ListenBPCResponder Processor zur kontrollierten Antwort

  • 🆕 Processor zum Mappen/Tranformation von JSON auf der Basis von JSONata: JSONataTransformJSON

    • Nutzung der Expression Language wird unterstützt

    • Das Lesen und Schreiben von Attributen wird unterstützt

    • Möglichkeit eines Live-Editors - jede Änderung ist direkt sichtbar

  • 🆕 Saxon EE wird für den TransformXml Processor mitgeliefert

  • 🆕 neuer ModifyPDF Processor, um Formularfelder in PDFs zu füllen

  • 🆕 neuer Minifier Processor, um das YAML einer Process Group für den Remote Flow automatisiert bereitstellen zu können. Darüber kann ein Remote Flow automatisch neue Versionen seiner Konfiguration beziehen

Allgemein

  • UI Update mit leichterem Erscheinungsbild

  • 🆕 Zentrale Provenance, in der die vergangenen Ausführungen aller Flows sichtbar sind

  • 🆕 Zentrales Monitoring aller verwendeten Komponenten

  • 🆕 Globale Suche

    • Freitextsuche in allen verfügbaren Komponenten, sowie Sprung in die Komponente

  • Erweiterung des User-Interfaces der Services:

    • Verlinkungen zu Processors und anderen Services in beide Richtungen

    • Aktivieren/Deaktivieren aller Services einer Gruppe, sowie der Untergruppen

    • Anzeige der betroffenen, verlinkten Komponenten sowie des Erfolgs der Aktion bei jeder Komponente

  • 🆕 Speichern/Laden sowie Kopieren/Einfügen von Eingangsdaten+Attributen im Content Panel und der Queue

    • Damit können beliebige zuvor geflossene Daten einfach für die Testausführung anderer Processors genutzt werden

  • Selektierte Module können im Diagramm jetzt auch mit den Cursor-Tasten bewegt werden (zusammen mit Shift Pixel-weise)

  • Zum Erstellen der Module können diese jetzt direkt per Drag-and-drop aus der Toolbar in das Diagram gezogen werden

  • Alle Relationen eines neuen Processors sind jetzt per Default Auto-Terminiert. Schon verbundene Relationen sind hier auch nicht mehr auswählbar. Bei der Erstellung einer neuen Relation sieht man welche Relationen schon Verbindungen besitzen

  • 🆕 Das erneute Abspielen eines Events ("Replay") wird nun unterstützt

  • In der Dokumentation werden jetzt immer alle vorhandenen Dokumentationen als Übersicht angezeigt (User Guide, Admin Guide, etc.)

  • Process Groups können für einzelne User-Gruppen freigegeben werden

  • Ein hängender Processor, der terminiert werden kann, macht dies nun in der UI direkt deutlich

  • 🆕 Anzeige der System Diagnostics des Servers (JVM, Festplatte, etc.)

  • 🆕 Process Groups können jetzt als JSON heruntergeladen werden. Dieses JSON kann dann wiederum beim Anlegen neuer Process Groups verwendet werden

    • Templates werden nicht mehr unterstützt, da dieses Feature über das JSON, sowie die Verwendung der Registry/Versionierung zur Verfügung steht

  • 🆕 zur Verwendung in Remote Flow kann eine Process Group als YAML heruntergeladen werden

  • 🆕 die Registry-Benutzer können aus dem aktuellen IGUASU importiert werden

  • 🆕 Backpressure-Default kann spezifisch für einzelne Process Groups konfiguriert werden

  • 🆕 Run Once zum einmaligen Start eines Processors/Flows

  • Parameter können auch an sensitiven Properties (Passwörtern) verwendet werden

Betrieb

  • 🆕 IGUASU läuft jetzt immer abgesichert (initial im Single-User-Modus)

  • Optimierung der Start-Skripte (z.B. durch neue iguasu-env.sh, in der etwa das verwendete Java steht)

  • Administrationshandbuch um Upgrade-Guide ergänzt

Komponenten

  • 🆕 NiFi Server 1.15.0 integriert (zuvor 1.13.x)

Cloud

  • 🆕 es werden nun Client/Server-Authentications bei HTTPS mit der Cloud unterstützt

Migration

  • da IGUASU nun initial im Single-User-Modus läuft, muss vor dem ersten Start der User mit seinem Passwort gesetzt werden (siehe Einrichtung Single User Authentication)

  • da keine Templates mehr unterstützt werden, sollten alle Templates, die nicht als Prozess-Gruppen im zu migrierenden IGUASU vorliegen, vor der Migration importiert werden. Nach der Migration können sie dann als JSON exportiert und ggf. wieder entfernt werden

  • das Starten, Stoppen etc. der Processors (bzw. ganzer Process Groups) ist nun nur noch über das Kontext-Menü möglich - die Knöpfe in der Toolbar wurden entfernt

IGUASU 1.5

Releasedatum: 19. Juli 2021

Highlights

Versionierung

Bereitstellung und Unterstützung der 💥IGUASU Registry 💥

  • 🆕 Versionierung von Flows (auf der Ebene der Prozess-Gruppen)

    • Versionierung eines Flows starten/stoppen

    • Versionen auflisten und ein-/auschecken

    • neue Instanz eines versionierten Flows erzeugen

  • 🆕 Wiederverwendung (von in Prozess-Gruppen gekapselten Funktionen), durch die Nutzung der Versionierung

  • 🆕 Anzeige der lokalen Änderungen

    • Markierung im Diagram

    • Liste der Änderungen mit Sprung zur Komponente

    • Darstellung von Änderungen in Sub-Gruppen

  • 🆕 Nutzung beliebig vieler unterschiedlicher Registries und Buckets in den Flows

  • 🆕 Verwaltung der Registries samt Benutzern, Gruppen und Buckets

Cloud

  • 🆕 Bereitstellung eines Prometheus-basierten Monitorings in der Cloud

  • 🆕 Liveness/Readiness-Probes für IGUASU in Kubernetes

  • Speicherkonfigurationen optimiert

Allgemein

  • verbesserte Clipboard-Operationen (Ausschneiden und beliebiges Einfügen)

  • bessere Synchronisation von Diagram und Moduleditor bei Änderungen

  • Darstellung der Ausführungen eines Processors erweitert

    • komplexe Ausführungslinien werden nur in Teilen geladen

    • es können auch nur die Daten der Events eines einzelnen Processors geladen werden (ohne die komplette Ausführung des Flows)

  • XmlTransformer (XSLT): Auflösen externer Referenzen (z.B. DTDs) abschaltbar

  • Dokumentation: Tipps zum Betrieb sowie zur Optimierung von Flows hinzugefügt