Release Notes

In diesem Dokument werden Highlights, wichtige Fixes sowie notwendige Migrationsschritte der Versionen aufgeführt.

IGUASU 3.1

Releasedatum: 27.11.2024

Highlights

  • 🆕 AI Assistant (Technology Preview) – es können Fragen zu IGUASU gestellt werden, die Antworten basieren auf der Dokumentation

  • 🆕 Nutzung von GitHub Repositories als IGUASU-Flow-Repository in unseren Cloud-Installationen

  • Es wurden Memory Leaks in der UI behoben

  • Die maximale Zeit, die ein Prozessor mit den eingestellten Retry-Konfigurationen im Retry verbringen kann, wird errechnet und angezeigt

  • Neue Prozessoren und Services

    • CopyS3Object, GetS3ObjectMetadata – Metadaten von S3 erhalten und Files zwischen Buckets kopieren

    • DeleteSFTP – erlaubt das Löschen von Dateien auf einem SFTP Server

    • HttpRecordSink – erlaubt es Record Sinks auf eine beliebige HTTPS Adresse zu versenden

  • Upgrade auf IGUASU NiFi 2.0

Cloud

  • 🆕 Updates der UI können ohne Nutzerinteraktion ausgeführt werden

  • 🆕 Es können mehrere unterschiedliche Netzwerke und VPNs angebunden werden

Migration

  • DistributedMapCacheServer wurde umbenannt in MapCacheServer

  • DistributedSetCacheServer wurde umbenannt in SetCacheServer

  • DistributedMapCacheClientService wurde umbenannt in MapCacheClientService

  • DistributedSetCacheClientService wurde umbenannt in SetCacheClientService

IGUASU 3.0

Releasedatum: 09.09.2024

Highlights

User Interface

  • 🆕 Diagramm-Neuerungen

    • Das Diagramm kann durch Halten der mittleren Maustaste verschoben werden

    • Das Diagramm kann durch Control + Scrollen der mittleren Maustaste gezoomed werden (gleiches gilt für Pinch/Zoom auf Trackpads)

    • Das Zooming über die Toolbar ist feingranularer möglich

    • Success- und Failure Ports können nun direkt aus den Prozessoren heraus verbunden werden

    • Die Ports haben Tooltips mit Beschreibungen

    • Neue Prozessoren können direkt beim Erstellen von ausgehenden Verbindungen erzeugt werden

    • Verbindungen aus und in Prozessgruppen zeigen nun den Namen und Status des Ports

    • Überarbeitete der Darstellung der Icons in den Prozess-Gruppen Modulen

  • 🆕 Management

    • Neue, integrierte Darstellung der verschiedenen zentralen Einstellungen und Services (nicht mehr verteilt im Menu)

    • Endpoint Management - Endpunkte können nach aussen freigegeben und intern auf Ports und damit Prozessoren und Services gemappt werden. Diese Endpunkte können eingesehen, erweitert und verwaltet werden.

    • Datenbanktreiber, Zertifikate und eigene Prozessoren/Services können exportiert und importiert werden

  • 🆕 Visuelle Tree-Darstellungen und Editoren für JSON und XML an allen Stellen, wo Daten in diesen Typen vorkommen können

    • Komplette Bearbeitung der Daten im Modell sowie XPath bzw. JSONata Abfragen

  • 🆕 Neue Ansicht der Services als Teil des Diagramms (nicht mehr in den Prozess-Gruppen Settings)

    • Die Services haben jetzt wie die Prozessoren individuelle Icons

  • 🆕 Neue, grafische Dashboards

    • für zentrale Metriken in System Information (Speicher, Threads, Festplatte, etc.)

    • an Prozessoren und Prozess-Gruppen mit Informationen über die Ausführungen

  • 🆕 Unterstützung von Regeln zur Analyse von Flows

    • Im ersten Schritt gibt es die Möglichkeit damit die Nutzung einzelner Prozessoren zu verbieten oder bei der Nutzung zu warnen

  • Umgestaltete Ansicht der Connections mit Aufteilung der Bereiche für die Konfiguration sowie die Darstellungen der Queue während der Laufzeit

    • 🆕 Relationen können jetzt in der Konfiguration direkt hinzugefügt und entfernt werden

    • 🆕 Die Daten in der Queue können auch nach Datum ihres Eingangs dargestellt werden

  • Verbesserte Prozessor Konfiguration

    • Dynamische Properties haben jetzt einen eigenen Bereich und lassen sich direkt, ohne Dialog und somit auch im Bulk hinzufügen und direkt inline umbenennen

    • 🆕 Neue Use-Case Beschreibungen an diversen Prozessoren, auch im Zusammenspiel mit weiteren Prozessoren

    • 🆕 Zugehörige Prozessoren werden angezeigt und können direkt von hier in das Diagramm gezogen werden (so wird beispielsweise an einem HandleHttpRequest der zugehörige HandleHttpResponse angezeigt)

  • 🆕 Neues Oberflächenelement für Mehrfachauswahl

    • Gewählte Prioritizer an Connections

    • Relationen an den Connections

    • Berechtigungen - z.B. an Prozess-Gruppen

    • Auswahl mehrere Werte bei Filtern im Monitoring

  • 🆕 Anzeige der Anzahl der Bulletins am Icon, wenn die Bulletins-Ansicht inaktiv ist

  • Monitoring

    • Die Auswahl und Anzeige von Zeiten in den Filtern des Monitorings wurde vereinfacht und optisch verbessert

    • 🆕 Im Audit Log und den Provenance Events kann jetzt auch auf eine Komponente gefilter werden. Die Komponente kann dabei aus der Selektierung im Diagramm oder der gerade selekttierten Row übernommen werden

    • Aus den allgemeinen Provenance Events kann man direkt die geflossenen Daten laden - dabei kann auch die Ausführungsansicht im Diagram aktiviert werden

  • Weitere Neuigkeiten im UI

    • 🆕 Es werden jetzt Avatar-Bilder aus den föderierten IDMs wie z.B. Google unterstützt

    • Überarbeitung der zentralen Toolbar, sowie Zugriff auf verdeckte Elemente

    • Orange als Markierung an Aktions-Button- und Menüs wird nun durchgängig verwendet, um deutlich zu machen, dass die Aktion direkten Einfluss auf Flow-Ausführungen hat/haben kann.

    • Der Dialog zum Hinzufügen von neuen Prozessoren ist jetzt über die Pfeile und den Tab sehr einfach über die Tastatur bedienbar

    • Die Items in den Services- und Flow-Trees haben Tooltips, damit man die Einträge auch lesen kann, wenn der Tree zu schmal ist

    • Meldungen zur Inhaltsbegrenzung von Feldern erscheinen jetzt nur noch beim Überschreiten

    • Der Mauszeiger macht die möglichen Aktionen an Buttons und Elementen im Diagram noch deutlicher

    • Die Evaluation der Expression Language an den Properties zeigt den nutzbaren Scope

    • Im Texteditor gibt es die Sprach-Unterstützung 'nifi' zur Nutzung der Vorschläge zur Expression Language nicht mehr explizit. Diese sind nun direkt im Modus 'text' verwendbar

    • Der Texteeditor unterstützt jetzt bei den Properties auch Parameter

Virtimo Portfolio

  • Eine noch bessere Integration zwischen IGUASU und dem BPC:

    • 🆕 Aus den Ausführungsinformationen eines Flows in IGUASU (Provenance) kann direkt zu dem Eintrag im BPC gesprungen werden

    • 🆕 Aus einem Eintrag eines Monitors im BPC, der durch einen Flow in IGUASU erzeugt wurde, kann direkt zu der Ausführungs-Instanz in IGUASU zu gesprungen werden

  • 🆕 Neue Prozessoren FetchBPCProcessLog und DeleteBPCProcessLog

Ausführung

  • 🆕 [BETA] Neues Stateless-Ausführungsmodell an Prozess-Gruppen

  • 🆕 Neue Prozessoren

    • DeleteFile, SpliExel, PackageFlowFile, EncryptContentAge, DecryptContentAge, ListenSlack, ConsumeSlack, ListenOTLP, CalculateParquetOffsets, CalculateParquetRowGroupOffsets, FilterAttribute, PublishSlack, PutMongoBulk, PutAzureDataExplorer, PutZendeskTicket, SplitPCAP, SplitExcel

  • 🆕 Neue Services

    • BPCRecordSink, YamlTreeReader, StandardKustoIngestService, ZendeskRecordSink, ProtobufReader

  • 🆕 Neue Schema Registries

    • AmazonGlueSchemaRegistry, StandardJsonSchemaRegistry, ApicurioSchemaRegistry, DatabaseTableSchemaRegistryService

  • 🆕 Neuer Parameter Provider

    • OnePasswordParameterProvider

  • 🆕 [BETA] Unterstützung von Python als Sprache für die Entwicklung von Prozessoren. Erste neue Prozessoren für die Umsetzung von Retrieval-Augmented Generation im AI Umfeld (RAG):

    • PromptChatGPT - Anfragen an OpenAI ChatGPT senden

    • QueryChroma, PutChroma - Nutzung der Vector-Datenbank Chroma

    • QueryPinecone, PutPinecone - Nutzung der Vector-Datenbank Pinecone

    • QueryOpensearchVector, PutOpenSearchVector - Nutzung von OpenSearch als Vector-Datenbank

    • QueryQdrant, PutQdrant - Nutzung der Vector-Datenbank Qdrant

    • ChunkDocument - teilt Dokumente für die Nutzung als Embeddings auf

    • ParseDocument - parsen von unstrukturierten Textdokumenten, sowie OCR auf PDF und Bilder in "json-lines" (Daten und Metadaten) zur Verwendung als Embeddings

Upgrades

  • Unsere Prozessoren und Services für die Kommunikation mit INUBIT und dem BPC nutzen jetzt Jetty 12

  • Upgrade auf IGUASU NiFi 2.0.0M4

Cloud

  • Updates von IGUASU können jetzt selbst und zeitgesteuert eingespielt werden (zur 3.0 final)

  • Es gibt die neue Standardgruppe viewer - Nutzer in dieser Gruppe können im System nichts ändern/starten etc. sondern nur einsehen

  • Es gibt einen Bereich im Filesystem, der für Services/Prozessoren, die dies benötigen, verwendet werden kann und auch im Backup landet

  • GitHub kann nun direkt als Repository verwendet werden

Migration

  • Es wurden viele nicht mehr aktuelle oder funktional doppelte Komponenten entfernt. Die komplette Liste ist hier zu finden. Unter anderem sind dies mit möglichen Alternativen

    • Base64EncodeContent → EncodeContent

    • ConvertAvroToJSON → ConvertRecord

    • ConvertExcelToCSVProcessor → ExcelReader

    • CryptographicHashAttribute → UpdateAttribute

    • EncryptContent → EncryptContentAge/EncryptContentPGP

    • FetchElasticsearchHttp -→ GetElasticsearch

    • GetHTTP, PostHTTP → InvokeHTTP

    • GetTwitter → ConsumeTwitter

    • HashAttribute → CryptographicHashAttribute

    • HashContent → CryptographicHashContent

    • PostSlack → PublishSlack

    • PutElasticsearchHttp → PutElasticsearchJson

    • PutElasticsearchHttpRecord → PutElasticsearchRecord

    • PutSlack → PublishSlack

Dokumentation

  • Wird im User Guide oder in einem Tutorial ein Prozessor oder ein Service genauer beschrieben, dann ist dies jetzt direkt an der Komponente verlinkt

  • Neu strukturiert und um neue Features und Anpassungen ergänzt

IGUASU 2.8

Releasedatum: 05.02.2024

Highlights

  • 🆕 Records können über ZendeskRecordSink leicht in Zendesk geschrieben werden

  • 🆕 Neue Prozessoren zur Arbeit mit Parquet (CalculateParquetOffsets, CalculateParquetRowGroupOffsets)

  • 🆕 FilterAttribute - neuer Prozessor zum Filtern von Attributen

  • 🆕 PublishSlack - neuer Prozessor zum Publishen in Slack

  • 🆕 PutZendeskTicket - neuer Prozessor für die Arbeit mit Zendesk

  • Verbesserungen des Handling bei der Versionierung von Diagrammen

  • Kleine Verbesserungen der UI:

    • Globale Suche komplett über Shortcuts bedienbar

    • Leeren von Queues erfordert kein Schließen des Dialogs mehr

    • Bei "Enter-Taste" in einzeiligem Property wird die Anzeige direkt mehrzeilig

    • Einige Icons angepasst

  • Upgrade auf IGUASU NiFi 1.25.0

Cloud

  • Backup aller relevanten Daten über eigenen Operator

Dokumentation

  • Neue Shortcuts aufgenommen

  • Nutzung der NiFi-Expression-Language erläutert

  • Tutorial zur Nutzung von DynamoDB

  • Erweiterung der Beschreibung zur Wiederverwendung

IGUASU 2.7

Releasedatum: 08.12.2023

Highlights

  • 🆕 Möglichkeit zu sehen, welches Diagramm andere Nutzer gerade bearbeiten

  • 🆕 Upload von eigenes Bundles zur einfachen Erweiterung der Funktionalität oder Verwendung eines Bundles in mehreren Versionen

  • 🆕 Anzeige der Version eines Bundles (im Falle von mehreren Versionen eines Bundles)

  • Verbesserte Version der Hybrid Cloud Verbindung

    • Clustering auf der Client-Seite wird unterstützt

    • Besseres Fehlerhandling und Fehlermeldungen; konsistentes Verhalten; Versionsprüfung für zukünftige Anpassungen; etc.

  • Expression Language Unterstützung deutlich ausgebaut

    • Button, um aktive Nutzung zu starten

    • Deutliche Anzeige von Funktionen und System Variablen

    • Anzeige von Attributen, wenn diese z.B. aus vorhergehenden Ausführungen im Data-Panel vorhanden sind

  • 🆕 ListenOTLP Prozessor zur Verarbeitung von OpenTelemetry

  • 🆕 EncryptContentAge und DecryptContentAge Prozessoren zur Unterstützung der age-encryption.org-Spezifikation

  • 🆕 YamlTreeReader zur Verarbeitung von YAML als Records

  • 🆕 PackageFlowFile Prozessor

  • Wechsel auf Java 21

  • Upgrade auf IGUASU NiFi 1.24.0

  • Saxon Update 12.2

Cloud

  • Nutzung der Operator Codebasis für das BPC Projekt ermöglicht; Erweiterung der Varianten des Deployments (z.B. in Bezug auf die Registry)

  • Logging für Verwendung in Loki angepasst

  • Nutzung weiterer eigener NARs oder NARs in mehreren Versionen ermöglicht

Migration

  • Java 21 notwendig

IGUASU 2.6

Releasedatum: 12.09.2023

Highlights

  • 🆕 Viele Tabellen können als HTML/PDF/CSV exportiert werden. Beispielsweise gilt dies für die Liste der Lizenzen oder der Prozessoren aber auch z.B. für das Audit-Log

  • Die Zertifikatsverwaltung ist nun nicht mehr nur für Admins, sondern auch für normale Benutzer verfügbar. Editieren, herunterladen und löschen bleibt dem Admin vorbehalten

  • Die Ergebnisse der globalen Suche können weiter eingeschränkt werden, sodass übersichtlichere Ergebnisse vorliegen. Zur weiteren Übersichtlichkeit werden die Prozessorfarben und Icons in den Ergebnissen dargestellt

  • Das Laden von sehr großen Dateien in der Editor-Komponente und das Einfügen oder schreiben sehr großer Datenmengen in anderen Komponenten wird verhindert. Dies schützt das System und die Modelle, welche sonst z.T. die Daten halten würden

  • Elemente des Diagramms können beim Erstellen/Editieren über die Ränder gezogen werden, wobei das Diagramm dann in dieser Richtung erweitert wird

  • Gab es im Hintergrund Änderungen in einem Modul, das gerade geöffnet ist, so wird dies beim Speichern dargestellt und man kann sich entscheiden, ob man die eigenen Änderungen verwirft oder die vorhandenen überschreibt

  • 🆕 Es gibt einen neuen Record Reader zum Lesen von Excel XLSX Dateien

  • Die Provenance Tabelle im Monitoring zeigt weiter Informationen in einer Datei-Sicht

  • Im TransformXml (XSLT) läuft jetzt Saxon EE 12.2. Beim Erstellen eines neuen Prozessors wird ein initiales XSLT bereitgestellt

Cloud

  • Die Zertifikatserstellung und Verteilung zwischen IGUASU und dem BPC ist über (K8s) Operatoren automatisiert

Dokumentation

  • Erweiterung des Hybrid-Cloud-Tutorials

    • Erläuterung der technischen Hintergründe und der unterstützten Use Cases

IGUASU 2.5

Releasedatum: 17.07.2023

Highlights

  • 🆕 Kollaboration

    • Anzeige, welche anderen Benutzer gerade ebenfalls IGUASU verwenden

    • Anzeige, welche anderen Benutzer gerade eine Prozess-Gruppe ansehen bzw. editieren

  • 🆕 Benutzer-Einstellungen

    • Das Layout, Einstellungen zur Anzeige (z.B. Hilfstexte an/aus) und Präferenzen werden über Anmeldungen hinweg gespeichert und wiederhergestellt

    • Die letzte Arbeitsposition wird wiederhergestellt

  • 🆕 Der Editor des JSONataTransformJSON bringt jetzt Fehlermarkierung und Code-Completion mit

  • Kleine Verbesserungen

    • Bei der Erstellung einer Relation wird nun eine detaillierte Beschreibung der Relation angezeigt

    • Klarere Konfiguration der Quelle des XSLT bei TransformXml sowie Bereitstellung eines typischen XSLT-Templates zum Start

    • Verbesserte Attribut-Erstellung und -Bearbeitung im Data Panel

    • Verbessertes Handling beim Wechsel der Sichten bei Prozessoren mit besonderen Editoren (TransformXml, JSONataTransformJSON, ExecuteGroovyScript, …​ )

    • Anpassungen der Inhaltsansicht in einer Queue bleiben beim Wechsel auf einen anderen Eintrag nun erhalten

    • RUN ONCE geht auch bei Prozessoren, die disabled sind

  • Prozessoren

    • PutDatabaseRecord unterstützt jetzt Upserts

    • 🆕 GetAzureQueueStorage/PutAzureQueueStorage für Azure Queue Storage mit dem Azure SDK 12

    • 🆕 ModifyCompression ändert die Kompression von Daten ohne große Prozessorlast

Cloud

  • In IGUASU terminierte SSL-Endpunkte können durch den IGUASU Operator konfiguriert werden

  • Hoher Speicherbedarf von IGUASU führt nicht mehr zum Neustart der Applikation

Migration

  • TransformXml - wurde als Quelle für das XSLT eine Datei oder ein Lookup-Service verwendet, so muss diese Grundeinstellung nun einmalig an dem TransformXml ausgewählt werden

  • ListenCloud - die Relation failure wurde entfernt. Vorhandene failure-Relationen sollten entfernt werden

  • In bestehenden InvokeInubit/InvokeOnPrem und InvokeCloud Prozessoren muss das nicht mehr unterstützte Property für asynchrone Verarbeitung entfernt werden

Dokumentation

  • Beschreibung der Erstellung und Nutzung von Zertifikaten für die Hybrid-Cloud-Kommunikation mit INUBIT

IGUASU 2.4

Releasedatum: 23.05.2023

Highlights

  • 🆕 Der Editor des JSONataTransformJSON unterstützt jetzt JSONATA mit Syntax-Highlighting (Fehleranzeige und Code-Completion sind noch offen)

  • TransformXml gibt Fehler im XSLT als Bulletins aus

  • Geschwindigkeitsoptimierungen in der UI

  • 🆕 Neuer MergeMetro Prozessor (zusätzlich zu GetMetro)

    • Dieser übernimmt nicht nur den Content der vor dem PutMetro Prozessor steht, sondern mergt ihn mit dem aktuellen Content - dies kann z.B. für XML oder JSON verwendet werden

  • In der BOM/Liste der Lizenzen kann jetzt gesucht/gefiltert werden

  • Bei der Liste der Prozessoren/Services beim Hinzufügen, kann jetzt über mehrere Begriffe gesucht werden

  • 🆕 Die Hybrid-Cloud Prozessoren sind nun vollständig mit INUBIT getestet

    • ListenInubit, RespondInubit, InvokeInubit

  • Kleine Verbesserungen

    • Tooltips auch an deaktiven Buttons

    • Die Event-Tabelle selektiert immer den aktiven Event

    • Verbessertes Layout bei der User-Verwaltung/Anzeige

    • Dynamic Properties können nur noch hinzugefügt werden, wenn der Prozessor dies auch unterstützt

    • Die Testausführung von Prozessoren ist auf die Prozessoren eingeschränkt, bei denen das Sinn macht

    • Geghostete Elemente, auf die man keine Rechte hat, werden beim Editieren berücksichtigt (sind erst gar nicht editierbar, kopierbar, etc)

    • Queues beliebiger Größe werden jetzt in einem Rutsch komplett gelöscht

Cloud

  • Registries anderer Bereiche können nun auch in AWS verwendet werden (z.B. shared.virtimo.cloud)

Dokumentation

  • Die notwendigen Migrationsschritte bei lokalen Upgrades sind vollständig beschrieben

IGUASU 2.3

Releasedatum: 12.04.2023

Highlights

  • 🆕 Zertifikatsverwaltung

    • Zertifikate können zur Verwendung in Services und Prozessoren hochgeladen werden

    • Zertifikate können generiert und heruntergeladen werden

  • Verbesserungen in der UI

    • 🆕 Unterstützung der Expression Language sowie Parameter in Form von Code-Completion, Syntax-Highlighting und Inline-Dokumentation

    • Filtermöglichkeit in der Globalen Suche

    • Elemente, für die der Anwender keine Rechte hat, werden jetzt ghosted dargestellt und nicht mehr komplett ausgeblendet

    • Serverseitiges Copy&Paste an der allgemeinen Text-Komponente

    • Tooltips werden früher eingeblendet und besser gerendert

    • 🆕 Der Monaco Editor wird unterstützt und z.T. verwendet

    • Leerzeichen am Beginn und Ende eines Properties werden hervorgehoben, um Fehleingaben zu vermeiden

    • Die UI zu Parameter Providern unterstützt die Verifizierung

    • Die Properties-Sicht passt sich kleineren Auflösungen an

    • Anpassung einiger Prozessor-Icons

  • 🆕 Neue Prozessoren und Services

    • Prozessor zum Schreiben von Notifications in das BPC

    • Abrufen von Daten aus Asana

    • Interaktion mit Amazon Web Services: Polly, Textract, Translate und Transcribe

    • Daten an Salesforce senden

    • Daten in Apache IoTDB schreiben

    • Daten in Google Drive schreiben

    • Daten in Box schreiben

    • Neue Prozessoren zum Ver- und Entschlüsseln

    • Generieren von Testdaten mit unterstützung von Records

Cloud

  • 🆕 Unterstützung von Amazon EKS

    • Die IGUASU Services (z.B. der Playground) auf der Virtimo Cloud laufen jetzt alle auf Amazon EKS

  • 🆕 Kubernetes Deployment von IGUASU über einen eigenen K8s-Operator

Migration

  • Einige Properties an den Prozessoren und Services zum BPC wurden umbenannt

Dokumentation

  • Der ValidateJSON-Processor ist im JSON Tutorial beschrieben

  • Die NiFi Dokumentation (z.B. für die Beschreibung der Expression Langauge) ist auf https://docs.virtimo.net deployed

IGUASU 2.2

Releasedatum: 08.12.2022

Highlights

  • 🆕 Neue Prozessoren und Services

    • Auflisten und Abrufen von Daten über SMB

    • Abfrage von Daten aus Airtable

    • Azure Event Hub als Datensenke über AzureEventHubRecordSink verwenden

    • Auflisten und Abrufen von Daten aus Dropbox

    • Auflisten und Abrufen von Daten aus Box

    • Daten von HubSpot abrufen

    • Erfassen von Daten aus Workday

    • Daten von Zendesk abrufen

    • Daten in Apache Iceberg einspeisen

    • Daten mittels Snowpipe-Ingest in Snowflake einspeisen

    • UpdateDatabaseTable, was sehr hilfreich ist, wenn sich das Schema der Daten entwickelt und die Tabellen, in die geschrieben wird, DDL-Änderungen benötigen

    • Veröffentlichung an MQTT unter Verwendung des Record-Mechanismus, der wesentlich effizienter und flexibler ist

  • 🆕 Pre-Release von Hybrid Cloud Prozessoren und Services zur Anbindung von INUBIT an die IGUASU-Cloud (noch nicht produktionsreif!)

  • 🆕 Nutzung verschiedener Registry-Clients ermöglicht

  • 🆕 Das Vollaufen von Queues wird jetzt direkt im Diagram dargestellt

  • 🆕 Neue Informationen am Prozessor

    • Welche Attribute liest bzw. schreibt der Prozessor?

    • Ist der Prozessor nur in speziellen Rollen (z.B. Admin) verwendbar ("restricted")?

    • Welche Dynamischen Properties werden erwartet und was tun sie?

    • Hat der Prozessor einen State?

    • Kann der Prozessor eingehende Verbindungen haben bzw. benötigt er sie?

    • Nimmt der Prozessor bestimmte System Ressourcen besonders stark in Anspruch, wie z.B. MEMORY?

  • Registry

    • 🆕 Nutzung unseres Bitbucket (Git) als Backend für die Versionierung in der Registry

    • 🆕 Import und Export von Flows direkt aus der Registry

  • Dokumentation

    • Generelle Überarbeitung

    • 🆕 Neues Tutorial für die Zusammenarbeit zwischen IGUASU und dem BPC

    • 🆕 Neues Tutorial für die Arbeit mit JSON

    • 🆕 Neues How-To zu den Metro-Prozessoren

    • Die Dokumentation wird wie bisher mit installiert - ist aber zusätzlich zusammen mit den anderen Dokumentationen des Virtimo-Portfolios unter https://docs.virtimo.net/ zu finden

Migration

  • Unser eigener JSLT-Prozessor wurde entfernt, da jetzt einer mit NiFi mitkommt

IGUASU 2.1

Releasedatum: 16.08.2022

Highlights

  • 🆕 Metro Prozessoren hinzugefügt

    • Feature 1: Nutzung von FlowFiles aus vorhergehenden Steps im Flow

      • Beispiel: Der Inhalt des FlowFiles ist das Ergebnis eines externen Systems, man benötigt aber eigentlich noch das Ergebnis von drei Schritten vorher. Sonst bzw. in INUBIT gern über den Zwischenspeichern des Inhaltes in Variablen oder einen Bypass gelöst

      • → Nutzung der Metro von vorherigem Prozessor zu aktuellem

    • Feature 2: Gemeinsames Fehlerhandling

      • In IGUASU gibt es keine Scopes (wie z.B. in INUBIT). Möchte man Fehler an Prozessoren gleich über einen "gemeinsamen Strang" lösen, muss man viele chaotische Verbindungen zwischen den Prozessoren ziehen

      • → Nutzung der Metro zu einer gemeinsamen Fehlerverarbeitung

  • 🆕 Audit Log - verfügbar im Monitoring Tab

    • Zeigt alle Änderungen an der Konfiguration wie das Editieren eines Prozessor-Properties, sowie den Zeitpunkt und die Person

  • Parameter Support erweitert

    • Controller Services können Parametern zugewiesen werden (aktuell unter Nutzung der ID) und dann ganz normal an Properties verwendet werden. Damit können Controller Services (z.B. Zugriffe auf Datenbanken über DB-Pool-Services) noch besser entkoppelt werden

    • Das Scheduling (wann und wie oft ein Prozessor ausgeführt wird) kann über Parameter gesetzt werden. Somit könnte z.B. für eine Gruppe bestimmter Prozessoren das Scheduling verlangsamt oder erhöht werden

  • Upgrade auf IGUASU NiFi 1.17.0

  • Dynamische Properties können jetzt auch sensitive Werte (z.B. Passwörter) enthalten, wenn der Prozessor das unterstützt (z.B. Header-Werte an InvokeHTTP)

  • Detaillierte Metriken zum CPU-Verbrauch auf Prozessor-Ebene

  • 🆕 Neuer Prozessor erlaubt Queries auf Daten, die von Salesforce kommen

  • 🆕 Neuer ConsumeTwitter Prozessor ersetzt den bisherigen GetTwitter und nutzt die aktuelle Twitter-API

  • 🆕 Neuer Prozessor, um auf Dateien auf Google Drive zuzugreifen

  • HTTP/2 support (ListenHTTP, HandleHttpRequest)

Cloud

  • Java 17

  • AWS/EKS Support

IGUASU 2.0

Releasedatum: 22.06.2022

Highlights

  • 🆕 Neue Darstellung für die Bulletins/Fehler

    • Das Icon für die Bulletins ist in den Header gewandert

    • Es gibt ein neues zentrales Panel, das prominent eingeblendet wird, sobald Bulletins vorhanden sind

    • Es werden Bulletins für Prozessoren, Services und Reporting-Tasks sowie System-Bulletins angezeigt

    • Services und Reporting-Tasks mit Fehlern werden ebenfalls rot hervorgehoben

    • Bulletins bzw. der Fehlerstatus ("roter Prozessor") werden nicht mehr zwangsläufig für 5 Minuten angezeigt, sondern können durch den Nutzer gelöscht werden

  • 🆕 Es gibt eine neue zentrale Baumansicht aller Prozessgruppen

  • 🆕 Die verfügbaren Prozessoren bzw. Services werden in den System Informationen angezeigt

  • 🆕 An den Prozessoren wird jetzt ein konfigurierbares Retry an den ausgehenden Relations unterstützt

  • 🆕 Selektierte Elemente können nun direkt mit der Maus in Prozessgruppen verschoben werden. Ebenso können sie über das Kontext-Menü in eine beliebige Prozessgruppe verschoben werden

  • 🆕 Es wird nun eine Liste der verwendeten Softwarekomponenten mit ihren Lizenzen angeboten

  • An Properties, die Services konfigurieren, können diese nun direkt angelegt werden. Dabei kann die Prozessgruppe, an welcher der Service entstehen soll, gewählt werden

  • Ändert man Parameter-Kontexte an Prozessgruppen, so wird dies nun über einen Dialog getan, der die notwendigen Operationen wie stoppen/starten etc. und das Ergebnis anzeigt

  • 🆕 Prozessoren können jetzt auch verifiziert werden - dies dient z.B. der Prüfung, ob ein konfiguriertes System erreichbar ist

  • Die Darstellung der Dokumentation entspricht jetzt der auf docs.virtimo.net; es kann auch darin gesucht werden

  • JSONataTransformJSON kann den Output jetzt auch komplett in ein Attribut schreiben

  • 🆕 PutBPCAuditLog Prozessor

    • Zum einfachen Schreiben von Einträgen in das BPC Audit Log

  • PutBPCProcessLog Erweiterungen

    • Nach konfiguration des Zugehörigen BPC kann der BPC Logger direkt aus einer Liste der verfügbaren Logger gewählt werden

    • Gibt es schon Einträge in dem Log, kann der erste Eintrag als Template für die Erstellung abgefragt werden

  • ListenBPCFlowStarter Erweiterungen

    • Man kann nun Name und Beschreibung konfigurieren, die dann im BPC in der Auswahl zu sehen sind

    • Die BPC Session (komplettes JSON) kann optional, zur weiteren Nutzung im Flow, in ein Attribut geladen werden

  • Mit einer entsprechenden UUID kann zu Ausführungsinstanzen innerhalb von IGUASU gesprungen werden - das wird beispielsweise aus dem BPC heraus verwendet

  • Erweiterungen an XmlMerge

    • Es können jetzt alle Attribute aus allen Branches mitgenommen werden

    • Es ist jetzt möglich das Hinzufügen zusätzlicher Root-Tags zu verhindern, wenn es diese schon gibt

  • Apache NiFi auf 1.16.3 angehoben

  • JSONataTransformJSON kann jetzt auch auf Attributwerte bzw. ein leeres JSON ausgeführt werden

Migration

Die von IGUASU bereitgestellten Funktionen im JSONataTransformJSON Prozessor wurden zur Abgrenzung zu bestehenden oder eigenen Funktionen umbenannt.

  • $uuid() → $nfUuid()

  • $el(<el>) → $nfEl(<el>)

  • $attribute(<name>) → $nfGetAttribute(<name>)

  • $attribute(<name>, <value>) → $nfSetAttribute(<name>, <value>)

  • $lookup → $nfLookup(<key>)

IGUASU 1.7

Releasedatum: 09.02.2022

Highlights

  • 🆕 Neuer Virtimo Theme (abgestimmt mit BPC 4 und inubit 8)

    • Grundsätzliche wurde die Nutzung verschiedener Themes ermöglicht

  • 🆕 Neue, optionale Tabellenansicht für Attribute an allen entsprechenden Stellen in Flow

  • Filtermöglichkeit für Attribut-Sichten

  • 🆕 Erweiterungen von Parametern und Parameter-Kontexten

    • Es werden vererbte Parameter-Kontexte unterstützt

    • Aus vorhandenen Properties können direkt neue Parameter erstellt werden

    • Parameter-Kontexte können über Rechte geschützt werden

    • An einem Parameter-Kontext kann man alle Prozessgruppen sehen, die ihn verwenden

    • Die Parameter eines Kontextes können direkt an der Prozessgruppe editiert werden

    • Import und Export von Parameter-Kontexten

  • Kommentare an Controller Services werden unterstützt

  • 🆕 JSONataTransformJSON unterstützt jetzt Lookups

  • Die Rechte an Prozessgruppen können explizit vererbt oder überschrieben werden

  • Die Beschreibungen der Flows sind bei der Versionierung jetzt überall verfügbar

  • 🆕 Nutzung des Virtimo Keycloak in der Cloud (aktuell auf dev.virtimo.cloud)

    • Auch die Registry nutzt jetzt Keycloak

  • Anzeige der Versions-Informationen zu IGUASU in den System Diagnostics

  • Konsequenter Read-Only-Modus im Production-Mode

    • Das meint, dass Änderungs-Operationen immer explizit vorgenommen werden müssen

  • 🆕 Deep Links werden über die Anmeldung hinweg unterstützt

    • Zu jedem Prozessor kann ein eindeutiger Link abgerufen werden

  • Neue Tastaturkürzel für die globale Suche und die Übersicht

  • Neue Variante des TextEditors (kein Speicherleck mehr)

  • 🆕 Neuer How-to Bereich in der Dokumentation

    • Darstellung und Beschreibungen oft benötigten Funktionen in den Flows

    • Bereitstellung importierbarer Prozessgruppen zur Verdeutlichung und zum Testen

  • 🆕 Treiber, wie JDBC-Datenbanktreiber können jetzt hochgeladen und an notwendiger Stelle direkt ausgewählt werden

Migration

  • Im TransformXml Prozessor wird das JSON jetzt bei der Verwendung von 'Surround input with <xml> tag' zusätzlich mit einem CDATA Tag umgeben, damit Entity-Referenzen wie z.B. '&' keine Probleme bereiten. Sollte das CDATA schon von Hand hinzugefügt worden sein, muss dies wieder entfernt werden.

IGUASU 1.6

Releasedatum: 6. Dezember 2021

Highlights

Neue/erweiterte Virtimo Prozessoren

  • 🆕 Prozessor PutBPCProcessLog, zum Loggen von Prozess-Daten in ein Virtimo Business Process Center

    • BPCController Service zur wiederverwendbaren Konfiguration des BPC-Endpunktes

  • 🆕 Prozessor, um leicht Flows vom Business Process Center aufrufen zu können: ListenBPCFlowStarter

    • BPCListenerController Service zur Definition des zentralen Endpunktes für verschiedene Listener Prozessoren

    • ListenBPCResponder Prozessor zur kontrollierten Antwort

  • 🆕 Prozessor zum Mappen/Tranformation von JSON auf der Basis von JSONata: JSONataTransformJSON

    • Nutzung der Expression Language wird unterstützt

    • Das Lesen und Schreiben von Attributen wird unterstützt

    • Möglichkeit eines Live-Editors - jede Änderung ist direkt sichtbar

  • 🆕 Saxon EE wird für den TransformXml Prozessor mitgeliefert

  • 🆕 neuer ModifyPDF Prozessor, um Formularfelder in PDFs zu füllen

  • 🆕 neuer Minifier Prozessor, um das YAML einer Prozessgruppe für den Remote Flow automatisiert bereitstellen zu können. Darüber kann ein Remote Flow automatisch neue Versionen seiner Konfiguration beziehen

Allgemein

  • UI Update mit leichterem Erscheinungsbild

  • 🆕 Zentrale Provenance, in der die vergangenen Ausführungen aller Flows sichtbar sind

  • 🆕 Zentrales Monitoring aller verwendeten Komponenten

  • 🆕 Globale Suche

    • Freitextsuche in allen verfügbaren Komponenten, sowie Sprung in die Komponente

  • Erweiterung des User-Interfaces der Services:

    • Verlinkungen zu Prozessoren und anderen Services in beide Richtungen

    • Aktivieren/Deaktivieren aller Services einer Gruppe, sowie der Untergruppen

    • Anzeige der betroffenen, verlinkten Komponenten sowie des Erfolgs der Aktion bei jeder Komponente

  • 🆕 Speichern/Laden sowie Kopieren/Einfügen von Eingangsdaten+Attributen im Content Panel und der Queue

    • Damit können beliebige zuvor geflossene Daten einfach für die Testausführung anderer Prozessoren genutzt werden

  • Selektierte Module können im Diagramm jetzt auch mit den Cursor-Tasten bewegt werden (zusammen mit Shift Pixel-weise)

  • Zum Erstellen der Module können diese jetzt direkt per Drag-and-drop aus der Toolbar in das Diagram gezogen werden

  • Alle Relationen eines neuen Prozessors sind jetzt per Default Auto-Terminiert. Schon verbundene Relationen sind hier auch nicht mehr auswählbar. Bei der Erstellung einer neuen Relation sieht man welche Relationen schon Verbindungen besitzen

  • 🆕 Das erneute Abspielen eines Events ("Replay") wird nun unterstützt

  • In der Dokumentation werden jetzt immer alle vorhandenen Dokumentationen als Übersicht angezeigt (User Guide, Admin Guide, etc.)

  • Prozessgruppen können für einzelne User-Gruppen freigegeben werden

  • Ein hängender Prozessor, der terminiert werden kann, macht dies nun in der UI direkt deutlich

  • 🆕 Anzeige der System Diagnostics des Servers (JVM, Festplatte, etc.)

  • 🆕 Prozessgruppen können jetzt als JSON heruntergeladen werden. Dieses JSON kann dann wiederum beim Anlegen neuer Prozessgruppen verwendet werden

    • Templates werden nicht mehr unterstützt, da dieses Feature über das JSON, sowie die Verwendung der Registry/Versionierung zur Verfügung steht

  • 🆕 zur Verwendung in Remote Flow kann eine Prozessgruppe als YAML heruntergeladen werden

  • 🆕 die Registry-Benutzer können aus dem aktuellen IGUASU importiert werden

  • 🆕 Backpressure-Default kann spezifisch für einzelne Prozessgruppen konfiguriert werden

  • 🆕 Run Once zum einmaligen Start eines Prozessors/Flows

  • Parameter können auch an sensitiven Properties (Passwörtern) verwendet werden

Betrieb

  • 🆕 IGUASU läuft jetzt immer abgesichert (initial im Single-User-Modus)

  • Optimierung der Start-Skripte (z.B. durch neue iguasu-env.sh, in der etwa das verwendete Java steht)

  • Administrationshandbuch um Upgrade-Guide ergänzt

Komponenten

  • 🆕 NiFi Server 1.15.0 integriert (zuvor 1.13.x)

Cloud

  • 🆕 es werden nun Client/Server-Authentications bei HTTPS mit der Cloud unterstützt

Migration

  • da IGUASU nun initial im Single-User-Modus läuft, muss vor dem ersten Start der User mit seinem Passwort gesetzt werden (siehe Einrichtung Single User Authentication)

  • da keine Templates mehr unterstützt werden, sollten alle Templates, die nicht als Prozess-Gruppen im zu migrierenden IGUASU vorliegen, vor der Migration importiert werden. Nach der Migration können sie dann als JSON exportiert und ggf. wieder entfernt werden

  • das Starten, Stoppen etc. der Prozessoren (bzw. ganzer Prozessgruppen) ist nun nur noch über das Kontext-Menü möglich - die Knöpfe in der Toolbar wurden entfernt

IGUASU 1.5

Releasedatum: 19. Juli 2021

Highlights

Versionierung

Bereitstellung und Unterstützung der 💥IGUASU Registry 💥

  • 🆕 Versionierung von Flows (auf der Ebene der Prozess-Gruppen)

    • Versionierung eines Flows starten/stoppen

    • Versionen auflisten und ein-/auschecken

    • neue Instanz eines versionierten Flows erzeugen

  • 🆕 Wiederverwendung (von in Prozess-Gruppen gekapselten Funktionen), durch die Nutzung der Versionierung

  • 🆕 Anzeige der lokalen Änderungen

    • Markierung im Diagram

    • Liste der Änderungen mit Sprung zur Komponente

    • Darstellung von Änderungen in Sub-Gruppen

  • 🆕 Nutzung beliebig vieler unterschiedlicher Registries und Buckets in den Flows

  • 🆕 Verwaltung der Registries samt Benutzern, Gruppen und Buckets

Cloud

  • 🆕 Bereitstellung eines Prometheus-basierten Monitorings in der Cloud

  • 🆕 Liveness/Readiness-Probes für IGUASU in Kubernetes

  • Speicherkonfigurationen optimiert

Allgemein

  • verbesserte Clipboard-Operationen (Ausschneiden und beliebiges Einfügen)

  • bessere Synchronisation von Diagram und Moduleditor bei Änderungen

  • Darstellung der Ausführungen eines Prozessors erweitert

    • komplexe Ausführungslinien werden nur in Teilen geladen

    • es können auch nur die Daten der Events eines einzelnen Prozessors geladen werden (ohne die komplette Ausführung des Flows)

  • XmlTransformer (XSLT): Auflösen externer Referenzen (z.B. DTDs) abschaltbar

  • Dokumentation: Tipps zum Betrieb sowie zur Optimierung von Flows hinzugefügt

Press Esc to exit full screen
Modal image placeholder
Press Esc to exit full screen