Big Bang und fertig ist das Data Warehouse
Datenmodellierung durch Künstliche Intelligenz
Data Vault und Automatisierungstools haben die Data-Warehouse-Entwicklung drastisch beschleunigt. Die Datenmodellierung des Data-Warehouse wird allerdings weiterhin manuell erstellt. Ist es möglich und überhaupt erstrebsam diese Tätigkeit der KI zu überlassen?
Wer am besten schon morgen ein komplettes Data-Warehouse-Modell braucht, sollte nun weiterlesen. Während KI in immer mehr Tools einen assistierenden Platz einnimmt, so ist es im Fall von Flow.bi komplett umgekehrt. Die KI liest Daten und Meta-Daten aus allen verfügbaren Quellen und generiert ein Datenmodell. Der Modellierer kann zwar bestimmte Verhaltensweisen beinflussten, aber die KI arbeitet ansonsten selbstständig. Somit assisitiert der Modellierer vielmehr der KI.
Das logische Datenmodell liegt dann in Tabellenform vor und kann per JDBC-Treiber von Automatisierungstools wie z.B. Turbovault4dbt ausgelesen werden. Diese generieren daraus das fertige SQL-Statement, was dann im Data Warehouse ausgeführt wird.
Jetzt ist Datenmodellierung jedoch eine Kunst, die nicht immer nach strikten Regeln funktioniert. Vielmehr muss stets die Balance zwischen Erweiterbarkeit, Lesbarkeit oder etwa Performanz abgewogen werden. Wie kann so ein KI-generiertes Modell brauchbar sein?
Hat man ein Datenmodell, das viele hauseigene und fachlich komplexe Regeln beachten soll, so wird es die KI schwer haben dem gerecht zu werden. Hat man allerdings ein Datenmodell, das auf allgemeinen Regeln und Datenbeobachtungen basieren soll, so hat die KI in der Tat gute Karten.
Dies ist speziell in dem Fall vom Raw-Data-Vault der Fall. Im Data-Warehouse-Kern gibt es klare Regeln und es dürfen nur Geschäftsfälle modelliert werden, die so auch in den Datenquellen beobachtet wurden. Das sind sehr gute Voraussetzungen für Machine Learning. Flow.bi erkennt Business-Keys, definiert Hubs, Links und Satelliten. Gleichzeitig erstellt es eine Dokumentation. Zudem gibt es ein visuelles 3D-Modell in dem man durch einen Graphen aus Hubs, Links und Satelliten navigieren kann.
In seiner jetzigen Form kann Flow.bi allerdings nicht auf bestehende Datenmodelle eingehen. Somit ist das Re-Engineering bzw. die Erweiterung eines Raw-Data-Vault (noch) nicht möglich. Trotzdem ist Flow.bi das ideale Werkzeug um möglichst schnell ein initales Data Warehouse aufzubauen. Der Big-Bang nach dem nicht nur etwas sondern fast alles da ist. Ein initales Datenmodell bietet nicht nur die Möglichkeit möglichst schnell Data-Marts und Reports zu erstellen. Es kann auch als Muster dienen, wie ein Data-Vault aussehen muss. Gerade wenn Data-Vault neu eingeführt wird hilft es sehr die neuen Datenstrukturen erst mal zu konsumieren, bevor man sie selbst erweitert.
Datenmodellierer werden sich somit künftig um die wirklich schwierigen Fälle kümmern: Business-Vault, Data Mart und die fachlichen „Soft Rules“ die eben ihre ganz eigene Logik haben und bei mitdenkenden Menschen besser aufgehoben sind.
Bildquelle: Foto von Pic Kaca auf Unsplash
Datum: 05.02.2026
Kategorie: Data Warehouse, Datenmodellierung, Data Vault, Künstliche Intelligenz, AI, KI