KI-gestützte Pipeline zur automatisierten Generierung produktionsreifer 3D-Assets aus Concept Art mittels SAM, Trellis.2/Pixal3D und LangChain-Agenten
Gaming Studio
Medien und Verlage
50-250 Mitarbeiter
Dieses Projekt umfasste die Konzeption und Implementierung einer agentenbasierten Pipeline zur automatisierten Überführung von 2D-Concept-Art in strukturierte 3D-Assets. Kern des Projekts war die semantische Segmentierung von Concept-Art-Vorlagen mittels Segment Anything Model (SAM), die anschließende Extraktion einzelner Bildkomponenten sowie deren Weiterverarbeitung zu 3D-Assets über generative Modelle (Trellis.2 / Pixal3D). Besonderes Augenmerk lag auf der Erzeugung sauberer, weiterverarbeitbarer Topologien für den nachgelagerten Einsatz in Produktionspipelines. Die Orchestrierung der einzelnen Verarbeitungsschritte erfolgte über einen mit LangChain entwickelten Agenten, der Segmentierung, Komponentenextraktion und Asset-Generierung eigenständig steuert.
AI-fähige Metadatenmodellierung und Bereitstellung des Data Lakes mittels LLMs
Industrie und Maschinenbau
500-1000 Mitarbeiter
Metadatenstrategie und semantische Aufbereitung
Analyse bestehender Metadatenstrukturen innerhalb der Data-Lake-Umgebung
Weiterentwicklung von Metadaten, Beschreibungen und Datenkontexten zur Unterstützung AI-gestützter Dateninteraktion
Aufbereitung fachlicher und technischer Metadaten zur besseren Verständlichkeit für nicht-technische Nutzer
Definition von semantischen Beschreibungen, Datenbeziehungen und Business-Kontexten für zentrale Datenprodukte
Verbesserung der Auffindbarkeit und Interpretierbarkeit von Datenbeständen innerhalb der Plattform
Exponierung des Data Lakes über Databricks Genie
Bereitstellung ausgewählter Data-Lake-Inhalte über Databricks Genie für fachliche Nutzergruppen
Ermöglichung natürlichsprachlicher Datenabfragen für nicht-technische Anwender
Konzeption einer nutzerfreundlichen Zugriffsschicht auf kuratierte Datenprodukte
Unterstützung von Self-Service-Analytics durch AI-gestützte Datenexploration
Reduzierung technischer Einstiegshürden bei der Nutzung von Daten aus dem Data Lake
Services
Azure Databricks
Databricks Genie
Databricks Unity Catalog
Delta Lake
Data Lakehouse
Apache Spark / PySpark
dbt
Data Governance
Self-Service Analytics
Modernisierung der Datenarchitektur mit Azure Databricks Live Tables und Databricks Asset Bundle
Automobil und Fahrzeugbau
500-1000 Mitarbeiter
Entwicklung einer umfassenden Datenstrategie und eines Governance-Frameworks für eine Datenmanagementplattform auf Databricks
Transport und Logistik
500-1000 Mitarbeiter
Projektzusammenfassung:
In diesem „Leuchtturm“-Projekt leitete ich die Entwicklung einer robusten Datenstrategie und eines Governance-Frameworks mit dem Ziel, die Datenverarbeitungskapazitäten der Organisation zu optimieren und zu verbessern. Kern des Projekts war der Aufbau einer hochperformanten Datenmanagementplattform auf Databricks, ergänzt durch das Design und die Implementierung einer effizienten Data-Hub-Ingest-Plattform.
Leitung des Designs und der Etablierung einer unternehmensweiten Datenstrategie, ausgerichtet an Geschäftszielen und technologischen Fortschritten
Entwicklung eines umfassenden Daten-Governance-Frameworks zur Gewährleistung von Datenqualität, Datenschutz und Einhaltung von Branchenstandards
Überwachung der Bereitstellung und Anpassung der Datenmanagementplattform auf Databricks, Verbesserung der Datenverarbeitung, Analyse und Reportingfähigkeiten mit Power BI
Entwicklung eines robusten Data-Hubs mit hochperformanter Ingest-Pipelines basierend auf AWS EventBridge,
Optimierung des Datenflusses von verschiedenen Quellen zu zentralisierten Speichersystemen (Data Lake House auf Azure)
Zusammenarbeit mit funktionsübergreifenden Teams zur Integration der Datenmanagementplattform in die bestehende IT-Infrastruktur und Geschäftsprozesse
Durchführung von Schulungen und Workshops für neue Teams, Förderung einer datengetriebenen Kultur und Verbesserung der Datenkompetenz in der gesamten Organisation
Services:
Azure Databricks
Databricks Data Catalog
AWS EventBridge
Kinesis
Event Hub
Structured Streaming (Apache Spark)
Innovative Integration und Analyse von Logistikdatenströmen mit PySpark Structured Streaming und Data Mesh-Implementierung
Transport und Logistik
500-1000 Mitarbeiter
Projektzusammenfassung:
Dieses Projekt konzentrierte sich auf die anspruchsvolle Integration von Logistikdatenströmen mit Event Hub und Kafka unter Verwendung von PySpark Structured Streaming. Unser Ansatz revolutionierte die Art und Weise, wie Logistikdaten in Echtzeit erfasst, verarbeitet und durch den Graphen-Ansatz verknüpft werden konnten. Durch den Einsatz von Technologien wie GraphFrame, Azure Synapse Analytics, Apache Spark und PowerBI etablierten wir ein robustes System, das nicht nur eine hohe Datenqualität und reibungslose Übertragung gewährleistet, sondern auch den IT-Governance-Prinzipien entspricht.
Integration eines Logistikdatenstroms mit Kafka durch PySpark Structured Streaming
Definition der notwendigen Datenstrukturen für den Datenstrom
Robuste und effiziente Integration des Logistikdatenstroms mit Event Hubs
Echtzeitnutzung von Logistikdaten für Analyse und Weiterverarbeitung
Entwurf und Implementierung von Pipelines zur Erfassung, Verarbeitung und Weiterleitung des Datenstroms
Effiziente Datenverarbeitung mit PySpark Structured Streaming
Konfiguration und Initialisierung des PySpark Streaming-Jobs
Durchführung umfassender Test- und Überwachungsmechanismen
Gewährleistung einer reibungslosen Datenübertragung und hoher Datenqualität
Services:
Azure Synapse Analytics
Purview Data Catalog
Apache Spark
Event Hub
Structured Streaming
GraphFrame
Azure Storage v2
PowerBI
Verbesserte Datenverarbeitungs- und Integrationssysteme für E-Commerce mit serverlosen und verteilten Data-Mesh-Architekturen
Konsumgüter und Handel
1000-5000 Mitarbeiter
Projektzusammenfassung:
In diesem Projekt war meine Hauptaufgabe, verschiedene interne E-Commerce-Produktteams bei der Entwicklung, Implementierung und Wartung leistungsfähiger Datenverarbeitungs- und Integrationssysteme zu leiten und zu unterstützen. Der Schwerpunkt lag auf der Migration bestehender Datendienste und -pipelines zu einer neuen, verbesserten Architektur, wobei die Entwicklung eines eventbasierten Systems unter Verwendung serverloser Technologien und Big-Data-Frameworks betont wurde.
Unterstützung und Anleitung bei der Migration der bestehenden Datendienste, Pipelines und Assets auf eine neue und weiterentwickelte Architektur
Entwicklung eines eventbasierten Systems
Verwendung von Lambda-Funktionen und PySpark
Integration mit Kafka
Design- und Architekturplanung
Implementierung von Lambda-Funktionen und PySpark-Jobs
Konfiguration und Verbindung mit Kafka
Serverlose Architektur für Skalierbarkeit und Verfügbarkeit
Verarbeitung und Analyse von Ereignisdaten in Echtzeit
PySpark-Transformationen, Filterungen und Aggregationen
Effiziente und zuverlässige Verbindung mit Kafka
Konfiguration, Sicherheitseinstellungen und Integration mit anderen Komponenten
Umfangreiche Tests und Überwachungsmechanismen
Hochperformantes und skalierbares Event-System
Gewinnung wertvoller Erkenntnisse aus Ereignisdaten
Datengetriebene Entscheidungsfindung
Services:
AWS Glue
Apache Spark
Data Catalog
S3
Athena
Redshift
Lambda
ECS
Step Functions
Umsetzung verteilter Data Mesh Architekturen, damit verschiedene Produktteams effizient mit Daten arbeiten können
Datenverarbeitung mit Big-Data-Frameworks und Datenbanktechnologien
Bereitstellung der Architektur nach DevOps-Best-Practices und Infrastructure-as-Code (AWS CDK & Terraform)
Migration und Verbesserung der E-Commerce-Datenplattform zur AWS Data Lakehouse-Architektur
Konsumgüter und Handel
500-1000 Mitarbeiter
Projektzusammenfassung:
Dieses Projekt beinhaltete die strategische Entwicklung und Migration bestehender Analytics-Datenpipelines in eine Data Lakehouse-Architektur unter Nutzung von AWS-Diensten. Ein wesentlicher Aspekt war die Verbesserung der Big-Data-Lake-Umgebung und die Gewährleistung strenger Datenqualitäts- und Compliance-Standards, insbesondere im Hinblick auf die DSGVO.
Weiterentwicklung der Big Data Lake Umgebung in AWS
Umsetzung und Konzeption eines Data Lakehouse
explorative Analyse sowie Algorithmenentwicklung durch Datenbereitstellung und -aufbereitung (AWS Glue, Spark, Lambda)
Data Ingestion
Entwicklung von Data Pipelines, ETL-Jobs zur Bereitstellung von konsumfertigen Datenquellen (AWS Glue, AWS Redshift, Spark, PySpark)
Regressionstest und Qualitätsprüfung in den Datenstrecken und Data Lake
Entwicklung einer Architektur und Implementierung einer Big-Data-Umgebung für konzernweite, standardisierte Plattformdienste auf Basis von Azure
Transport und Logistik
5000-10.000 Mitarbeiter
Projektzusammenfassung:
Dieses Projekt umfasste die Entwicklung und Implementierung einer standardisierten Big-Data-Architektur für konzernweite Plattformdienste im Transport- und Logistiksektor unter Verwendung verschiedener Azure-Dienste. Meine Rolle war entscheidend, um die Integration von Datentransparenz, Datenqualität, DataOps, die Einhaltung von Datenvorschriften und die Implementierung agiler Methodologien sicherzustellen.
Erarbeitung von Lösungen in Projekten zu Azure und Automatisierung und Vorstellung/ Diskussion derselben
Azure-Services: Azure Data Catalogue, Azure Synapse Analytics, Azure Data Factory, Azure Databricks
Automatisierter Aufbau der Infrastruktur mit Infrastructure as Code (Terraform) und Ansible
Scrum, JIRA, Gitlab, Docker
Umsetzung Echtzeit-Datenübertragung mit Apache Kafka
Beratung zu Azure Plattformstrategie bzgl. Referenzarchitekturen
Entwicklung von Mechanismen und Automatismen zur proaktiven Beseitigung von Schwachstellen der Azure- und Kubernetes-Komponenten auf Basis standardisierter Cluster (Security by default)
Konzeptionelle Weiterentwicklung der architektonischen und technologischen Plattform im Bereich Container-Orchestrierung auf Basis von Kubernetes, Continuous Integration & Continuous Deployment
Erstellung Benutzer- und Berechtigungskonzepte unter Berücksichtigung der Konzernvorgaben
Betriebsführung der angebotenen Services
Agil arbeitendes Team
Services:
Azure Data Catalogue (Purview),
Azure Synapse Workspace Analytics,
Azure Data Factory,
Azure Databricks
Terraform
Gitlab Runner
Azure DevOps
exali Berufshaftpflicht-Siegel
Das original exali Berufshaftpflicht-Siegel bestätigt dem Auftraggeber, dass die betreffende Person oder Firma eine aktuell gültige branchenspezifische Berufs- bzw. Betriebshaftpflichtversicherung abgeschlossen hat.
