M.Sc. Communication and Media Engineering (Hochschule Offenburg)
Rastatt, Deutschland
Deutschland +2
info: Deutschland, Österreich, Schweiz
M.Sc. Communication and Media Engineering (Hochschule Offenburg)
Profilanlagen
Lebenslauf_ArockiaNirmal_AmalaDoss.docx
CV_ArockiaNirmal_AmalaDoss.docx
Skills
JavaAPIsApache AirflowAmazon Web ServicesMicrosoft AzureBash ShellBusiness IntelligenceBig DataCloud ComputingDatenbankenContinuous IntegrationETLData MigrationData VaultData WarehousingRelationale DatenbankenDatenbank DesignDatenbankentwicklungDatenbankabfragenDatenbank-SchemaDevOpsDimensionale ModellierungAmazon DynamoDBJ2EEGitHubGroovyJava SEPythonMariaDBMicrosoft Sql-ServerMySQLOracle Data Service IntegratorOnline Transaction ProcessingOracle DatabasesRedisMicrosoft Power BIAnsibleSQLSQL Server Reporting ServicesSQL Server Integration ServicesSQL Server Analysis ServicesSubversionTalendTypeScriptAWS CDKDocker ContainerdbtGrafanaApache SparkAWS ECSGitLabGitDatenbank-MigrationAmazon RdsPySparkAWS AuroraDebezium.ioAWS GlueStar-SchemaApache KafkaAtlassian BitbucketCloudwatchRestful ApisTerraformAmazon Elastic Mapreduce (EMR)DockerJenkinsAmazon Redshift
Ergebnisorientierter Data Engineer mit umfassender End-to-End-Erfahrung über den gesamten Data-Engineering-Lifecycle - von der Infrastrukturbereitstellung über Datenmodellierung, ETL-/ELT-Pipelines und Data Warehousing bis hin zur Cloud-Architektur. Nachweisliche Erfolge in der Konzeption und Implementierung leistungsstarker, skalierbarer Datenplattformen für unterschiedlichste Organisationen.
Technische Kenntnisse
Programmier- und Skriptsprachen: Python, Java, SQL, Bash, Groovy, Typescript Cloud-Plattformen: AWS, Azure Datenbanken: Microsoft SQL Server, MySQL, MariaDB, Oracle, Amazon Aurora, Redshift, DynamoDB, Redis Datenmodellierung & Data Warehousing: OLTP-Datenbankdesign, Data Vault 2.0, Dimensionale Modellierung (Star/Snowflake-Schema, Kimball-Methodik) Big-Data-Technologien: Apache Spark, Kafka, Iceberg, Amazon Kinesis, Data Firehose, EMR Datenmigration: AWS Database Migration Service (DMS), Debezium ETL/ELT & Orchestrierung: SQL Server Integration Services (SSIS), Oracle Data Integrator (ODI), Talend Open Studio, AWS Glue, dbt, Apache Airflow DevOps & CI/CD: Docker, Jenkins, Terraform, Ansible, AWS CDK, Amazon ECS, Git (GitLab, Bitbucket, GitHub), Subversion (SVN), Jenkins Datenvisualisierung & BI Tools: Power BI, Amazon QuickSight, SQL Server Reporting Services Monitoring & Logging: Grafana, OpenSearch, Amazon CloudWatch APIs & Integration: REST APIs
Sprachen
DeutschverhandlungssicherEnglischMuttersprache
Projekthistorie
AI & Data Architect (freiberuflich/Teilzeit)
Unternehmensname vertraulich
Pharma und Medizintechnik
50-250 Mitarbeiter
Senior Data Engineer (freiberuflich)
Unzer Group GmbH, Berlin (Germany)
Banken und Finanzdienstleistungen
1000-5000 Mitarbeiter
Führte eine ganzheitliche Analyse der bestehenden Datenplattform (Terraform, dbt, AWS Redshift, Amazon RDS, Apache Airflow) durch, mit Fokus auf Sicherheit, Skalierbarkeit und Einhaltung von Best Practices; erstellte einen detaillierten Bewertungs- und Maßnahmenbericht für das Management
Verantwortete die Modernisierung der Analytics- und Transformationsschicht durch die Migration von über 200 geschäftskritischen Legacy-SQL-Skripten und Python-basierten ETL-Jobs nach dbt, wodurch Wartbarkeit, Testbarkeit und Release-Stabilität signifikant verbessert wurden
Konzipierte und implementierte Airflow-basierte Orchestrierung für dbt-Modelle zur automatisierten, abhängigkeitssensitiven Ausführung von Transformationspipelines
Entwickelte ein Kafka-basiertes CLI-Tool zur flexiblen Produktion und Konsumierung von Logs aus unterschiedlichen Quellen und Zielsystemen zur Unterstützung von Debugging-, Replay- und Monitoring-Anforderungen
Architekt einer skalierbaren Data-Lake- und Analyseplattform mit Apache Iceberg, vollständig neu aufgebaut
Konzipierte Datenreplikation von RDS MariaDB zu einem S3-basierten Data Lake und Amazon Redshift mittels AWS DMS und MSK; erhöhte Datenverfügbarkeit für Reporting und reduzierte RDS-Leistungsengpässe um 30 %
Implementierte Audit-Log-Ingestion mit Amazon Kinesis Data Firehose, Streaming nach OpenSearch und S3 für fortgeschrittene Analysen und langfristige Speicherung
Entwickelte sichere, skalierbare RESTful APIs mit AWS API Gateway und Amazon Cognito zur autorisierten Datenabfrage
Entwickelte AWS-Bedrock-basierte KI-Agenten, um dem Top-Management Ad-hoc-Analysen auf dem Data Lake zu ermöglichen
Entwarf eine fehlertolerante Datenverarbeitungsarchitektur mit Amazon ECS und automatischem Skalieren von Task-Definitionen, die eine nahtlose tägliche Verarbeitung von Datensätzen über verteilte containerisierte Dienste zur Synchronisation von Ladestationsdaten und API-Integration ermöglicht
Entwickelte skalierbare Datenpipelines mit Apache Airflow und temporären AWS-EMR-Clustern, CI/CD-Integration via GitLab, zur täglichen Verarbeitung von 500 GB NLP-Daten; erreichte 99,9 % Verfügbarkeit und reduzierte die Laufzeit um 40 % gegenüber herkömmlichen Python/AWS-Glue-Prozessen
Arbeitete eng mit Data Scientists zusammen zur Definition komplexer Datenanforderungen; bereitgestellte, kuratierte Datensätze verbesserten die Modellgenauigkeit
Entwickelte Grafana-Dashboards zur Visualisierung von Metriken aus AWS CloudWatch, EMR und Airflow; ermöglichte proaktives Monitoring der NLP-Pipeline mit 99,9 % Betriebszeit
Kunde: Feb 2022 – Juli 2023 Swiss Life, Hannover (Deutschland) Data Migration & Reporting Specialist (freiberuflich)
Leitete Migration von geschäftskritischen, lokalen SQL-Server-Datenbanken (2 TB) zu AWS Aurora MySQL mit AWS DMS; erzielte vollständige Datenintegrität ohne Verlust
Automatisierte Infrastrukturbereitstellung mit Terraform und Bitbucket Pipelines; reduzierte Deployment-Zeit und beseitigte manuelle Konfigurationsfehler
Entwarf eine Reporting-Datenbank auf Amazon RDS SQL Server; entwickelte optimierte Stored Procedures zur Datenaufbereitung und schnelleren Berichterstellung
Entwickelte Power-BI- und SSRS-Reports, die 5 internen Abteilungen fundierte Entscheidungsgrundlagen lieferten
Leistete kritischen Support für interne Kunden bei AWS-basierten Data-Science- und Engineering-Projekten; optimierte Datennutzung, löste Probleme und stellte Infrastruktur gemäß SLA bereit
Entwickelte robuste Architektur zum Integrationstesten von Terraform-AWS-Modulen mit Python und Boto3; beschleunigte die Validierung für über 5 interne Teams
Automatisierte Test-Workflows mit GitLab CI/CD zur kontinuierlichen Prüfung von AWS-Infrastrukturmodulen; reduzierte Fehler um 70 % und erhöhte die Betriebssicherheit
Entwickelte ELT-Lösungen auf Oracle-Basis mit Oracle Data Integrator (ODI) zur Verarbeitung von >50 GB täglicher Daten
Architekt einer Jenkins-basierten CI/CD-Pipeline zur Automatisierung von Data-Warehouse-Rollouts; reduzierte Bereitstellungszeit um 60 % und eliminierte 90 % manueller Eingriffe
Entwickelte Java- und Groovy-Skripte zur Erweiterung von ODI-Workflows und Jenkins-Pipelines; automatisierte Datenvalidierungen und senkte die Fehlerquote um 80 % bei über 10 Produktiv-Releases
Entwickelte leistungsstarke ETL-Lösungen mit Talend Open Studio und PostgreSQL/MySQL zur Verarbeitung von Event-Daten für Echtzeitanalysen in BI- und Data-Science-Teams
Migrierte veraltete PHP- und Python-ETL-Skripte zu Talend Open Studio ohne Downtime; beschleunigte Verarbeitung um 40 % für über 10 Datenprozesse
Entwickelte Echtzeit-Datenpipelines mit Apache Kafka zur Übertragung von Webereignissen (Klicks, Nutzerinteraktionen) in PostgreSQL
Agierte als Interims-Product-Owner für das Data-Engineering-Team; priorisierte Backlogs und koordinierte über 5 Projekte teamübergreifend in agilen Sprints
Entwickelte ein umfassendes Framework zur Datenqualitätsbewertung in SQL Server; ermöglichte systematische Validierung über diverse Datenquellen
Gestaltete eine benutzerfreundliche Oberfläche mit Microsoft Access zur Verwaltung der Datenqualitätsprozesse
Verfasste die Masterarbeit zum Thema „Untersuchung und Bewertung der Qualität kundenbereitgestellter Rohdaten“ mit Fokus auf Methoden zur Steigerung der Datenverlässlichkeit
Kernkompetenzen: SQL, ETL, Datenmodellierung, SQL Server Database, SQL Server Integration Services (SSIS), Microsoft Access.
Data Warehouse Analyst (Festanstellung)
Verizon Data Services India Pvt. Ltd., Chennai (Indien)
Telekommunikation
>10.000 Mitarbeiter
Entwickelte und führte Teradata-SQL-Testskripte mit SQL Assistant und BTEQ zur Validierung von Data-Warehouse-Funktionalitäten aus
Erstellte Testpläne, -fälle und -prozesse für UNIX-/Teradata-basierte Data-Warehouse-Anwendungen basierend auf Anforderungsanalysen
Koordinierte Integrationstests zwischen Data-Warehouse- und Anwendungsteams zur Sicherstellung von Qualität und Interoperabilität
Hauptansprechpartner für Produktion, Entwicklung und SIT; verantwortlich für effektive Kommunikation und Problemlösung
Führte tägliche Statusgespräche mit Entwicklungsteam und Kunden zur Abstimmung und Problemerkennung
Kernkompetenzen: SQL, ELT, Datenmodellierung, Teradata- Datenbank, HP Quality Center, Datenbanktests.
Zertifikate
Azure Data Fundamentals (DP-900)
Microsoft
2025
AWS Certified Data Engineer – Associate
AWS
2024
AWS Certified Database - Specialty Certification
AWS
2023
AWS Certified Developer - Associate
AWS
2022
Terraform Associate
HashiCorp
2022
Apache Airflow Fundamentals/DAG Authoring
Astronomer
2022
Kontaktanfrage
Einloggen & anfragen.
Das Kontaktformular ist nur für eingeloggte Nutzer verfügbar.
