Data Engineer / OpenSearch Expert (m/f/d)

SPIRIT/21 GmbH
Ansprechpartner: Lukas Duschek
BERLIN,  Deutschland
100% RemoteFreiberuflichStart 9/2026Dauer 12 Monate100% Auslastung
ITDatenbankenData ArchitectureDatenendeinrichtungDatenbank-SuchmaschineData IntelligenceDatenbank-EnginesDatenforschungSuche (Informatik)Datenbank-OptimierungDatenstrategieDatenprogrammierung

Beschreibung

Für ein anspruchsvolles Data-Plattform-Projekt suchen wir einen erfahrenen Data Engineer mit Schwerpunkt OpenSearch, Vector Search und Suchoptimierung.
Projektschwerpunkte
Sie unterstützen bei der Optimierung und Skalierung einer bestehenden Such- und Datenplattform im Enterprise-Umfeld. Der Fokus liegt auf der Analyse und Verbesserung von Suchqualität, Performance sowie der Skalierung großer OpenSearch-Cluster.
Aufgaben
  • Analyse und Optimierung von Semantic Search und Hybrid Search Use Cases
  • Verbesserung der Search Relevance, z.B. durch Optimierung von:
  • Chunking-Strategien
  • Scoring-Mechanismen
  • Ranking-Verfahren
  • Performance-Tuning und Query-Optimierung:
  • Profiling und Analyse langsamer Suchanfragen
  • Überarbeitung von Queries zur Reduzierung von Latenzen
  • Nutzung von Cache-basierten Filtern statt Scoring-Queries, wo sinnvoll
  • OpenSearch Cluster- und Infrastruktur-Optimierung:
  • Shard-Sizing und Shard-Management
  • Load Balancing zwischen Data Nodes
  • Index Lifecycle Management (ILM)
  • Beratung bei der Auswahl geeigneter Data-Node-Instanzen basierend auf Last- und Suchmustern
  • Unterstützung bei Betrieb und Skalierung großer OpenSearch-Umgebungen
Must-have Skills
  • Sehr gute Erfahrung mit OpenSearch
  • Erfahrung mit Vector Search, insbesondere:
  • Approximate Nearest Neighbours (ANN)
  • HNSW (Hierarchical Navigable Small World)
  • Filtered Vector Search
  • Fundierte Kenntnisse in Semantic Search und Hybrid Search
  • Nachweisbare Erfahrung in der Optimierung von Search Relevance
  • Tiefgehendes Know-how in Query Performance Tuning
  • Erfahrung mit Shard & Cluster Tuning
  • Kenntnisse in Index Lifecycle Management (ILM)
Nice-to-have
  • Erfahrung mit GenAI-, RAG- oder Knowledge-Search-Plattformen
  • Cloud-Erfahrung (AWS, Azure oder GCP)
  • Erfahrung mit Embeddings und Vektor-Datenbanken

Bewerben