LLMOps Engineer – Sovereign AI Platform

Amsterdam
Amsterdam
Data & AI

Wil jij als founding engineer een eigen LLM-platform neerzetten, op infrastructuur die volledig in eigen beheer is? Als LLMOps Engineer bepaal jij hoe open-weight modellen worden geserved, hoe de GPU-omgeving schaalt en wat het kost. Greenfield, senior en hybride in regio Amsterdam.

Over deze uitdagingOnze opdrachtgever is een grote, internationale organisatie die een eigen soeverein platform bouwt om large language models op eigen infrastructuur te draaien, zonder afhankelijkheid van externe API's. Als founding engineer van een nieuw team ben jij eigenaar van hoe dat platform draait: model serving, GPU-orchestratie, observability en kosten. Het platform is greenfield, dus jij bepaalt de keuzes die ertoe doen.

Wat ga je doen

  • OpenAI-compatibele inference servers opzetten en tunen op Kubernetes (vLLM, waar nodig SGLang of TensorRT-LLM)
  • De GPU-omgeving beheren: NVIDIA GPU Operator, MIG/time-slicing en autoscaling met Karpenter
  • Observability op tokenniveau (TTFT, latency, KV-cache) in Grafana, met SLO's en error budgets
  • Het pad van nieuw model naar productie bouwen: registry, eval-gate, canary, rollout en rollback via GitOps
  • Eigenaar zijn van GPU-kosten en de business case self-hosting versus managed API onderbouwen
  • Security en soevereiniteit borgen: model supply chain, CVE-beheer en data residency

Wat vragen we

  • Aantoonbare, diepe Kubernetes- en containerkennis
  • Ervaring met Terraform en GitOps
  • SRE-mindset: SLO's, error budgets, analyseren onder druk
  • Kennis van LLM serving of een snel leerpad ernaartoe (batching, paged attention, quantization)
  • Cloudervaring, bij voorkeur AWS
  • Eerlijke, onderzoekende houding

Pré

  • Speculative decoding, KServe/Ray Serve, Kueue/Volcano
  • Model provenance (Sigstore, ML-BOM), Vault
  • Kennis van EU AI Act en ISO 42001
  • Multimodale serving (audio/vision)

StackPython, Bash, AWS (EKS), Kubernetes, Terraform, Helm, ArgoCD, vLLM, Qdrant, Postgres

Over True LegendsTrue Legends is gespecialiseerd in Mission Critical IT, met systemen die cruciaal zijn voor continuïteit, veiligheid en innovatie. Onze experts werken in Software Development, Data & AI, Cloud & Infrastructure, Business IT en Cybersecurity. We combineren technische expertise met een pragmatische aanpak, bouwen duurzame relaties en leveren maatwerk met impact. Gedreven, energiek en echt. Dat is True Legends.

Praktische info

  • Locatie: Regio Amsterdam (hybride)
  • Niveau: Senior
  • Startdatum: In overleg

Solliciteer direct

Uploading...
fileuploaded.jpg
Upload mislukt. Max. grootte is 10MB.
Verzenden
Bedankt!
Bedankt voor je sollicitatie! Je aanmelding is succesvol bij ons binnengekomen. We nemen zo snel mogelijk contact met je op.
Oeps! Er is iets fout gegaan bij het verzenden. Probeer het nogmaals.

Neem contact op met NAME voor meer informatie