Over deze uitdagingOnze opdrachtgever is een grote, internationale organisatie die een eigen soeverein platform bouwt om large language models op eigen infrastructuur te draaien, zonder afhankelijkheid van externe API's. Als founding engineer van een nieuw team ben jij eigenaar van hoe dat platform draait: model serving, GPU-orchestratie, observability en kosten. Het platform is greenfield, dus jij bepaalt de keuzes die ertoe doen.
Wat ga je doen
- OpenAI-compatibele inference servers opzetten en tunen op Kubernetes (vLLM, waar nodig SGLang of TensorRT-LLM)
- De GPU-omgeving beheren: NVIDIA GPU Operator, MIG/time-slicing en autoscaling met Karpenter
- Observability op tokenniveau (TTFT, latency, KV-cache) in Grafana, met SLO's en error budgets
- Het pad van nieuw model naar productie bouwen: registry, eval-gate, canary, rollout en rollback via GitOps
- Eigenaar zijn van GPU-kosten en de business case self-hosting versus managed API onderbouwen
- Security en soevereiniteit borgen: model supply chain, CVE-beheer en data residency
Wat vragen we
- Aantoonbare, diepe Kubernetes- en containerkennis
- Ervaring met Terraform en GitOps
- SRE-mindset: SLO's, error budgets, analyseren onder druk
- Kennis van LLM serving of een snel leerpad ernaartoe (batching, paged attention, quantization)
- Cloudervaring, bij voorkeur AWS
- Eerlijke, onderzoekende houding
Pré
- Speculative decoding, KServe/Ray Serve, Kueue/Volcano
- Model provenance (Sigstore, ML-BOM), Vault
- Kennis van EU AI Act en ISO 42001
- Multimodale serving (audio/vision)
StackPython, Bash, AWS (EKS), Kubernetes, Terraform, Helm, ArgoCD, vLLM, Qdrant, Postgres
Over True LegendsTrue Legends is gespecialiseerd in Mission Critical IT, met systemen die cruciaal zijn voor continuïteit, veiligheid en innovatie. Onze experts werken in Software Development, Data & AI, Cloud & Infrastructure, Business IT en Cybersecurity. We combineren technische expertise met een pragmatische aanpak, bouwen duurzame relaties en leveren maatwerk met impact. Gedreven, energiek en echt. Dat is True Legends.
Praktische info
- Locatie: Regio Amsterdam (hybride)
- Niveau: Senior
- Startdatum: In overleg

