Notizen aus der Praxis souveräner KI-Infrastruktur

Henrik

AI Gateway, API Gateway, Gateway API und Co: Eine Landkarte durch die Gateway-Verwirrung

Warum Gateway in Cloud Native und AI inzwischen alles Mögliche bedeutet und wie man trotzdem nicht komplett den Überblick verliert.

Reyan, Christian

Self-Hosting Gemma 4 on Kubernetes with KServe and vLLM

How we ran the Gemma 4 31B instruction-tuned model on a single A100 80GB GPU using KServe and vLLM, including the custom runtime, PVC setup, tuning flags, verification, monitoring, and troubleshooting notes.

Dieser Beitrag ist aktuell nur auf Englisch verfügbar.