kserve
Kubernetes üzerinde ölçeklenebilir, çok framework destekli dağıtım için standartlaştırılmış bir üretken ve tahminsel AI çıkarım platformudur. CNCF incubating projesidir. vLLM ve llm-d, OpenAI uyumlu protokol, model önbelleği, KV cache offloading ve istek tabanlı otomatik ölçekleme sunar.
KS
kserve · MLOps & AI Infrastructure
STARS6.2K
FORKS1.8K
COMMITS0
CONTRIBUTORS0
VERSIONv0.21.0
UPDATEDtoday
artificial-intelligencecncfgenaihacktoberfestApache-2.0
Common commercial products in this category: Weights & Biases, Amazon SageMaker, Databricks
What can it do?
- Kubernetes üzerinde LLM'leri vLLM veya llm-d ile servis edebilirsin
- OpenAI uyumlu çıkarım protokolüyle LLM'lere mevcut istemcilerinle bağlanabilirsin
- TensorFlow, PyTorch, scikit-learn, XGBoost ve ONNX modellerini aynı platformda sunabilirsin
User reviews
- • NeutralHacker News
ML-on-Edge and Beyond Using Snaps, KServe and Kubeflow
“In this article using Snapcraft, MicroK8s and KServe, Rafał builds a secure, scalable and self-updating ML on the Edge delivery system for a device fleet running UbuntuCore.”
Verified against README · Oct 29, 2026 · source