kserve
Kubernetes üzerinde ölçeklenebilir, çok framework destekli dağıtım için standartlaştırılmış bir üretken ve tahminsel AI çıkarım platformudur. CNCF incubating projesidir. vLLM ve llm-d, OpenAI uyumlu protokol, model önbelleği, KV cache offloading ve istek tabanlı otomatik ölçekleme sunar.
KS
kserve · MLOps & Yapay Zeka Altyapısı
YILDIZ6.2K
ÇATAL1.8K
COMMIT0
KATKICI0
SÜRÜMv0.21.0
GÜNCELLEMEbugün
artificial-intelligencecncfgenaihacktoberfestApache-2.0
Bu kategorideki yaygın ticari ürünler: Weights & Biases, Amazon SageMaker, Databricks
Ne yapar?
- Kubernetes üzerinde LLM'leri vLLM veya llm-d ile servis edebilirsin
- OpenAI uyumlu çıkarım protokolüyle LLM'lere mevcut istemcilerinle bağlanabilirsin
- TensorFlow, PyTorch, scikit-learn, XGBoost ve ONNX modellerini aynı platformda sunabilirsin
Kullanıcı yorumları
- • NötrHacker News
ML-on-Edge and Beyond Using Snaps, KServe and Kubeflow
“In this article using Snapcraft, MicroK8s and KServe, Rafał builds a secure, scalable and self-updating ML on the Edge delivery system for a device fleet running UbuntuCore.”
README ile doğrulandı · 29 Eki 2026 · kaynak