GPUStack

GPUStack, yapay zeka model servisi ve GPU örnekleri sağlamak amacıyla geliştirilmiş açık kaynaklı bir GPU küme yöneticisidir. Şirket içi sunucular, Kubernetes kümeleri ve bulut ortamlarındaki birden çok GPU'yu tek bir merkezden yönetir; vLLM, SGLang ve TensorRT-LLM gibi çıkarım motorlarını otomatik olarak yapılandırır. Düşük gecikme veya yüksek verimlilik için önceden ayarlanmış modlar sunar ve otomatik arıza kurtarma, yük dengeleme, kimlik doğrulama gibi kurumsal operasyon özellikleri barındırır.