Geri dön: Katalog

vllm-rlt

Döngülü transformatörler için vLLM'dan ilham alan bir çıkarım motoru, döngü düzeyinde zamanlama ve çalıştırılabilir aşamalar arasında.

VL

vllm-rlt

Yeni70

InferMatrixLab · Yapay Zeka / LLM / RAG

YILDIZ213
ÇATAL34
COMMIT0
KATKICI0
SÜRÜMv0.1.0
GÜNCELLEMEdün
inference-enginellmtransformerApache-2.0

Bu kategorideki yaygın ticari ürünler: ChatGPT, Claude, Gemini

Ne yapar?
  • Üç yerli model: Sabit derinlikli veya öğrenilmiş erken çıkışlı Ouro-1.4B
  • Measured hizmet performansı: aşağıdaki B300 ShareGPT C8 iş yükü üzerinde,
  • Loop-aware çalışma zamanı: sürekli partisyon, derinlik farkında sayfa KV ve opt-in
Kullanıcı yorumları
  • • NötrGitHub Issue

    [RFC] Module boundaries and incremental refactoring of the RLT inference runtime

    “## Summary This RFC proposes a module-by-module refactoring of vllm-lt, grounded in detailed code walkthroughs. The goal is to establish clear responsibilities, state ownership, and interfaces while preserving recurrent looped transformer (RLT) semantics: loop-level batching,…”

  • ↑ OlumluGitHub Issue

    [RFC] Speculative Decoding for rlt

    “## 1. Motivation Native RLT decoding executes all recurrent loops before producing each token. At low request concurrency, the small token batch can leave GPU capacity underused. This proposal uses shallow loops to draft tokens, reuses their hidden states and KV, and batches the…”

GitHub

Notum

Alternatif sayfaları

ChatGPT alternatifleriClaude alternatifleriGemini alternatifleri

Aynı kategoride: Yapay Zeka / LLM / RAG