optillm

OptiLLM, model eğitimi gerektirmeyen ve akıl yürütme görevlerinde başarım oranını artıran OpenAI API uyumlu bir çıkarım ve optimizasyon sunucusudur. Yazılım; best-of-N, MCTS, planlama ve Mixture of Agents gibi 20'den fazla optimizasyon tekniğini destekler. LiteLLM entegrasyonu sayesinde OpenAI, Anthropic, Google ve 100'den fazla modeli proxy üzerinden çalıştırabilir.

OP

optillm

Yeni80

algorithmicsuperintelligence · API Ağ Geçidi & İstemci

YILDIZ4.3K
ÇATAL396
COMMIT0
KATKICI0
SÜRÜMv0.4.0
GÜNCELLEME19 gün önce
PythonLLMProxyÇıkarımApache-2.0

Bu kategorideki yaygın ticari ürünler: Apigee, AWS API Gateway, Azure API Management

Ne yapar?
  • Mevcut API çağrılarını OptiLLM üzerinden yönlendirerek model eğitimi yapmadan matematik, kodlama ve mantıksal akıl yürütme görevlerinde doğruluk oranını artırırsın.
  • OpenAI uyumlu istemcilerde model adlarına ön ek ekleyerek Mixture of Agents veya benzeri gelişmiş optimizasyon tekniklerini devreye sokarsın.
  • LiteLLM desteği ile OpenAI, Anthropic ve Google dahil 100'den fazla farklı modeli tek bir proxy uç noktası üzerinden yönetirsin.
Kullanıcı yorumları
  • • NötrHacker News

    Optillm: Eklentilerle Optimize Edici Bir Çıkarım Proxy'si

    “Optillm, test zamanı hesaplamasını kullanarak yanıtların doğruluğunu iyileştirmeyi amaçlayan bir düzineden fazla teknik içeren optimize bir çıkarım vekilidir. Son birkaç ay içinde, gpt-4o-mini gibi daha küçük ve daha az yetenekli modeller kullanarak birkaç SOTA sonucu belirledik. Son zamanlarda...”

  • • NötrGitHub Issue

    z3-çözücü yüklenemiyor, lean4 desteklemek mümkün mü?

    “Merhaba 1.Can yüklemek z3 çözücü, lean4 desteklemek mümkün mü? 2.Is alfageometriyi desteklemek mümkün mü? Geometri problemleri için, alfageometriye giden yol, ama ne kadar çaba harcayacağımı bilmiyorum?”

GitHub

Notum

Alternatif sayfaları

Aynı kategoride: API Ağ Geçidi & İstemci