Ferro Labs AI Gateway: Yüksek Performanslı API
Ferro Labs AI Gateway, yüksek performanslı bir yapay zeka geçidi olarak Go dilinde geliştirilmiştir. Bu uygulama, 30 farklı sağlayıcı üzerinden LLM isteklerini tek bir OpenAI uyumlu API ile yönlendirme yeteneğine sahiptir. Kullanıcılar, 2.500'den fazla modelle etkileşime geçebilir ve uygulama, 1.000 eşzamanlı kullanıcı içinRPS'ye kadar çıkabilmektedir. Minimal bağımlılıklar ve düşük bellek kullanımı, uygulamanın öne çıkan özellikleri arasındadır.
Uygulama, kullanıcıların hızla kurulum yapabilmesi için çeşitli dağıtım seçenekleri sunar. Docker, Go veya doğrudan ikili dosya olarak hızlı bir şekilde başlatılabilir. Ayrıca, gelişmiş yönlendirme stratejileri, yanıt önbelleği, kelime filtreleme ve harcama kontrolü gibi özelliklerle donatılmıştır. Bu sayede, hem performans hem de güvenlik açısından kullanıcıların ihtiyaçlarını karşılamaktadır.
