Оценка
Oobabooga Text Generation WebUI — веб-интерфейс для локального запуска языковых моделей с поддержкой разных бэкендов и форматов квантизации.
Попробовал как альтернативу Ollama когда нужно больше контроля над параметрами генерации — temperature, top-p, repetition penalty и всё остальное прямо в UI без написания кода. Удобен для экспериментов с моделями: быстро переключаться, сравнивать, играться с промптами.
Для production-сценариев избыточен, но как инструмент исследования и настройки моделей — очень наглядный.