Оценка
Продолжаю эксперименты с локальным хостингом моделей на стеке Docker + Ollama.
Пробовал разные модели под разные задачи — от лёгких для быстрых ответов до более тяжёлых для работы с кодом. На потребительском железе качество заметно уступает облачным API, но для изолированных сценариев или эксперимента вполне рабочий вариант.
Оценка
Попробовал хостить языковые модели локально — интересно как с точки зрения приватности, так и для офлайн-сценариев.
Основной стек: Docker Desktop для изоляции и воспроизводимости окружения + Ollama как runtime для запуска моделей. Контейнер с моделью поднимается одной командой, конфигурация окружения не расползается по системе — сам факт что LLM крутится на моём железе без всяких облаков, всё ещё немного удивляет.