Оценка
Открыл для себя Ollama — пожалуй самый простой способ запустить LLM на своём железе. ollama run llama3 — и модель уже отвечает, REST API поднимается автоматически, никакой возни с зависимостями и конфигами.
Подкупает именно этот «докерный» подход к моделям: pull, run, list — знакомые глаголы, только вместо образов — модели. Пока присматриваюсь, гоняю лёгкие модели и смотрю на что хватает потребительского железа.