Чуток покапался в Openweb UI
И вот что могу рассказать...
Можно поставить и пользоваться сервисом на своем серваке, но есть ряд проблем - чтобы эта конструкция работала нормальненько нужно 2CPU / 8ГБ / 40гб места... ну и это еще может в такой сборке лагать.... но тем неменее работать и выдавать нужные данные. Может есть серваки с более хорошей компоновкой и на GPU но лень искать было.
Необязательно использовать Ollama на своем серваке - она вообще будет слабо работать, потестил на серваке, на компе, на микро-компе - в итоге я бдумал самый лучший вариант на какомнить игровом компе Ollama запускать чтобы GPU за счет видюхи могла тащить все эти вычисления. Я запускал на CPU и хоть он и работал, но ответ зачастую выдавался супер долго и устанешь ждать пока он все решит и ответит.
Какие модели брать? - Берем ключ от OPenAI и все большая часть моделей будет доступно по API работать будет в разы быстрей, еще можно подключать через n8n+openRouter Другие модели - полезно будет Perplexity, Sonnet, gemini - Все в рамках одного интерфейса можно запускать. Плюс на n8n можно делать интересные Rag-агенты с базой знанйи и Агенты с промптами -для спец задач.
Сыроватый инструмент - может зависать... нужно больше чем 20 минут для развертки стека на серваке, может подойти для Работы в офисе - чтобы без впна подключаться и просетникие задачки решать текстового формата. Лучше будет сделать TG бота и к нему подключить Агента с более точечным инструментарием и точным промптом как им пользоваться.