Студенты Университета Иннополис разработали ИИ-сервис «НейроХудожник». С его помощью можно сгенерировать картину по наброску.

Примеры генерации картин

Для работы сервис использует несколько нейросетей. BLIP-large определяет, что нарисовал пользователь, а модифицированный Stable Diffusion v 1.5 генерирует набросок в картину. Создать рисунок можно в четырех стилях: пейзажиста Ивана Шишкина, основоположника супрематизма Казимира Малевича, автора классических аниме Хаяо Миядзаки и уличного художника Бэнкси.

«Обучение нейросетей мы провели на 1 000 картинах художников, чтобы уловить особенности и детали работ каждого. Дополнительно установили в приложение блок поверх второй модели, который следит за тем, что нарисовал пользователь, и контролирует пространственную информацию 40% первых шагов. Благодаря этому итоговая ИИ-картина получается похожей на изначальный набросок», — объясняет студент Университета Иннополис и ML-специалист «НейроХудожника» Яков Сапаров.

Презентация проекта прошла на XIV Международном экономическом форуме «Россия — Исламский мир: KazanForum». Тогда 438 участников форума нарисовали свои картины с помощью приложения на стенде Университета Иннополис. А всего за время работы сервиса «НейроХудожником» воспользовались более 6 000 человек. Чаще всего пользователи выбирали стили Хаяо Миядзаки и Ивана Шишкина.

Сейчас команда «НейроХудожника» работает над расширением коллекции стилей и направлений и дорабатывают алгоритмы искусственного интеллекта для улучшения качества картин. Также в планах выпуск мобильного приложения.