Яндекс представил новую технологию диффузионной нейросети Yandex AI Rendering Technology (YandexART), которая создает изображения и анимацию в ответ на текстовые запросы пользователей. Она обладает знаниями о российском культурном коде, знает известные места и города страны, выдающихся личностей разных эпох и знакомых с детства персонажей мультфильмов и сказок, таких как Чебурашка, богатыри и Баба-Яга. Нейросеть уже интегрирована в приложение Шедеврум и помогает иллюстрировать рекламные объявления в Яндекс Бизнесе, а в будущем будет доступна и в Клавиатуре и других сервисах компании.
YandexART создает изображения и анимацию с использованием метода каскадной диффузии: сначала нейросеть генерирует картинки и кадры в соответствии с запросом пользователя, а затем постепенно увеличивает их разрешение, добавляя детали. В сравнении с предыдущей версией диффузионной модели, использованной в Шедевруме, YandexART создает более реалистичную и детализированную графику. По результатам внутренней оценки асессоров Яндекса, ее результаты превосходят предыдущую модель в 60% случаев.
Для улучшения качества работы нейросети разработчики увеличили размер обучающего набора данных в 1,5 раза — до 330 миллионов картинок с текстовым описанием. Для обучения YandexART используются самые эстетичные изображения, которые отбираются с помощью трех режимов фильтрации. Новый алгоритм распознавания текстов помогает нейросети лучше понимать пожелания пользователей. Кроме того, нейросеть более точно прорабатывает особенности лиц, глаз и рук, что позволяет ей создавать фотореалистичные портреты.
Для улучшения качества генерации используется дообучение с подкреплением. Специалисты компании просматривают несколько сотен или тысяч изображений, созданных с помощью YandexART, и отмечают удачные и неудачные примеры. Это позволяет нейросети лучше понять, как наилучшим образом изображать животных, персонажей, объекты, явления и многое другое.
Где работает YandexART
- В Шедевруме YandexART помогает пользователям генерировать изображения и видео. С момента запуска приложения они создали более 100 миллионов генераций.
- При создании рекламных объявлений в Яндекс Бизнесе можно выбрать подходящую иллюстрацию из числа уже сгенерированных нейросетью YandexART. В нейростоке Яндекс Бизнеса представлено около 3000 картинок для 650 видов деятельности. Они доступны для 82% рекламных кампаний и уже сейчас используются почти в каждом пятом размещении.
- Скоро в Яндекс Клавиатуре с помощью YandexART можно будет сгенерировать картинку по текстовому описанию и установить её в качестве фона.
О Шедевруме
Шедеврум — это мобильное приложение Яндекса, в котором пользователи могут создавать видео, изображения и тексты с помощью нейросетей. YandexART генерирует картинки и анимацию, а YandexGPT позволяет получать содержательные посты с заголовком и подходящей по смыслу иллюстрацией. Сразу после запуска в апреле 2023 года Шедеврум попал на первые строчки российских топов App Store и Google Play. C тех пор его установили более 6,5 миллионов пользователей.
О Яндекс Бизнесе
Яндекс Бизнес — это сервис для автоматического запуска интернет-рекламы в поиске Яндекса, в Яндекс Картах, на сайтах и в приложениях более чем 55 000 партнёров. Сервис ориентирован на рекламодателей из сегментов малого и среднего бизнеса. С Яндекс Бизнесом не нужно обладать специальными знаниями или навыками — сервис настраивает и запускает рекламу автоматически. Он анализирует аудиторию, создаёт рекламные объявления и размещает их именно там, где есть потенциальные клиенты.
О Яндекс Клавиатуре
Яндекс Клавиатура — это виртуальная клавиатура для мобильных устройств. Она делает переписку ещё удобнее: помогает набирать тексты точно и без ошибок. Нейроподсказки и нейросвайп позволяют значительно ускорить этот процесс. В Клавиатуре есть переводчик, который поддерживает более 100 языков, и голосовой ввод. Яндекс Клавиатура доступна на Android, iOS и в приложении Яндекс с Алисой.