Нейросеть Сбера Kandinsky 2.1 может бесплатно генерировать изображения по текстовому описанию

Новая генеративная модель Сбера Kandinsky 2.1 способна всего за несколько секунд создавать высококачественные изображения по их текстовому описанию на естественном языке, сообщает пресс-служба Сбербанка.

Она также может смешивать несколько рисунков, изменять их по текстовому описанию, генерировать изображения, похожие на заданное, дорисовывать недостающие части картинки и формировать изображения в режиме бесконечного полотна (inpainting/outpainting). Модель понимает запросы на 101 языке (включая русский и английский) и умеет рисовать в различных стилях.

Фото: пресс-служба Сбербанка

Нейросеть разработали и обучили исследователи Sber AI при партнёрской поддержке учёных из института искусственного интеллекта AIRI на объединённом датасете Sber AI и компании SberDevices.

Новая модель Kandinsky 2.1 унаследовала веса предыдущей версии, обученной на одном миллиарде пар «текст – изображение», и была дополнительно обучена на 170 миллионов пар «текст – изображение» высокого разрешения. Затем она дообучалась на отдельно собранном датасете из двух миллионов пар качественных изображений. В этот сет попали картинки с описаниями в таких традиционно сложных для нейросетей областях, как тексты и лица людей.

Нейросеть также была усовершенствована за счёт новой обученной модели автоэнкодера, которая используется в том числе в качестве декодера векторных представлений изображений. Это кардинально улучшило генерацию изображений в высоком разрешении: лица, сложные объекты и так далее. Благодаря этому новая модель содержит 3,3 миллиарда параметров вместо двух миллиардов в Kandinsky 2.0.

Кроме того, Kandinsky 2.1 использует не только закодированное текстовое описание, но и специальное представление изображения моделью CLIP. В таком виде нейросеть формирует представление картинки на основе текстовой информации и подаёт его на вход основной генеративной модели.

Модель умеет визуализировать любой контент и может применяться в различных отраслях. К примеру, в банковской сфере её можно использовать для создания персонализированных маркетинговых решений, ярких образов продуктов, привлечения и удержания внимания клиентов.

– Обучая Kandinsky 2.1, мы учли мнения пользователей и реализовали смелую гипотезу, изучив самые передовые концепции. В результате мы разработали мощное универсальное решение для широкого круга задач на уровне лучших мировых аналогов. Оно открывает колоссальные возможности как для бизнеса, так и для населения. По сути, это ещё один важный шаг к AGI – сильному искусственному интеллекту. Думаю, у каждого найдётся задача для Kandinsky 2.1, и поэтому улучшенная модель, как и её предыдущая версия, находится в открытом доступе: протестировать её может любой желающий, причём бесплатно, – говорит первый заместитель председателя правления Сбербанка Александр Ведяхин.

СПРАВКА:

• Оценить возможности нейросети можно на промо-странице модели, при помощи команды «Запусти художника» на умных устройствах Sber и в мобильном приложении Салют и на платформе ML Space в хабе предобученных моделей и датасетов DataHub. Модель также доступна для использования на платформе Fusion Brain и в Telegram-боте.
• Sber AI – подразделение Сбера, отвечающее за развитие технологий искусственного интеллекта и их внедрение в различные сферы жизни и бизнеса.

По инф. Телеинформа

• Расскажите об этом своим друзьям!

• Давайте приготовим баклажаны «под шубой»
  
  Селедку «под шубой» знают практически все, а вот баклажаны «под шубой» - нет. Давайте восполним этот пробел. Блюдо можно приготовить и для угощения здесь и сейчас, и также для зимних заготовок.
• Какие заготовки можно сделать в декабре
  
  Консервировать в декабре можно и нужно плоды айвы. Из нее можно приготовить вкуснейшие компоты, цукаты, желе, варенье и другие сладости. Также для консервации зимой сгодятся апельсины и лимоны. Для переработки оптимально подойдут поздние сорта айвы, собранные в конце октября — начале ноября, дозревшие во время недолгого хранения.
• Как ухаживать за недотрогой и Ванькой мокрым, то есть за бальзамином
  
  Немногим растениям удается долго удерживаться на пике популярности. Одним из рекордсменов, которому удается оставаться желанным гостем подоконников уже около ста лет, является бальзамин комнатный. Секрет в том, что в домашних условиях уход за этим растением не затруднит даже хозяев-новичков, а продолжительное, обильное и яркое цветение мало кого оставит равнодушным.
• Снег на даче пригодится, а как его удержать?
  
  Немало дачников строят различные ограждения, чтобы задержать на своем участке снег. Зачем они это делают?
• Как избавить дачу от мышей
  
  Большой проблемой дачников зимой являются мыши. Грызуны могут подпортить собранный урожай, принести опасные заболевания. Как же бороться с мышами на даче?
• Что в начале зимы делать дачникам в своем саду
  
  В начале декабря дачникам рекомендовали убрать с деревьев фрукты, которые остались на них с осени. Такой совет дала ученый-агроном и ландшафтный дизайнер Анастасия Коврижных.
• Сорта винограда, которым зима… ну почти нипочем
  
  Виноград – очень многим нравится эта культура. Но не для всех российских регионов она подходит. Есть ведь очень холодные территории. Но и виноград нынче боевой, морозостойкий. Иному и тридцатиградусные морозы нипочем.
• Дачные растения с целебными свойствами
  
  На участке можно вырастить немало растений, которые не только порадуют своими плодами, но и помогут в лечении разных болезней. Наверное, их нужно запомнить?
• Чем на даче может помочь березовый деготь
  
  Чуть ли не кaждый огородники мучается на своём участке с тем или иным врeдителем. То мыши наносят огромный урон, но кроты в нeкоторых регионах вспахивают всю дачу, то зайцы за зиму объeдают кору на деревьях. Избавиться от всех вредителей может помочь одно нaтуральное средство.
• Ваш интерьер освежит колумнея
  
  В сравнении сo свoими ближайшими рoдственниками – сенпoлией, стрептoкарпyсoм, глoксинией или кoлерией, эта представительница рoда геснериевых не так пoпyлярна y цветoвoдoв-любителей. А жаль... Красивoцветyщая лианка колумнея спoсoбна стать yкрашением любoгo интерьера и эффектно его освежить.
• Дачнику всегда пригодится узнать побольше о теплоизоляционных материалах
  
  Сохранить тепло в помещении и сэкономить на энергоресурсах хозяевам помогут теплоизоляционные материалы. Это разумное решение при строительстве или ремонте дома. На рынке наиболее востребованы около 5-7 разновидностей стройматериалов этой категории. Все они имеют сильные и слабые стороны.
• Что делать на участке в холодное время года: сад
  
  На зимние месяцы активность у садоводов снижается, наступает время подготовки к многочисленным  праздникам. Но для настоящих любителей сада и в этот период найдется немало работы, особенно если позволяет погода.
• Особенности ухода за комнатными растениями в ноябре
  
  Наступил ноябрь. В этом месяце есть свои тонкости ухода за комнатными растениями. Кому-то из них понадобится тепло, а другим наоборот прохлада. Многим в отопительный сезон необходим будет душ.
• Когда проводить генеральную уборку сада?
  
  Есть два лагеря садоводов. Одни наводят порядок осенью в страхе болезней и вредителей, чтобы чисто было, да и «некогда весной будет убираться». Вторые ограничиваются минимумом осенней уборки. Я принадлежу к последним.
• В чем польза мульчирования?
  
  Что такое мульча? Для чего необходимо мульчирование? В чем отличие хорошей и прокисшей мульчи? Ответы на эти вопросы обязательно пригодятся садоводам и огородникам.
• Ноябрьские тезисы для садовода и огородника
  
  Ноябрь в разгаре. В связи с приходом последнего осеннего месяца не лишними будут советы садоводам и огородникам, что же нужно делать и наоборот не делать в этот период.
• Как приготовить баклажаны по-итальянски
  
    Если на участке растут баклажаны, огородников интересуют и способы их приготовления. Например, баклажаны можно приготовить по-итальянски. Фаршированные мясом с зеленью, запеченные под томатным пюре и сыром в духовке. Такие баклажаны получаются сытными и очень вкусными.
• Как в домашних условиях ухаживать за стромантой
  
    Приобретая строманту, нужно быть готовым к тому, что ухаживать за ней придется каждый день. В теплое время года лучше всего для такого цветка подходит температура воздуха от 22 до 25 °C, а зимой следите за тем, чтобы в комнате не было прохладнее 18 °C.
• Ноябрьские дела садоводов и огородников
  
    Наступил ноябрь. Что надо сделать любителям шести соток в саду и на огороде в этом месяце обязательно, а что можно перенести на весну? А если на дачу удастся выбраться всего лишь один раз или два? Ответы на эти злободневные вопросы даны ниже.
• Популярный домашний цитрус - кумкват
  
    Многие цветоводы-любители хотят, чтобы их зеленые питомцы не только радовали глаз, но и приносили практическую пользу, например давали съедобные плоды. Одно из таких плодоносящих растений, получивших в последнее время довольно широкое распространение – кумкват. Это цитрус, выращиваемый в домашних условиях.