Новости Сбера на AI Journey: ИИ научился распознавать язык жестов, создавать музыку и сдавать ЕГЭ

Сбер рассказал об ИИ-модели распознавания РЖЯ, сдаче ЕГЭ по обществознанию GigaChat, декларации об ответственном экспорте ИИ, кодексе этики в сфере ИИ, продакшен-модели для русского языка, генерации уникальной музыки и о создании трека и клипа с помощью ИИ на конференции AI Journey. Об этом сообщает пресс-служба компании.

Ученые Сбера представили ИИ-модели, способные распознавать русский жестовый язык

Сбер представил нейросетевые модели, позволяющие распознавать русский жестовый язык. Об этом на конференции AI Journey сообщил старший вице-президент, СTO, руководитель блока «Технологи» Сбербанка Андрей Белевцев.

Команда Vision RnD (из управления экспериментальных систем машинного обучения) в SberDevices, разрабатывающая одно из таких решений, первой в мире представила прототип общения с генеративной языковой моделью при помощи жестового языка в открытом доступе. Это стало возможно благодаря использованию GigaChat API, программного интерфейса доступа к сервису GigaChat. Генеративная модель GigaChat сама, без дополнительных преобразований, понимает контекст распознанных жестов. Например, распознанные отдельные слова: «я, идти, улица, гулять» сервис сам преобразовывает в корректную фразу: «Я пошел гулять на улицу», сохраняя контекст передачи информации.

Текущая версия модели позволяет распознавать более 2,5 тысячи жестов, включая понимание дактиля (произношение слов по буквам) и возможность распознавать составные жесты. Кроме того, модель понимает терминологию по темам банковской сферы, транспорта, животных и даже несколько слов из сферы медицины и образования. Этот объем покрывает существенную часть словаря русского жестового языка, позволяя создавать сервисы с нужным прикладным применением.

На базе этой модели были обучены нейросети для распознавания американского жестового языка, которые заняли первую строчку в публичном рейтинге WLASL-2000. Достичь такого результата позволило использование самого разнообразного и большого в мире датасета для распознавания русского жестового языка – Slovo. Датасет и обученная на нем модель выложены в открытый доступ.

Другая команда исследователей (из подразделения Sber AI во благо общества) разработала и опубликовала в открытом доступе легкую модель распознавания жестового языка, не требовательную к вычислительным ресурсам. Модель работает на CPU, что снижает себестоимость решений, создаваемых на ее основе. Это дает возможность широкому кругу разработчиков проектировать инклюзивное программное обеспечение, например, продукты и сервисы для коммуникации или инструменты для изучения жестового языка. На сегодняшний день алгоритм распознает 1,6 тысячи жестов и преобразовывает в слова до трёх жестов в секунду на стандартных персональных компьютерах. В 2024 году планируется тестирование и внедрение модели распознавания русского жестового языка и решений на ее основе в ряде регионов России.

– Сервисы для распознавания русского жестового языка и созданная Сбером система искусственного интеллекта GigaChat позволят преодолеть коммуникационный разрыв и сделают мир доступнее для людей с нарушением слуха. Модели могут использоваться в рамках исследований, позволяющих развивать сервисы для пользователей с инвалидностью. Например, для создания доступной среды в многофункциональных центрах (МФЦ), в транспортной отрасли (аэропорты, вокзалы, метро), в больницах для общения пациента и врача, в банковских сервисах и адаптации онлайн и офлайн-образования, – говорит Андрей Белевцев.

Специалисты института образования ВШЭ подтвердили эрудицию GigaChat в области социальных наук

Нейросетевая модель GigaChat выполнила все задания единого государственного экзамена по обществознанию и набрала 67 баллов, что превышает минимальный балл для подачи в вуз (45 баллов) и средний балл по предмету в 2023 году (56,4 балла). Об этом в рамках конференции AIJ 2023 рассказал вице-президент по цифровым поверхностям «Салют» Сбербанка Денис Филиппов.

В ходе испытаний проверялись способности обновлённой версии GigaChat, в основе которой лежит одна из наиболее продвинутых моделей для русского языка с 29 миллиардами параметров.

Для проведения эксперимента был выбран предмет «Обществознание» – дисциплина в школе, которая прививает знания по экономике, юриспруденции, социальным наукам. Таким образом, успешная сдача этого экзамена свидетельствует о высокой степени зрелости модели в вопросах социальных норм, экономических и юридических законов.

Для проверки знаний GigaChat использовались только актуальные тестовые задания 2024 года, размещенные на сайте ФИПИ. Перед экспериментом команда удостоверилась, что эти задания не применялись для предварительного обучения модели. Ответы GigaChat проверил сперва независимый эксперт НИУ ВШЭ, а затем валидизировала экспертная комиссия института образования ВШЭ. Оценивались не только корректность постановки задач и достоверность фактологических ответов GigaChat, но и качество выполнения творческих (открытых) заданий.

– Для нас важно оценивать эффективность GigaChat не только по техническим метрикам, но и с точки зрения обычного человека – способен ли сервис помочь в какой-то отдельной области знаний, насколько модель сообразительна, креативна. Для такой оценки хорошо подходят тесты, используемые в системе образования, включая ЕГЭ. Результаты экзамена говорят о том, что GigaChat хорошо эрудирован в области социальных наук. Значит, наш искусственный интеллект «понимает» основные законы общества и ориентируется в вопросах морали. Это ещё одно свидетельство, что пользователи могут использовать наш сервис для решения реальных задач, связанных с фактологией – достаточно в естественной форме задать вопрос, и GigaChat выдаст точный ответ или поможет разобраться в сложной теме, – рассказал Денис Филиппов.

– Наши эксперты оценивали знания GigaChat независимо от исследовательских и инженерных команд Сбера. Мы проверяли ответы так же, как если бы их давал обычный выпускник школы. По результатам видно, что нейросетевая модель не только обладает достаточным уровнем фактических знаний, но также способна логически мыслить и выбирать лучшее решение из возможных, – говорит директор института образования ВШЭ Евгений Терентьев.

Эксперимент, аналогичный проведённому совместно с ВШЭ, скоро сможет повторить каждый желающий – разработчики GigaChat готовят к публикации на GitHub специальный скрипт. Он позволит «одной кнопкой», без необходимости вручную вбивать тексты заданий, протестировать, как нейросетевая модель Сбера сдаёт ЕГЭ.

Российские компании подписали декларацию об ответственном экспорте ИИ

В рамках международной конференции AI Journey компании альянса в сфере искусственного интеллекта и ряд других представителей индустрии подписали декларацию об ответственном экспорте технологий искусственного интеллекта и программного обеспечения на их основе. К декларации присоединились Сбер, СберМедИИ и СберБизнесСофт, группа компаний ЦРТ, Яндекс, VisionLabs и Федеральная служба по техническому и экспортному контролю России. Подписание состоялось в присутствии заместителя председателя правительства России Дмитрия Чернышенко.

Декларация устанавливает этические принципы и стандарты поведения, которыми стоит руководствоваться разработчикам при экспорте собственных гражданских решений в сфере искусственного интеллекта.

Стандарты включают как общие принципы и правила, так и конкретные рекомендации по вопросам взаимодействия с иностранными контрагентами и уполномоченными государственными органами. Подписывая документ, декларанты подтвердили готовность ответственно относиться к вопросам экспорта в сфере ИИ и договорились делиться лучшими практиками по взаимодействию с зарубежными партнёрами.

– Сегодня ведущие российские разработчики принимают декларацию об ответственном экспорте технологий искусственного интеллекта. Нам критически важно совместно с лидерами отрасли не допустить неконтролируемого распространения ИИ-решений, защитив при этом интересы государства. Разработчики это прекрасно понимают, поэтому поддержали нашу инициативу, – считает Дмитрий Чернышенко.

– Подписание соглашения – важная веха в развитии рынка искусственного интеллекта нашей страны. Стоит уделить особенное внимание созданию сообщества национальных компаний-разработчиков, готовых применять чёткие стандарты безопасной деятельности при экспорте ИИ-решений. Наши приоритеты – повышенная ответственность, контроль и соблюдение российского законодательства, – сообщил первый заместитель председателя правления Сбербанка Александр Ведяхин.

Ещё 11 компаний, включая международные, присоединились к кодексу этики ИИ

Национальный кодекс этики в сфере искусственного интеллекта (ИИ) подписали 11 новых участников, в том числе четыре иностранные компании. Торжественная церемония прошла во время восьмой международной конференции «Путешествие в мир искусственного интеллекта» (AI Journey). Подписание состоялось в присутствии Дмитрия Чернышенко.

В число подписантов кодекса вошли четыре российские компании – Россельхозбанк, Росбанк, «Авито», «Эмбедика» – и четыре иностранных участника – из Таджикистана, Узбекистана и Кубы. Также к кодексу присоединились РЭУ имени Плеханова, НМИЦ имени В. А. Алмазова и Северо-Восточный федеральный университет имени М. К. Аммосова.

– Сегодня участники подписывают кодекс этики в сфере ИИ – первый в нашей стране инструмент мягкого регулирования. Ранее к документу присоединились более 330 организаций, включая зарубежные. Развивая технологии искусственного интеллекта в России, необходимо прежде всего ориентироваться на интересы граждан и обеспечивать их информационную безопасность. В 2021 году мы впервые подписали кодекс этики Госключом, а сегодня продолжаем эту традицию. Совместно с участниками кодекса мы продолжим создавать новую цифровую экосистему, достигая по поручению президента Владимира Путина технологического суверенитета, – рассказал Дмитрий Чернышенко.

– Альянс в сфере искусственного интеллекта – одна из основных площадок, на которой происходит постоянное взаимодействие между представителями рынка. Важно, что к альянсу постоянно присоединяются новые участники. В этом году наряду с российскими компаниями кодекс подписали несколько международных. Благодаря этому работа по выработке актуальных этических норм в области искусственного интеллекта охватывает всё большее число компаний и стран, а кодекс становится всё более глобальным, – говорит Александр Ведяхин.

Сбер объявил о создании продакшен-модели для русского языка

На международной конференции по искусственному интеллекту AI Journey разработчики Сбера анонсировали новую версию сервиса GigaChat, в основе которого лежит одна из наиболее продвинутых моделей для русского языка с 29 миллиардами параметров. В числе первых доступ к API новинки вскоре получат бизнес-клиенты Сбера – для реализации собственных решений, а также участники академического сообщества – для проведения исследований.

Благодаря новой LLM, GigaChat лучше следует инструкциям и может выполнять более сложные задания: значительно улучшилось качество суммаризации, рерайтинга и редактирования текстов, ответов на различные вопросы. Команда сравнила ответы новой и предыдущей моделей и зафиксировала общее повышение качества на 23%. При этом с фактологией анонсированная модель справляется на 25% лучше предыдущей версии.

Для достижения таких результатов было проведено множество экспериментов по улучшению модели и повышению эффективности её обучения. В частности, использовался фреймворк для обучения больших языковых моделей с возможностью шардирования весов нейросети по видеокартам, что позволило сократить потребление памяти на них.

По результатам внутренней оценки в бенчмарке MMLU (Massive Multitask Language Understanding) модель новой версии GigaChat с 29 миллиардами параметров превосходит самый популярный открытый аналог LLaMA 2 34B.

– Обучение моделей, лежащих в основе GigaChat, – это масштабный и сложный вычислительный проект, прежде мы не делали ничего подобного. Суммарное количество вычислительных операций почти в шесть раз превысило количество операций при обучении модели ruGPT-3 с 13 миллиардами параметров в 2021 году. Также специально для GigaChat мы собрали и развиваем уникальный датасет, над которым работают сотни сотрудников Сбера, помогая развивать и улучшать качество ответов в самых разных доменах. Благодаря этим усилиям пользователи с каждым новым релизом GigaChat получают максимум от сервиса для решения своих задач, – говорит Андрей Белевцев.

Узнать больше о возможностях GigaChat и посмотреть примеры удачных запросов можно в базе знаний о сервисе. В разработке GigaChat участвуют команды SberDevices и Sber AI при поддержке института искусственного интеллекта AIRI и ряда отраслевых экспертов, привлечённых для передачи GigaChat различных предметных знаний.

Пользователи GigaChat смогут генерировать уникальную музыку по текстовому запросу

Скоро GigaChat сможет генерировать музыкальные треки по произвольным текстовым запросам пользователей. Об этом рассказал Денис Филиппов в рамках международной конференции по искусственному интеллекту AI Journey 2023.

Для генерации музыки человеку будет достаточно сформулировать задачу, например, «Сочини весёлую музыку в стиле кантри» или «Напиши трек для лаундж-зоны бизнес-центра». В ответ GigaChat будет выдавать аудиофайл с уникальной музыкальной композицией и нотную партитуру в формате MIDI, который понимает любая DAW (Digital Audio Workstation). Пользователь сможет прослушать и скачать получившийся трек, а MIDI-файл использовать в собственных творческих проектах (редактировать гармонии, изменять аранжировку и получать разнообразные варианты звучания трека) и даже в музыкальном продакшене.

Генерация музыки в GigaChat возможна благодаря интеграции нейросетей CLaMP и SymFormer. Для обучения SymFormer использовались платформа ML Space на базе суперкомпьютера Christofari и датасет из более 200 тысяч композиций разных стилей: от классики до современной электронной музыки и рока. Модель для генерации треков основана на принципе рассмотрения музыки в качестве нотного текста – в этом помогла адаптация подхода text-2-image к нотному домену.

Создание музыкальных треков происходит в несколько этапов:

1. Первый этап. С помощью модели CLaMP текстовый запрос пользователя обрабатывается и конвертируется на понятный для генератора мелодий язык;
2. Второй этап. Полученные данные, включая информацию о стиле, попадают в SymFormer, где происходит генерация нескольких вариантов мультидорожечного трека, из которых нейросеть выбирает наиболее удачные варианты по стилю и композиции;
3. Третий этап. На финальном этапе механизм рендеринга формирует аудиофайл и передаёт результат пользователю.

– Новые возможности GigaChat будут полезны не только музыкальным энтузиастам и представителям творческих профессий. Одним из сегментов целевой аудитории сервиса мы видим представителей среднего и малого предпринимательства. Благодаря GigaChat они смогут быстро, качественно и, что важно, абсолютно легально решать задачи бизнеса: создавать фоновое музыкальное сопровождение для кафе, салонов красоты и залов ожидания, генерировать треки для рекламных видеороликов и соцсетей, – рассказал Денис Филиппов.

Ранее этой осенью в рамках культурной программы Восточного экономического форума (ВЭФ) во Владивостоке состоялся первый в мире симфонический концерт с импровизациями от искусственного интеллекта. Вместе с оркестром Мариинского театра Приморской сцены выступила нейросеть SymFormer. В первой части симфонии «Космос», написанной композитором Петром Дранга, нейросеть управляла экспрессивностью исполнения, а в третьей и четвертой частях симфонии импровизировала в режиме реального времени на основе той информации, которую получила от партитуры музыканта.

Filatov ＆ Karas создали трек и музыкальный клип совместно с искусственным интеллектом Сбера

Новый трек «Спойлер», созданный Filatov ＆ Karas при содействии СТУДИО от Hi-Fi-стриминга Звук совместно с искусственным интеллектом, появился в стриминге. Над написанием трека и съёмкой клипа работали AI-решения Сбера: Kandinsky, SymFormer, Салют и GigaChat.

Технологии на основе искусственного интеллекта помогают создавать уникальный контент. Продукты на базе ИИ – новый и мощный инструмент для музыкантов, художников, продюсеров и креаторов, который открывает удивительные возможности для творчества. В Hi-Fi-стриминге Звук появился трек «Спойлер», который был создан музыкантами Filatov ＆ Karas с помощью технологий искусственного интеллекта от Сбера.

Нейросеть Kandinsky отвечала за визуальную часть клипа, с помощью модели SymFormer, обученной на более чем 200 тысячах композиций разных стилей и жанров, были созданы музыкальные партии, виртуальный ассистент Салют спел на бэк-вокале голосом Афины, также в создании трека принял участие сервис GigaChat. А одной из героинь ролика стала победительница конкурса талантов среди сотрудников Сбера.

Премьера клипа состоялась в рамках международной конференции Сбера в сфере технологий искусственного интеллекта AI Journey 2023.

Такие возможности для создания композиций с помощью технологий искусственного интеллекта в будущем станут доступны пользователям СТУДИО – приложения для артиста и его команды от Hi-Fi-стриминга Звук. Использование подобных инструментов будет автоматизироваться, и в дальнейшем каждый сможет применять все преимущества ИИ при создании своего творчества.

Уникальный трек, созданный с помощью нейросетей, уже можно послушать в Hi-Fi-стриминге Звук и добавить к себе в коллекцию. В аудиостриминге доступны и другие композиции генеративной музыки. Помимо ИИ-контента, Звук широко применяет искусственный интеллект в самом продукте. Так, например, персональная рекомендательная волна «Сила Звука» тонко реагирует на изменения во вкусе и настроении пользователя, непрерывно подстраивая бесконечный музыкальный поток под слушателя. Также ИИ используется в дизайне: с помощью нейросетей Hi-Fi-стриминг создает уникальные персонализированные креативы для коммуникаций с пользователями, оформления плейлистов и социальных сетей.

– Совместные усилия команд Сбера и партнёров позволяют с помощью искусственного интеллекта реализовывать самые смелые творческие задумки и создавать произведения искусства в разных жанрах: от картин и музыкальных композиций до медиаклипов. Теперь влияние нейросетей на экономику не ограничивается сугубо инженерной областью, а также охватывает медиаиндустрию – сегодня ИИ-технологии позволяют создавать уникальный и качественный контент, – говорит Андрей Белевцев.

По инф. Телеинформа

• Расскажите об этом своим друзьям!

• Давайте приготовим баклажаны «под шубой»
  
  Селедку «под шубой» знают практически все, а вот баклажаны «под шубой» - нет. Давайте восполним этот пробел. Блюдо можно приготовить и для угощения здесь и сейчас, и также для зимних заготовок.
• Какие заготовки можно сделать в декабре
  
  Консервировать в декабре можно и нужно плоды айвы. Из нее можно приготовить вкуснейшие компоты, цукаты, желе, варенье и другие сладости. Также для консервации зимой сгодятся апельсины и лимоны. Для переработки оптимально подойдут поздние сорта айвы, собранные в конце октября — начале ноября, дозревшие во время недолгого хранения.
• Как ухаживать за недотрогой и Ванькой мокрым, то есть за бальзамином
  
  Немногим растениям удается долго удерживаться на пике популярности. Одним из рекордсменов, которому удается оставаться желанным гостем подоконников уже около ста лет, является бальзамин комнатный. Секрет в том, что в домашних условиях уход за этим растением не затруднит даже хозяев-новичков, а продолжительное, обильное и яркое цветение мало кого оставит равнодушным.
• Снег на даче пригодится, а как его удержать?
  
  Немало дачников строят различные ограждения, чтобы задержать на своем участке снег. Зачем они это делают?
• Как избавить дачу от мышей
  
  Большой проблемой дачников зимой являются мыши. Грызуны могут подпортить собранный урожай, принести опасные заболевания. Как же бороться с мышами на даче?
• Что в начале зимы делать дачникам в своем саду
  
  В начале декабря дачникам рекомендовали убрать с деревьев фрукты, которые остались на них с осени. Такой совет дала ученый-агроном и ландшафтный дизайнер Анастасия Коврижных.
• Сорта винограда, которым зима… ну почти нипочем
  
  Виноград – очень многим нравится эта культура. Но не для всех российских регионов она подходит. Есть ведь очень холодные территории. Но и виноград нынче боевой, морозостойкий. Иному и тридцатиградусные морозы нипочем.
• Дачные растения с целебными свойствами
  
  На участке можно вырастить немало растений, которые не только порадуют своими плодами, но и помогут в лечении разных болезней. Наверное, их нужно запомнить?
• Чем на даче может помочь березовый деготь
  
  Чуть ли не кaждый огородники мучается на своём участке с тем или иным врeдителем. То мыши наносят огромный урон, но кроты в нeкоторых регионах вспахивают всю дачу, то зайцы за зиму объeдают кору на деревьях. Избавиться от всех вредителей может помочь одно нaтуральное средство.
• Ваш интерьер освежит колумнея
  
  В сравнении сo свoими ближайшими рoдственниками – сенпoлией, стрептoкарпyсoм, глoксинией или кoлерией, эта представительница рoда геснериевых не так пoпyлярна y цветoвoдoв-любителей. А жаль... Красивoцветyщая лианка колумнея спoсoбна стать yкрашением любoгo интерьера и эффектно его освежить.
• Дачнику всегда пригодится узнать побольше о теплоизоляционных материалах
  
  Сохранить тепло в помещении и сэкономить на энергоресурсах хозяевам помогут теплоизоляционные материалы. Это разумное решение при строительстве или ремонте дома. На рынке наиболее востребованы около 5-7 разновидностей стройматериалов этой категории. Все они имеют сильные и слабые стороны.
• Что делать на участке в холодное время года: сад
  
  На зимние месяцы активность у садоводов снижается, наступает время подготовки к многочисленным  праздникам. Но для настоящих любителей сада и в этот период найдется немало работы, особенно если позволяет погода.
• Особенности ухода за комнатными растениями в ноябре
  
  Наступил ноябрь. В этом месяце есть свои тонкости ухода за комнатными растениями. Кому-то из них понадобится тепло, а другим наоборот прохлада. Многим в отопительный сезон необходим будет душ.
• Когда проводить генеральную уборку сада?
  
  Есть два лагеря садоводов. Одни наводят порядок осенью в страхе болезней и вредителей, чтобы чисто было, да и «некогда весной будет убираться». Вторые ограничиваются минимумом осенней уборки. Я принадлежу к последним.
• В чем польза мульчирования?
  
  Что такое мульча? Для чего необходимо мульчирование? В чем отличие хорошей и прокисшей мульчи? Ответы на эти вопросы обязательно пригодятся садоводам и огородникам.
• Ноябрьские тезисы для садовода и огородника
  
  Ноябрь в разгаре. В связи с приходом последнего осеннего месяца не лишними будут советы садоводам и огородникам, что же нужно делать и наоборот не делать в этот период.
• Как приготовить баклажаны по-итальянски
  
    Если на участке растут баклажаны, огородников интересуют и способы их приготовления. Например, баклажаны можно приготовить по-итальянски. Фаршированные мясом с зеленью, запеченные под томатным пюре и сыром в духовке. Такие баклажаны получаются сытными и очень вкусными.
• Как в домашних условиях ухаживать за стромантой
  
    Приобретая строманту, нужно быть готовым к тому, что ухаживать за ней придется каждый день. В теплое время года лучше всего для такого цветка подходит температура воздуха от 22 до 25 °C, а зимой следите за тем, чтобы в комнате не было прохладнее 18 °C.
• Ноябрьские дела садоводов и огородников
  
    Наступил ноябрь. Что надо сделать любителям шести соток в саду и на огороде в этом месяце обязательно, а что можно перенести на весну? А если на дачу удастся выбраться всего лишь один раз или два? Ответы на эти злободневные вопросы даны ниже.
• Популярный домашний цитрус - кумкват
  
    Многие цветоводы-любители хотят, чтобы их зеленые питомцы не только радовали глаз, но и приносили практическую пользу, например давали съедобные плоды. Одно из таких плодоносящих растений, получивших в последнее время довольно широкое распространение – кумкват. Это цитрус, выращиваемый в домашних условиях.