Нейросеть Сбера способна генерировать тексты на 61 языке

Сбер открыл доступ к нейросетевой модели генерации текста для русского языка ruGPT-3.5 13B, сообщает пресс-служба банка.

Её дообученная версия лежит в основе сервиса GigaChat. Также банк выложил новую версию модели mGPT 13B – самую большую из семейства многоязычных моделей Сбера, способную генерировать тексты на 61 языке. Обе модели доступны на HuggingFace, и их могут использовать все разработчики (модели опубликованы под открытой лицензией MIT от английского MIT License – лицензия открытого и свободного программного обеспечения, разработанная Массачусетским технологическим институтом).

ruGPT-3.5

Внутри GigaChat находится целый ансамбль моделей – NeONKA (NEural Omnimodal Network with Knowledge-Awareness). Для его создания нужно было выбрать базовую языковую модель, которую потом можно было обучать на инструктивных данных. Russian Generative Pretrained Transformer версии 3.5 с 13 миллиардов параметров (ruGPT-3.5 13B) – новая версия нейросети ruGPT-3 13B.

Это современная модель генерации текста для русского языка на основе доработанной исследователями Сбера архитектуры GPT-3 от OpenAI. Модель ruGPT-3.5 13B содержит 13 миллиардов параметров и умеет продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2048 токенов. Она обучена на текстовом корпусе размером около 1 Тб, в который, помимо уже использованной для обучения ruGPT-3 большой коллекции текстовых данных из открытых источников, вошли, например, часть открытого сета с кодом The Stack от коллаборации исследователей BigCode и корпусы новостных текстов. Финальный чекпоинт модели – это базовый претрейн для дальнейших экспериментов.

Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub. В обучении модели участвовали команды SberDevices и Sber AI при поддержке Института искусственного интеллекта AIRI.

mGPT

Также в открытом доступе опубликована многоязычная модель mGPT 13B под открытой лицензией MIT. Версия mGPT 13B содержит 13 миллиардов параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 512 токенов. Она была обучена на 600 Гб текстов на разных языках, собранных из очищенных и подготовленных датасетов multilingual C4 и других открытых источников.

Модель может использоваться для генерации текста, решения различных задач в области обработки естественного языка на одном из поддерживаемых языков путём дообучения или в составе ансамблей моделей.

Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub.

– Сбер как ведущая технологическая компания выступает за открытость технологий и обмен опытом с профессиональным сообществом, ведь любые разработки и исследования имеют ограниченный потенциал в замкнутой среде. Поэтому, мы уверены, что публикация обученных моделей подстегнёт работу российских исследователей и разработчиков, нуждающихся в сверхмощных языковых моделях, создавать на их базе собственные технологические продукты и решения. Пробуйте, экспериментируйте и обязательно делитесь полученными результатами, – говорит старший вице-президент, CTO, руководитель блока «Технологии» Сбербанка Андрей Белевцев.

По инф. Телеинформа

• Расскажите об этом своим друзьям!

• Личный дневник Деми Мур попал на мусорку, а оттуда – в СМИ
  
  Личный дневник американской актрисы Деми Мур был найден в мусорном контейнере в США. Отрывки из него публикует издание Daily Mail.
• Певица Алсу жалеет, что всегда была «покорной хорошей женой»
  
  Певица Алсу заявила на «Шоу Воли», что не снимает с себя части ответственности за развод с бизнесменом Яном Абрамовым.
• Мошенники собирают деньги на жильё для Ларисы Долиной
  
  Громкая история о том, как певица Лариса Долина потеряла элитную квартиру из-за аферистов, получила неожиданное продолжение. Но на этот раз мошенники выбрали другую тактику.
• Анастасия Волочкова решила стать главной певицей России
  
  Балерина Анастасия Волочкова пообещала стать главной певицей России и выпустить новый альбом. Её слова приводит Общественная служба новостей.
• Ветеран Чечни обезвредил беспилотник точным выстрелом из ружья
  
  Гражданин из деревни Дулебино, расположенной в Подмосковье, снова проявил себя, успешно обезвредив беспилотный летательный аппарат с помощью ружья.
• «Мемориал Романовых» заявил о застройке места, где были найдены останки царской семьи
  
  О планах РПЦ застроить Поросенков Лог, где наши останки царской семьи, заявил благотворительный фонд «Мемориал Романовых». В ролике, размещенном в группе ВКонтакте фонда, говорится, что памятник истории находится под высокой угрозой уничтожения через застройку.
• Екатеринбуржцы попросили убрать электросамокаты с улиц
  
  Жители Екатеринбурга проголосовали за запрет электросамокатов, моноколес, гироскутеров и других средств индивидуальной мобильности (СИМ) в опросе на «Госуслугах», который запустила администрация города.
• Старшая дочь Игоря Николаева чуть не погибла, потянувшись за пирожками
  
  Певец и композитор Игорь Николаев вспомнил, как ему пришлось спасать жизнь старшей дочери Юлии. Его слова приводит KP.RU.
• Ушла из жизни личная медсестра Элвиса Пресли
  
  Мэриан Дж. Кок, личная медсестра короля рок-н-ролла, скончалась на 99 году жизни. За Пресли эта женщина ухаживала и в больнице, и в поместье звезды.
• Идею дарить квартиры россиянам оценили в Госдуме
  
  Во времена СССР квартиры людям доставались бесплатно. Отстояв очередь, можно было получить вожделенные метры. А получится ли так сейчас? Ответ дал народный избранник из Госдумы Олег Савченко. Депутат считает, что сейчас такое вряд ли получится, это будет достаточно сложно.
• Как не нужно мыть посуду
  
  Мыть посуду – занятие не из приятных. Но делать это необходимо. Причем процесс надо выполнять как следует. Иначе на неправильно вымытой посуде будут копиться бактерии и неприятные запахи. Самый негативный сценарий – можно и отравиться.
• Оправдавшему теракт в «Крокусе» россиянину грозит до 7 лет тюрьмы
  
  В марте прошлого года в «Крокус Сити Холле» произошел крупный теракт. Четверо вооруженных людей ворвались в здание, стали стрелять и подожгли «Крокус». В результате атаки преступников погибли не меньше 145 человек и больше 500 получили ранения. И нашелся человек, который оправдал такое злодеяние.
• Священник считает, что дьявол есть
  
  Католический священник стал экзорцистом почти два десятка лет назад. И с той поры отец Карлос Мартинос перемещается по миру и помогает людям, одержимым демонами. По словам религиозного деятеля, один из случаев экзорцизма убедил его в существовании дьявола.
• За сломанный нос школа в Санкт-Петербурге заплатит ученику 100 тысяч рублей
  
  В школах дети не только учатся, но и отдыхают на переменах. И не секрет, что ребятня иногда во время таких передышек не прочь пробежаться. Именно бегая, в одной из школ Петербурга один младшеклассник столкнулся лбом с другим учеником. И результат этого столкновения оказался плачевным.
• Дети с 10 до 18 лет будут ездить в поездах в полцены
  
  Льгота в 50% на проезд в поездах дальнего следования действует для детей от 10 до 18 лет теперь круглый год. Справку со школы при посадке больше предъявлять не надо.
• 69-летнюю годовщину брака супруги отпраздновали шампанским и бальными танцами
  
  Некоторым союзам людей суждено длиться очень долго. В США, например, супруги прожили вместе аж целых 69 лет. И это прекрасное событие муж с женой отпраздновали шампанским и бальными танцами. И еще пара раскрыла свой секрет долгого брака.
• Противостояние Брэда Питта и Тома Круза вышло на новый уровень
  
  Не секрет, что многие актёры соперничают друг с другом ради популярности. В Голливуде немало подобных «противостояний». Многие наверняка сразу вспомнят Брэда Питта и Тома Круза, которые уже 30 лет выясняют, кто из них круче.
• В МВД напомнили, что делать, если на карту пришли деньги от неизвестного
  
  Если на карту пришли деньги от неизвестного отправителя, бежать тратить свалившиеся на голову средства не надо и пытаться вернуть самостоятельно тоже. Об этом напомнили в МВД.
• Россиянам напомнили, сколько тысяч они могут вернуть за лечение
  
  В 2025 году россияне смогут вернуть до 19,5 тысячи рублей за лечение в качестве налогового вычета. Об этом рассказал глава комитета Госдумы по охране здоровья Сергей Леонов.
• Shaman и Екатерина Мизулина подтвердили, что они – пара
  
  Певец SHAMAN (Ярослав Дронов) назвал главу Лиги безопасного интернета (ЛБИ) Екатерину Мизулину своей девушкой. Об этом сообщает телеканал «360.ru» в Telegram-канале.