Сбер открыл доступ к нейросетевой модели генерации текста для русского языка , сообщает пресс-служба банка.
Её дообученная версия лежит в основе сервиса . Также банк выложил новую версию модели – самую большую из семейства многоязычных моделей Сбера, способную генерировать тексты на 61 языке. Обе модели доступны на HuggingFace, и их могут использовать все разработчики (модели опубликованы под открытой лицензией MIT от английского MIT License – лицензия открытого и свободного программного обеспечения, разработанная Массачусетским технологическим институтом).
ruGPT-3.5
Внутри GigaChat находится целый ансамбль моделей – NeONKA (NEural Omnimodal Network with Knowledge-Awareness). Для его создания нужно было выбрать базовую языковую модель, которую потом можно было обучать на инструктивных данных. Russian Generative Pretrained Transformer версии 3.5 с 13 миллиардов параметров (ruGPT-3.5 13B) – новая версия нейросети ruGPT-3 13B.
Это современная модель генерации текста для русского языка на основе доработанной исследователями Сбера архитектуры GPT-3 от OpenAI. Модель ruGPT-3.5 13B содержит 13 миллиардов параметров и умеет продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2048 токенов. Она обучена на текстовом корпусе размером около 1 Тб, в который, помимо уже использованной для обучения ruGPT-3 большой коллекции текстовых данных из открытых источников, вошли, например, часть открытого сета с кодом The Stack от коллаборации исследователей BigCode и корпусы новостных текстов. Финальный чекпоинт модели – это базовый претрейн для дальнейших экспериментов.
Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub. В обучении модели участвовали команды SberDevices и Sber AI при поддержке Института искусственного интеллекта AIRI.
mGPT
Также в открытом доступе опубликована многоязычная модель mGPT 13B под открытой лицензией MIT. Версия mGPT 13B содержит 13 миллиардов параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 512 токенов. Она была обучена на 600 Гб текстов на разных языках, собранных из очищенных и подготовленных датасетов multilingual C4 и других открытых источников.
Модель может использоваться для генерации текста, решения различных задач в области обработки естественного языка на одном из поддерживаемых языков путём дообучения или в составе ансамблей моделей.
Модель также доступна на российской ML Space в хабе предобученных моделей и датасетов DataHub.
– Сбер как ведущая технологическая компания выступает за открытость технологий и обмен опытом с профессиональным сообществом, ведь любые разработки и исследования имеют ограниченный потенциал в замкнутой среде. Поэтому, мы уверены, что публикация обученных моделей подстегнёт работу российских исследователей и разработчиков, нуждающихся в сверхмощных языковых моделях, создавать на их базе собственные технологические продукты и решения. Пробуйте, экспериментируйте и обязательно делитесь полученными результатами, – говорит старший вице-президент, CTO, руководитель блока «Технологии» Сбербанка Андрей Белевцев.
Парламентарии из Госдумы полны идеями, касающимися разных сфер жизни. Так, например, народных избранников заинтересовало образование школяров. Вместо ОГЭ, считают некоторые депутаты нижней палаты парламента, можно вернуть обычные письменные и устные экзамены.
Картина «Приключения Петрова и Васечкина, обыкновенные и невероятные» (6+), вышедшая на экраны в 1983 году, покорила сердца многих зрителей и осталась в них до сих пор. А в следующем году Петров и Васечкин вновь вернутся на экраны страны. Но уже с новыми приключениями.
Побывать в Нью-Йорке – мечта многих туристов. Но чтобы это осуществить, надо запастись деньгами. Потому что цены на жилье в этом городе просто аховые. «Можно разориться» – так описала стоимость жизни здесь путешественница из России.
Ребятишки-маугли, к сожалению, нет-нет да находятся на просторах России. Один из них был обнаружен в Краснодаре. Это семилетний парнишка, который взаперти под камерами видеонаблюдения находился целых пять лет.
В последний день мая в Брянской области в результате подрыва и обрушения автомобильного моста сошел с рельсов пассажирский поезд No86 Климов–Москва. Пострадавших оказалось около 90 человек, погибших – семь. Родным жертв трагедии выплатят по 2,2 миллиона рублей.
Оскароносный режиссер Клинт Иствуд («Непрощенный» (18+), «Малышка на миллион»(18+), которому 31 мая исполнилось 95 лет, сообщил о том, что не намерен уходить из кино и уже готовит следующую картину.
Вражеские дроны нередко атакуют западные территории России. А вечером 1 июня под прицелом оказалась Сибирь. Беспилотниками была атакована Иркутская область, конкретно – воинская часть в поселке Среднем Усольского района.
Пророчеств о России делалось и делается немало. Например, вызывает у людей интерес, что предрекал стране святой Серафим Саровский. Его пророчества, как обращают внимание православные, совпадают с произошедшими и современными событиями в России.
Звезда кинематографа Софи Лорен для нескольких поколений стала эталоном красоты. Но 90-летняя актриса всё реже и реже появляется на публике и даёт интервью.
Последние несколько месяцев о шоумене и известном скандалисте Гогене Солнцеве почти ничего не слышно. Известно лишь то, что первенец, которого ему родила супруга Полина Давыдова, оказался не его сыном.
Давно переехавший в США певец Валерий Леонтьев время от времени всё же выступает в России. В очередной раз артист планирует порадовать поклонников своим появлением на фестивале «Новая волна».
Артист балета и педагог Николай Цискаридзе раскритиковал в интервью Лауре Джугелии оскароносный фильм «Анора». Он назвал картину «абсолютной пошлостью».
Недавно в прессе сообщали о мужчине, который въехал на автомобиле в ворота особняка Дженнифер Энистон. Правонарушитель Джимми Уэйн Карвайл был задержан.
