Сбер открыл доступ к нейросетевой модели генерации текста для русского языка , сообщает пресс-служба банка.
Её дообученная версия лежит в основе сервиса . Также банк выложил новую версию модели – самую большую из семейства многоязычных моделей Сбера, способную генерировать тексты на 61 языке. Обе модели доступны на HuggingFace, и их могут использовать все разработчики (модели опубликованы под открытой лицензией MIT от английского MIT License – лицензия открытого и свободного программного обеспечения, разработанная Массачусетским технологическим институтом).
ruGPT-3.5
Внутри GigaChat находится целый ансамбль моделей – NeONKA (NEural Omnimodal Network with Knowledge-Awareness). Для его создания нужно было выбрать базовую языковую модель, которую потом можно было обучать на инструктивных данных. Russian Generative Pretrained Transformer версии 3.5 с 13 миллиардов параметров (ruGPT-3.5 13B) – новая версия нейросети ruGPT-3 13B.
Это современная модель генерации текста для русского языка на основе доработанной исследователями Сбера архитектуры GPT-3 от OpenAI. Модель ruGPT-3.5 13B содержит 13 миллиардов параметров и умеет продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2048 токенов. Она обучена на текстовом корпусе размером около 1 Тб, в который, помимо уже использованной для обучения ruGPT-3 большой коллекции текстовых данных из открытых источников, вошли, например, часть открытого сета с кодом The Stack от коллаборации исследователей BigCode и корпусы новостных текстов. Финальный чекпоинт модели – это базовый претрейн для дальнейших экспериментов.
Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub. В обучении модели участвовали команды SberDevices и Sber AI при поддержке Института искусственного интеллекта AIRI.
mGPT
Также в открытом доступе опубликована многоязычная модель mGPT 13B под открытой лицензией MIT. Версия mGPT 13B содержит 13 миллиардов параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 512 токенов. Она была обучена на 600 Гб текстов на разных языках, собранных из очищенных и подготовленных датасетов multilingual C4 и других открытых источников.
Модель может использоваться для генерации текста, решения различных задач в области обработки естественного языка на одном из поддерживаемых языков путём дообучения или в составе ансамблей моделей.
Модель также доступна на российской ML Space в хабе предобученных моделей и датасетов DataHub.
– Сбер как ведущая технологическая компания выступает за открытость технологий и обмен опытом с профессиональным сообществом, ведь любые разработки и исследования имеют ограниченный потенциал в замкнутой среде. Поэтому, мы уверены, что публикация обученных моделей подстегнёт работу российских исследователей и разработчиков, нуждающихся в сверхмощных языковых моделях, создавать на их базе собственные технологические продукты и решения. Пробуйте, экспериментируйте и обязательно делитесь полученными результатами, – говорит старший вице-президент, CTO, руководитель блока «Технологии» Сбербанка Андрей Белевцев.
Какие могут быть годовые итоги жизни на пенсии? У жительницы Санкт-Петербурга, которая ведет свой блог на Яндекс Дзен, например, улучшилось здоровье, были приведены в порядок сад и огород и выращен отличный урожай, без спешки были сделаны разные заготовки, совершались успешные походы за грибами. Также в жизни пенсионерки были путешествия, в том числе и за границу, и выходы на разные культурные мероприятия.
Российские медики требуют освободить из тюрьмы подсудимую по делу о «фейках» педиатра Надежду Буянову. Они также отправили обращение, в котором в стихотворной форме говорят о заслугах врача.
Громкий плач двухлетней дочери довел папашу до такого состояния, что он выбросил малышку на железнодорожном вокзале со второго этажа на бетонный пол. А позже, пытаясь скрыться от правоохранителей, попал под поезд.
Гендерный разрыв в здравоохранении существовал и существует. И раньше, и сейчас женщины живут дольше мужчин. Но при этом представительницы слабого пола чаще страдают от плохого состояния здоровья.
Дмитрий Малышев из Волгограда. Несколько лет назад он расправился с уроженцем Таджикистана. Вырезал у своей жертвы сердце, зажарил его и съел, снимая весь жуткий процесс на видео. За это и другие преступления Малышев был осужден на 25 лет, но подписал контракт и отправился из «мест не столь отдаленных» на СВО. Там каннибал повстречал маньяка-расчленителя.
Актер и экс-губернатор американского штата Калифорния Арнольд Шварценеггер признался, что препятствовал развитию карьеры своего коллеги Сильвестра Сталлоне. Его слова цитирует Hollywood Reporter.
Король Великобритании Карл III во время первого появления на публике после объявления об онкологическом диагнозе рассказал о своем самочувствии. Об этом сообщает The Telegraph.
В 2022 году георгиевская лента была приравнена к символам воинской славы. Эту ленту можно использовать для целей, касающихся исторической памяти. За публичную порчу данного символа человек может получить штраф или срок.
Нерадивое отношение строителя к ремонту теплицы и бани обернулось для него судом и денежными расходами. Горе-ремонтника пермская пенсионерка наняла по объявлению, размещенному на остановке.
