В СВФУ создают нейросеть для обработки текста на якутском языке

В СВФУ создают нейросеть для обработки текста на якутском языке

В Северо-Восточном федеральном университете продолжают разработку нейросети, которая позволит обрабатывать тексты и создавать онлайн-переводчики с якутского на другие языки.

Проект реализуется на средства гранта Российского фонда фундаментальных исследований и завершится в сентябре, сообщает пресс-служба вуза.

Автор исследования — аспирант Института математики и информатики СВФУ Иннокентий Иванов.

«На сегодня нейросеть, обученная на видеоускорителе RTX 3070 Ti, еще не выдает полностью связный текст, но подходящие дифтонги в 50% случаев подставляет верные. Тем не менее план работ перевыполнен, поскольку создание нейросети планировалось реализовать в середине 2022 года», — делится молодой ученый.

Для создания нейронной сети использованы текстовые версии веб-ресурсов СМИ: «Кыым», Sakhaday, «Эдэр Саас» и лингвистического корпуса якутского языка — к марту-апрелю завершится наполнение базы данных, добавил аспирант. В качестве предобученной модели выбрана RuGPT-3 от Сбера.

Справка: RuGPT-3 — самая большая AI-модель (AI — искусственный интеллект — прим. ред.) для русского языка, которая умеет писать тексты. Нейросеть обучена на русскоязычных текстах разных стилей.

В планах молодого ученого — улучшить качество генерации текста и проработать ее практическое применение.

«Следует внимательно отнестись к склонениям слов, дифтонгам. Смысл созданного нейронной сетью текста может исчезнуть после очередного неправильного склонения слов», — подчеркивает молодой ученый.

По итогам проекта Иннокентий Иванов опубликует модель нейронной сети в открытом доступе — она является многоцелевой и не заточена под конкретную задачу, ее применение возможно в широком спектре программ и приложений. По мнению аспиранта СВФУ, таким образом сервис на якутском языке можно оперативно добавить в свой продукт — в свою очередь, это откроет возможности для мгновенного перевода текста, общения с техподдержкой и многого другого.

Фото: пресс-служба СВФУ

Нашли ошибку? Выделите ее и нажмите Ctrl+Enter
Рейтинг статьи: 26
Это интересно
Обратная связь