file

info

model

teamName

Отправить

Ошибка

Современные методы обработки текстов позволяют достичь высоких показателей качества в&nbsp;разных задачах, в&nbsp;том числе тех, которые требуют знаний об&nbsp;окружающем мире или здравого смысла. Это стало возможным благодаря появлению парадигмы обучения больших языковых моделей на&nbsp;неразмеченных данных, в&nbsp;рамках которой появились такие широко используемые модели, как BERT или GPT-3. Эти модели работают лучше людей в&nbsp;ряде задач понимания языка и&nbsp;умеют генерировать тексты, неотличимые от&nbsp;написанных человеком.

Предыстория

Несмотря на&nbsp;эти яркие результаты, современные языковые модели, особенно для русского языка, еще далеки от&nbsp;совершенства. Например, сгенерированные тексты только на&nbsp;первый взгляд похожи на&nbsp;те, которые написаны людьми: они могут содержать искаженные факты и&nbsp;противоречивую информацию. Более того, недавние исследования показывают, что даже большие языковые модели, насчитывающие огромное количество параметров, не&nbsp;улавливают различные лингвистические феномены. Языковые модели обладают ограниченными возможностями и&nbsp;в&nbsp;задачах, которые требуют оценить, корректно&nbsp;ли написан текст с&nbsp;точки зрения языка.

Проблемы языковых моделей

Мы&nbsp;представляем русскоязычный корпус для оценки приемлемости предложений (RuCoLA), с&nbsp;помощью которого можно оценивать лингвистическую компетентность языковых моделей. Он&nbsp;основан на&nbsp;общих принципах приемлемости, которая была введена лингвистом Ноамом Хомским. В&nbsp;отличие от&nbsp;грамматической корректности, или _грамматичности_, которая относится к&nbsp;структуре языка, приемлемость оценивает, насколько предложение является естественным с&nbsp;точки зрения носителя. Таким образом, грамматичное предложение может быть неприемлемым (широко известный пример Л.&nbsp;В.&nbsp;Щербы: &laquo;Глокая куздра штеко будланула бокра и&nbsp;курдячит бокрёнка&raquo;), однако приемлемое предложение должно быть грамматичным. По&nbsp;аналогии со&nbsp;стандартными диагностическими наборами данных&nbsp;&mdash; GLUE, Russian SuperGLUE и&nbsp;RuSentEval&nbsp;&mdash; RuCoLA может быть использован и&nbsp;для сравнения способностей нейросетей к&nbsp;пониманию языка, и&nbsp;для улучшения качества генерации текстов.

зачем мы создали RuCoLA

С&nbsp;вопросами по&nbsp;RuCoLA или работе сайта можно обращаться по&nbsp;адресу [contact@rucola-benchmark.com](mailto:contact@rucola-benchmark.com) или в&nbsp;раздел Issues [GitHub-репозитория корпуса](https://github.com/RussianNLP/RuCoLA).

Присоединяйтесь к&nbsp;[официальному чату в&nbsp;Telegram](https://t.me/RuCoLA_benchmark), чтобы участвовать в&nbsp;обсуждении идей и&nbsp;следить за&nbsp;обновлениями проекта.

Данные и&nbsp;бейзлайн

Статья

Результаты

Корпус RuCoLA&nbsp;&mdash; это набор предложений на&nbsp;русском языке, которые размечены по&nbsp;бинарной шкале лингвистической приемлемости. RuCoLA включает в&nbsp;себя предложения, написанные экспертами в&nbsp;области лингвистики и&nbsp;сгенерированные языковыми моделями.

Ошибки, которые представлены в&nbsp;предложениях, покрывают широкий ряд языковых феноменов: от&nbsp;синтаксиса и&nbsp;семантики до&nbsp;галлюцинаций генеративных моделей. Корпус RuCoLA создан для улучшения методов обнаружения ошибок в&nbsp;естественном языке. Кроме того, мы&nbsp;организуем открытое соревнование, которое позволит следить за&nbsp;прогрессом в&nbsp;развитии этих методов.

Владислав __Михайлов__

Татьяна __Шамардина__

Максим __Рябинин__

Алёна __Пестова__

Иван __Смуров__

Екатерина __Артемова__

SberDevices

ABBYY

Yandex Research

Национальный исследовательский университет «Высшая школа экономики»