"Записки научных семинаров ПОМИ"
Том 546, стр. 48-58
AINL-Eval 2025 Shared Task: Детекция автоматически сгенерированных аннотаций к научным статьям на русском языке
Т. Батура, Е. Бручес, М. Швенк, В. Малых
A. P. Ershov Institute
of Informatics Systems,
Novosibirsk, Russia
tatiana.v.batura@gmail.com
A.P. Ershov Institute of Informatics Systems, Novosibirsk, Russia; Novosibirsk State University,
Novosibirsk, Russia
bruches@bk.ru
Novosibirsk State University, Novosibirsk, Russia
m.shvenk@g.nsu.ru
ITMO University, St. Petersburg, Russia
valentin.malykh@phystech.edu
- Аннотация:
Быстрое развитие больших языковых моделей привело к тому,
что стало сложнее отличать текст, написанный человеком,
от автоматически сгенерированного текста. Особую опасность
это представляет в области науки, особенно в случаях текстов
на малоресурсных языках, когда использование инструментов
для детекции часто ограничено. Для решения этой задачи
мы представлеяем академическое соревнование AINL-Eval 2025 Shared Task,
целью которого является распознавание автоматически сгенерированных
аннотаций научных статей на русском языке. Мы представляем новый датасет,
содержащий 52 305 примеров, включая вручную написанные аннотации
для 12 различных научных областей и автоматически сгенерированные
тексты пятью современными языковыми моделями (GPT-4-Turbo, Gemma2-27B,
Llama3.3-70B, Deepseek-V3, и GigaChat-Lite). Основная цель соревнования
-- побудить участников разрабатывать устойчивые решения, которые способны
к обобщению (1) на ранее неизвестные научные области и (2) на модели,
которые не использовались при генерации обучающего набора данных.
Соревнование содержало два этапа, в нём приняло участие 10 команд,
которые суммарно сделали 159 заявок с результатами. Системы, занявшие
первые места, продемонстрировали высокое качество в детекции
ИИ-сгенерированного контента. Мы также предоставляем открытый доступ
к соревнованию для будущих исследований в этой области.
Датасет и платформа публично доступны:
\url{https://github.com/iis-research-team/AINL-Eval-2025}.
Библ. -- 33 назв.
- Ключевые слова:ИИ-сгенерированный контент, большие языковые модели,
соревнование, научные тексты
[AI-generated content, large language models, scientific texts, competition]
Полный текст(.pdf)