Детекторы ИИ ошибочно маркируют исторические документы как машинный текст

Популярные программы для выявления текстов, созданных искусственным интеллектом, регулярно ошибаются, принимая за машинное творчество даже исторические документы. В ходе экспериментов сервис ZeroGPT оценил Декларацию независимости США 1776 года как сгенерированную нейросетью с вероятностью от 95% до 100%, сообщает журнал Nature.

Проблема связана с принципом работы таких детекторов: они опираются на показатель «перпликсити», который оценивает предсказуемость выбора слов. Тексты нейросетей статистически более предсказуемы, поэтому строгая и правильная речь человека часто ошибочно признаётся машинной.

Исследования показывают, что на англоязычных эссе доля ложноположительных результатов может достигать 16%, а для авторов, не являющихся носителями языка, этот показатель возрастает до 61%. Кроме того, развитие нейросетей и использование программ-«гуманизаторов» ещё больше запутывают алгоритмы проверки.

Эксперты отмечают, что детекторы ИИ принципиально отличаются от систем антиплагиата: последние указывают конкретный источник заимствования, тогда как детекторы генеративного текста не предоставляют наглядных доказательств. Человеческий и машинный текст не являются взаимоисключающими, поскольку ИИ обучался на миллиардах человеческих слов.

Специалисты призывают университеты не полагаться слепо на технологии распознавания и перестроить систему оценки знаний, уделяя внимание прозрачности процесса написания, а не только финальному результату. Марзена Карпинска, лингвист и компьютерный специалист из Университета Саймона Фрейзера, предупреждает: «Мы совершенно точно не можем массово отвергать людей из-за того, что детектор ИИ почему назвал их текст генерацией».