Александр Жадан, сумевший защитить написанный с помощью ChatGPT диплом, попробовал новую функцию системы «Антиплагиат», которая определяет сгенерированный чат-ботом текст. Выпускник Российского государственного гуманитарного университета рассказал о своем эксперименте в твиттере.
Кто такой Жадан и что за новая функция «Антиплагиата»?
Александр Жадан стал известен благодаря треду в твиттере, в котором он рассказал о процессе написания дипломной работы с помощью ChatGPT за 23 часа. Тогдашний студент пятого курса смог защитить ее на оценку «удовлетворительно». Его история разлетелась по СМИ и соцсетям, РГГУ стал придумывать, как можно ограничить использование чат-бота, но лишать диплома студента все же не стал.
15 мая система обнаружения текстовых заимствований «Антиплагиат» запустила детектор сгенерированного текста собственной разработки. Создатели функции заявили, что риск ее ложного срабатывания минимальный. Система анализирует текст на наличие фрагментов, предположительно, созданных с помощью языковых моделей вроде GPT-2, GPT-3 и ChatGPT, и при их нахождении куски работы выделяются, а сам документ маркируется как подозрительный.
Что сказал «Антиплагиат» на дипломный текст Жадана
Блогер взял 9-страничный фрагмент из своего защищенного диплома «Понятие, сущность и основные принципы системы управления предприятием» и попросил систему установить оригинальность. Он отметил, что в январе «Антиплагиат» определял, что текст написан самостоятельно, на 82%, а теперь — всего на 0,07%.
«Антиплагиат» выделил 3 страницы и маркировал их как «искусственный текст», а сам документ охарактеризовал «подозрительным». «[3 страницы сгенерированного текста — это] правда лишь отчасти, так как весь текст сгенерирован. Пускай я минорно редактировал, но в основном теоретическую часть взял из ChatGPT», — написал Жадан.
Чтобы повысить оригинальность, блогер попросил ChatGPT «переписать текст, поменять структуру и сделать его более читаемым». Обязательными условиями Жадан выставил оригинальность текста, отсутствие повторов и способность обойти проверку «Антиплагиата». Чат-бот сгенерировал текст, оригинальность которого детектор оценил в 62,72%. В этот раз «Антиплагиат» не смог найти сгенерированные фрагменты.
Следом Жадан попросил ChatGPT исправить фрагменты, в которых «Антиплагиат» нашел совпадения: переписать другими словами, разбить на несколько предложений, а затем уже полученный результат вновь переписать и немного сократить. «Антиплагиат» повысил оригинальность с 62% до 94,89%.
«Система все еще не видит, что текст сгенерирован ChatGPT. Выходит, „уникальный алгоритм, позволяющий автоматически выявлять и маркировать сгенерированные машиной фрагменты текста“, не работает», — заключил блогер.
«Афиша Daily» направила запрос в «Антиплагиат», но на момент публикации материала не получила ответа.
«Раз легко сгенерировать оригинальный текст в СhatGPT, то какой смысл в создании диплома?»
После того как Жадану удалось обойти «Антиплагиат», он засомневался, что дипломные работы все еще нужны: «Раз легко сгенерировать оригинальный текст в СhatGPT, пройти „Антиплагиат“, то вопрос — какой смысл в создании того же диплома? Раньше студенты искали и рассказывали об изученном, применяли знания на практике и так доказывали свою эрудицию. Теперь — не так».
По его мнению, заменить дипломы могли бы портфолио с проектами, которые пока нельзя сгенерировать. Некоторые пользователи согласились с Жаданом.
