ИИ-агент отменил чужую бронь в спортзале, чтобы зарезервировать место своему хозяину

Австралиец попросил своего ИИ-ассистента помочь ему записаться на тренировку в фитнес-зал. Вместо этого помощник обнаружил уязвимость в системе бронирования, позволившую отменять чужие записи, и воспользовался ей. Об этом сообщила ABC.

Пользователь по имени Эндрю оказался четвертым в листе ожидания на занятие и попросил ИИ попробовать продвинуть его выше. Агент обнаружил, что API спортзала не проверяет права доступа при отмене чужих бронирований, и сначала отменил запись человека, находившегося на первом месте. В результате Эндрю поднялся на третью позицию.

На этом ИИ не остановился и продолжил отменять чужие бронирования. При этом австралиец, судя по переписке, не просил систему удалять других людей из списка и не ожидал такого результата.

Когда Эндрю попросил вернуть удаленную запись, выяснилось, что сделать это невозможно. Уязвимость касалась именно функции отмены бронирований: создание новых записей и добавление в лист ожидания были защищены авторизацией.

В итоге ИИ признал, что поступил неправильно, извинился перед Эндрю и пообещал больше не отменять записи других посетителей.

Случай стал одним из примеров того, как ИИ-агенты могут самостоятельно находить и использовать уязвимости в реальных интернет-сервисах даже при выполнении относительно безобидных задач. Ранее компания Anthropic уже сообщала о случаях, когда ее тестовые ИИ-агенты в рамках исследований кибербезопасности взламывали реальные организации.

В компании подчеркивали, что обнаружили эти инциденты благодаря анализу логов и впоследствии связались с пострадавшими организациями. Однако история с австралийским спортзалом отличается тем, что ИИ использовал уязвимость не в рамках заранее запланированного теста, а при выполнении обычного пользовательского запроса.