ИИ-агент получил задание исправить ошибку и полностью удалил базу данных компании

Работа американской компании по прокату автомобилей оказалась под угрозой из-за ИИ-помощника. Бота попросили исправить ошибку в программной системе стартапа. 

Но вместо этого он удалил производственную базу данных фирмы и резервные копии. Исчезли все записи о бронированиях и распределении транспортных средств. Отмечается, что для этого нейросети потребовалось всего девять секунд.

В начале рабочего дня сотрудники компании обнаружили, что их системы фактически уничтожены. «Виновником» оказался не хакер или мошенник, а ИИ-агент, которому дали право вносить изменения в системы фирмы.

Дальнейшее расследование показало, что нейросеть «вышла за рамки своих параметров безопасности», используя инструмент кодирования Cursor. Он был разработан компанией Anthropic. Боту направили запрос, и он ответил, что ему не поступала команда что-либо удалять. Он сделал это самостоятельно и признал, что нарушил все прописанные для него принципы (а именно запрет на запуск деструктивных или необратимых команд, если нет четкой команды от пользователя).

Эксперты отметили, что этот инцидент может стать предупреждением для компаний, которые предоставляют искусственному интеллекту доступ к своим базам данных, электронной почте, платежным системам и записям клиентов. Все чаще ИИ, которому поручили конкретное задание, начинает действовать самостоятельно.

Так, ИИ-агентам ставят задачу, а затем они выполняют цепочку действий без участия человека. Они способны писать коды, перемещать файлы, а также вносить изменения в данные. 

Эксперты предупреждают, что нейросети могут воспринимать инструкции буквально, искать кратчайшие пути и принимать катастрофические решения, не понимая реального ущерба. 

Например, если их попросят навести порядок в базе данных, они решат, что самый эффективный путь – полностью удалить ее. Таким образом, модели ИИ рискуют стать не средством оптимизации рабочего процесса, а «агентами хаоса», сообщает The Daily Mail.