В Петербурге и Ленобласти фиксируют рост атак на нейросети. Злоумышленники внедряют вредоносные команды в тексты и заставляют ИИ раскрывать данные. Об этом сообщает «Петербург2».
Генеративные модели уязвимы, потому что воспринимают текст и как данные, и как инструкции. Достаточно внедрить вредоносную команду в запрос — и нейросеть может выполнить её. Такой метод называют prompt injection. Отдельный вид угрозы — jailbreak, когда обходят встроенные ограничения модели.
Не менее опасны внутренние риски. Сотрудники используют публичные нейросети без контроля, загружая договоры и персональные данные. Это называют shadow AI. По оценке издания, каждая пятая утечка в регионе связана с этим. В большинстве компаний нет чётких правил работы с нейросетями.
