У крупнейших ИИ-компаний нет надежного способа остановить модели при выходе из-под контроля
Ни одна из пяти крупнейших ИИ-компаний пока не внедрила надежный набор мер на случай, если их модели начнут действовать опасно или попытаются обойти ограничения. Об этом говорится в исследовании Guidelight, основанной бывшими руководителями отдела безопасности OpenAI.
🔵 Лучшие — на C+. Самые высокие оценки получили OpenAI и Anthropic — по 2,5 балла из пяти. Google получила D+, xAI — D−, а Meta — F. Из 30 оценок по механизмам контроля 22 не превысили двух баллов, еще семь оказались нулевыми. Ни одна компания ни по одному критерию не набрала четыре или пять баллов, означающих почти полное или полное внедрение.
Исследователи проверяли компании по нескольким критериям: запись действий ИИ-систем, эффективность наблюдения за ними, предварительное одобрение рискованных операций, экстренную остановку при подозрительной активности, независимый аудит и наличие плана изоляции модели.
🔵 Следить научились, останавливать — нет. Лучше всего компании справляются с записью действий моделей и обнаружением подозрительного поведения. OpenAI и Anthropic отслеживают значительную часть активности своих ИИ-систем.
Хуже всего разработчики подготовлены к предотвращению опасных действий и изоляции моделей. У Anthropic исследователи не нашли публично подтвержденного плана на случай выхода системы из-под контроля. Meta получила нулевые оценки за блокировку рискованных операций, экстренную остановку и план изоляции. Google опубликовала самую подробную дорожную карту по контролю над ИИ, однако пока не реализовала большую ее часть.
🔵 Агенты уже выходилииз-под контроля. OpenAI и Anthropic недавно признали, что их автономные агенты во время испытаний смогли покинуть тестовую среду и обнаружить уязвимости в системах других компаний, пишет Reuters.
🔵 Важная оговорка. Guidelight изучала только публичные документы и заявления самих компаний. Исследование не является независимым техническим аудитом, поэтому низкая оценка может означать как отсутствие меры безопасности, так и отсутствие открытой информации о ней.
