|
Для разработчиков, использующих искусственный интеллект, “вибрационное кодирование” прямо сейчас сводится к тому, чтобы следить за каждым действием или рисковать тем, что модель будет работать бесконтрольно. Компания Anthropic сообщает, что ее последнее обновление для Claude направлено на устранение этого выбора, позволяя ИИ самостоятельно решать, какие действия безопасны — с некоторыми ограничениями.
Этот шаг отражает более широкие изменения в отрасли, поскольку инструменты искусственного интеллекта все чаще разрабатываются таким образом, чтобы действовать, не дожидаясь одобрения человека. Проблема заключается в том, чтобы сбалансировать скорость и управляемость: слишком много барьеров замедляет работу, в то время как слишком малое их количество может сделать системы рискованными и непредсказуемыми. Новый “автоматический режим” от Anthropic, который сейчас доступен для предварительного просмотра, что означает, что он доступен для тестирования, но еще не является готовым продуктом, — это последняя попытка компании продеть нитку в иголку.
Автоматический режим использует средства защиты ИИ для проверки каждого действия перед его выполнением, проверяя рискованное поведение, которое пользователь не запрашивал, и признаки быстрого внедрения — тип атаки, при котором вредоносные инструкции скрыты в контенте, который обрабатывает ИИ, заставляя его совершать непреднамеренные действия. Любые безопасные действия будут выполняться автоматически, в то время как рискованные будут заблокированы. По сути, это расширение существующей команды Claude Code “опасно пропускать разрешения”, которая передает все решения искусственному интеллекту, но с добавлением дополнительного уровня безопасности.
Эта функция основана на ряде автономных инструментов для программирования от таких компаний, как GitHub и OpenAI, которые могут выполнять задачи от имени разработчика. Но она делает еще один шаг вперед, передавая решение о том, когда запрашивать разрешение у пользователя, самому ИИ.
Anthropic не раскрывает подробности о конкретных критериях, которые использует его safety layer для того, чтобы отличать безопасные действия от рискованных, — разработчики, вероятно, захотят лучше разобраться в этом, прежде чем широко внедрять эту функцию. (AGI_LOG обратился к компании за дополнительной информацией на этот счет).
Автоматический режим появился после запуска компанией Anthropic Claude Code Review, автоматического средства проверки кода, предназначенного для выявления ошибок до того, как они попадут в кодовую базу, и Отправки для коллег , который позволяет пользователям отправлять задания агентам искусственного интеллекта для выполнения работы от их имени.
Автоматический режим будет доступен корпоративным пользователям и пользователям API в ближайшие дни. Компания заявляет, что в настоящее время она работает только с Claude Sonnet 4.6 и Opus 4.6, и рекомендует использовать новую функцию в “изолированных средах” — изолированных установках, которые хранятся отдельно от производственных систем, что ограничивает потенциальный ущерб, если что-то пойдет не так.
