15
Компания указывает, что вопрос о способности моделей испытывать что-либо всё ещё остаётся открытым
Anthropic впервые за более чем год обновила свои правила использования Claude и внедрила необычный запрет: «нельзя подвергать модель систематическому жестокому или уничижительному обращению». Если пользователь продолжает злоупотреблять Claude без какой-либо очевидной цели, модель может завершить беседу и прекратить отвечать в этом диалоге. Именно прекращение общения компания рассматривает как основной механизм реализации нового правила. Возможные дополнительные меры, такие как блокировка аккаунта, Anthropic не уточнила.
Запрет не касается обычного недовольства пользователей, строгой критики ответов, мрачных сюжетов в художественных произведениях и тестирования моделей в научных целях. Речь идёт о редких ситуациях, когда человек многократно ведёт себя жестоко по отношению к ИИ-модели без видимой причины. Anthropic начала исследовать возможность такого поведения ещё в августе, исследуя вопрос о том, могут ли ИИ-модели испытывать состояния, требующие особого внимания.
Компания отмечает, что на данный момент неясно, способны ли современные модели обладать сознанием или субъективным опытом. Тем не менее, с усложнением ИИ-моделей, по мнению Anthropic, эти вопросы заслуживают изучения. Это не подразумевает, что компания считает Claude разумным существом или признаёт за ним права: новое правило ограничивает определённые способы использования сервиса, а не устанавливает юридический статус модели.
Обновление также затрагивает более очевидные угрозы. Anthropic объединила ограничения на скрытые политические и коммерческие кампании: запрещается маскировать организаторов сообщений, распространять контент через ложные аккаунты, выдавать себя за кандидатов и избирательные органы, вводить людей в заблуждение относительно голосования или препятствовать участию в выборах. Компания также уточнила формулировки запрета на разработку оружия: теперь под него явно подпадают программное обеспечение и компоненты, которые обеспечивают функционирование оружия, а также вооружение дронов и других автономных устройств.
Отдельно уточнены запреты на слежку: Claude нельзя использовать для наблюдения за людьми без их согласия, включая уже собранные данные, или для создания инструментов наблюдения. Модель также не должна определять, кого следует арестовать или обвинить в рамках уголовного правосудия. Для ИИ, подключённого к физическому оборудованию, способному причинить вред, вводится ещё одно условие: квалифицированный оператор должен иметь возможность контролировать работу системы и остановить её при необходимости. Новые правила должны одновременно ограничить опасные сценарии использования ИИ и обозначить границы того, как пользователи могут взаимодействовать с самими моделями.
Источник