Американская компания Anthropic, разработчик языковой модели Claude, опубликовала отчёт о попытках злоупотребления своими ИИ-системами. В документе, охватывающем период с декабря 2025 по август 2026 года, описаны пять кейсов, в которых исследователи использовали Claude способами, потенциально способными поддержать разработку биологического оружия.
По данным Anthropic, учёные из закрытых и государственных (включая военные) институтов в регионах с ограниченным доступом к сервису маскировали запросы под обычные научные работы и заявки на гранты. Они стремились обойти географические блокировки и системы безопасности модели. В переписках фигурировали исследования по усилению патогенов, повышению их способности обходить иммунитет человека и увеличению заразности.
Среди упомянутых агентов — вирус чикунгуньи (gain-of-function исследования трансмиссивности и уклонения от иммунного ответа, планировавшиеся в том числе на базе военного исследовательского института), высокопатогенный птичий грипп (адаптация к млекопитающим), ортопоксвирусы (группа, включающая возбудитель оспы), а также работа над новыми токсинами, ядами и пептидами ядов с возможностью оптимизации их характеристик. Компания отмечает двойственный характер таких исследований: те же подходы могут применяться и для разработки вакцин или лекарств.
Anthropic обнаружила подозрительную активность при мониторинге чатов и классификаторах биологической безопасности. Аккаунты были заблокированы, связанные ретрансляционные сети, обходившие региональные ограничения, отключены. Результаты расследования учтены при усилении защитных механизмов новых моделей (включая более жёсткие ограничения на dual-use биологические запросы) и переданы соответствующим органам и партнёрам в отрасли.
В компании подчёркивают, что речь идёт о работающих учёных, и не утверждают наличие у них злого умысла. «Это чрезвычайно нюансированная ситуация», — отмечал глава отдела threat intelligence Anthropic. Биологическое злоупотребление названо одним из самых серьёзных рисков современных frontier-моделей: без должных ограничений такие возможности «могут иметь катастрофические последствия».
Отчёт Anthropic также описывает другие виды злоупотреблений Claude — от киберопераций и слежки до разработки программного обеспечения для обычных вооружений. Компания заявляет, что продолжит совершенствовать системы обнаружения и блокировки подобных попыток.