Развитые системы искусственного интеллекта (ИИ) могут представлять угрозу существованию человечества и помогать злоумышленникам создавать оружие массового поражения. Об этом предупреждает разработчик Claude, компания Anthropic в проспекте IPO. Документ размещен на сайте комиссии по ценным бумагам и биржам США (SEC).

 Фото: «БИЗНЕС Online»

Как отмечают в компании, мощные ИИ «могут создавать катастрофические или экзистенциальные риски для человечества, особенно если такие системы используются во вред, копируются, превращаются в оружие или получают высокую степень автономности». В пример Anthropic привели свои наиболее совершенные модели, которые способны помочь злоумышленникам в разработке химического, биологического и другого опасного оружия. Среди других рисков — попытки моделей ИИ сопротивляться отключению, скрывать или искажать информацию и прибегать к действиям, «напоминающим шантаж».

В сентябре глава Anthropic Дарио Амодеи призвал замедлить развитие ИИ из-за рисков потери контроля над технологией. Его позицию поддержали глава OpenAI Сэм Альтман и руководитель xAI Илон Маск. Президент США Дональд Трамп, напротив, выступил против замедления разработок, заявив, что лидерство в гонке искусственного интеллекта имеет стратегическое значение для США.

Глава Microsoft Сатья Наделла заявил о необходимости создать механизмы, которые позволят человеку в любой момент приостановить работу ИИ или полностью отключить модель. По его мнению, человечеству нужны более совершенные средства контроля и сдерживания, а также отраслевые стандарты.