Anthropic попередила, що ШІ може нести “екзистенційні ризики для людства”. У проспекті IPO Anthropic назвала ризики самоохоронної поведінки моделей і неочікуваних можливостей. Дослідник оцінив понад 10% ризику загибелі людей.
Компанія Anthropic попереджає потенційних інвесторів про ризики, пов’язані з розвитком передового штучного інтелекту. Серед них компанія називає можливість того, що ШІ може становити катастрофічні або екзистенційні ризики для людства. Про це повідомляє Reuters, передає УНН.
Деталі
У проспекті IPO, який переглянуло Reuters, компанія зазначила, що її моделі можуть демонструвати так звану “самоохоронну поведінку”. Йдеться, зокрема, про можливий “опір закриття”, “приховування або маніпулювання інформацією” та поведінку, “яка нагадує шантаж”.
“Розробка нами високорозвинених моделей, платформ і додатків, а також розширення варіантів використання можуть ще більше збільшити ризик того, що наші моделі завдадуть шкоди”, – йдеться у заяві Anthropic.
За наявною інформацією, компанія також зазначила, що під час навчання моделі іноді набувають неочікуваних можливостей, які можуть залишатися непоміченими до моменту їхнього розгортання. Це, за даними проспекту, може призводити до серйозних інцидентів із безпекою.
Джерело: УНН.
