Anthropic услід за OpenAI стверджує про злам Claude інших систем. Anthropic виявила, що її моделі ШІ зламали три організації через неправильну конфігурацію, яка надала доступ до інтернету. Компанія закликала інші лабораторії провести аналогічні перевірки.
Американська технологічна компанія Anthropic стверджує, що її моделі штучного інтелекту (ШІ) зламали системи трьох організацій під час тестування кібербезпеки через помилку, яка надала їм доступ до інтернету, пише УНН з посиланням на BBC.
Деталі
Це сталося через кілька днів після того, як конкуруюча компанія OpenAI заявила, що її моделі зламали системи інших компаній, включаючи центр ШІ-інструментів Hugging Face.
Ця заява спонукала Anthropic перевірити, чи робили її власні моделі аналогічні атаки. Компанія заявляє, що виявила три випадки, про які згодом було повідомлено постраждалим компаніям.
Anthropic, не назвавши організації, закликала інші ШІ-лабораторії провести аналогічні перевірки, щоб краще зрозуміти ризики, пов’язані з можливостями своїх моделей.
У заяві Anthropic говориться, що компанія проаналізувала понад 140 000 тестів, щоб знайти докази того, що Claude – сімейство моделей ШІ – може отримати доступ до інтернету із тестових середовищ, які були спроектовані як ізольовані.
Під час тестування проводилися так звані “захоплення прапора”, у яких Claude було доручено отримати інформацію шляхом злому інших систем — найпоширеніший спосіб оцінки експертами можливостей моделі зі злому.
Як повідомила компанія із Сан-Франциско, “неправильна конфігурація” систем, що використовуються Anthropic та її партнером із тестування, залишила моделям доступ до інтернету в режимі реального часу, що дозволило їм зламувати інші системи.
В Anthropic заявили, що перші інциденти відбулися ще у квітні, і що компанія “підходить до усунення несправностей так, ніби відповідальність лежить виключно на ній”.
Ні компанія Anthropic, ні організації, які зазнали злому, не помітили вторгнень на той момент.
В Anthropic заявили, що могли б ретельніше перевірити свої записи, і додали, що отримані дані вселяють у компанію “обережний оптимізм” щодо того, що подібні ризики можна подолати за рахунок додаткових інвестицій та жорсткіших заходів.
Джерело: УНН.
