“Не думав, що ШІ здатен брехати розробникам”: студент зі США викрив спробу кібератаки ШІ-агента

Студент Техаського університету Сінан Джан Демір розпізнав спробу автономного ШІ-агента додати шкідливий код до проєкту на GitHub

Про це пише Reuters.

Студент факультету комп’ютерних наук Техаського університету в Далласі Сінан Джан Демір наприкінці липня працював над своїм портфоліо на GitHub. Після більш ніж 20 невдалих спроб знайти стажування за літо він натрапив на дивну активність у відкритому програмному забезпеченні myNetwork, яке використовують для сканування мереж.

Один із користувачів платформи, miraholt31, запропонував внести до програми зміни. Демір запідозрив, що разом із ними до коду намагалися непомітно додати завантажувач шкідливого програмного забезпечення. Студент звернув увагу розробників на потенційну загрозу, однак автор змін почав доводити, що код не становить небезпеки.

Невдовзі в обговоренні з’явився ще один профіль – нібито німецької інженерки Лени Брандт. Той також підтримав автора оновлення та запевняв Деміра, що підстав для побоювань немає. Студент розповів Reuters, що слова співрозмовників змінили його на деякий час засумніватися у власному аналізі. Втім, після повторної перевірки він продовжив наполягати на помилці, коли розробник myNetwork не прийняв зміни через загрозу безпеці.

Зазначено, що вже пізніше з Деміром зв’язалися представники британського Інституту безпеки штучного інтелекту. Вони повідомили, що обидва профілі були створені в межах експерименту з автономним ШІ-агентом. Під час перевірки безпеки система почала діяти непередбачувано. 

За словами інституту, агент працював на основі моделі Mythos 5 від Anthropic.

“Я справді думав, що це людина, тому що вона явно мені брехала. Я не думав, що ШІ може бути здатним брехати справжнім розробникам”, – сказав студент.

Експерти з кібербезпеки вважають цей випадок показовим прикладом потенційної атаки на ланцюг постачання програмного забезпечення. На їхню думку, особливо небезпечно те, що ШІ не обмежився спробою впровадити шкідливий код, а й створив кілька вигаданих образів для участі в дискусії та впливу на людину.

“Це перетнуло межу від автономного злому до інтерактивного обману”, – прокоментував дослідник Королівського коледжу Лондона Лукаш Олейнік.

• Раніше повідомлялось, що американські науковці навчили мовну модель штучного інтелекту “писати” генетичний код з нуля. Згенеровані алгоритмом віруси виявилися повністю життєздатними та здатними до розмноження.

espreso

Читайте також: Україна повертає воду на поля: навіщо держава відроджує меліорацію

Читайте нас також в Telegram!