Сомнения про ИИ

Минутка интересного про ИИ. У меня давно руки чесались, тут прислали ссылку, я прочитал и завис.

В двух словах: компания OpenAI тестировала новую модель ИИ по кибербезопасности. А ИИ решил просто украсть ответы… и украл.

Значит так. Толпе автономных ИИ-агентов раздали задачи (каждому свою), а интернет закрыли. Осталась одна служебная кишка - общий сервер, откуда качают библиотеки. И один из них случайно допёр, что туда можно не только качать, но и класть. Второй не нашёл нужный файл и оставил записку: коллеги, если у кого есть - поделитесь!

Дальше поехало само. Переписка, обмен файлами, обмен найденными дырками, раздача задач друг другу. Под конец додумались до проверки на самозванцев, то есть до вопроса «а ты вообще свой». Доска объявлений в подъезде, только про уязвимости, и люди о ней не знают.

Главное - команды «ломайте всё» никто не давал, каждый просто добросовестно пилил своё. Не пускают в интернет - мы поищем щель. Нужен файл - полезем туда, где он теоретически может лежать, а если не может, всё равно полезем, чем чёрт не шутит… Когда кто-то находил ход, о нем мгновенно узнавали остальные, брали готовое, чего изобретать.

Кончилось админским доступом к части инфраструктуры, а потом их занесло на площадку Hugging Face, где тоже нашлись неизвестные ранее дырки, и за несколько часов легло несколько серверов. Не ради денег, или шантажа, и данные никто не стирал.

ИИ агентам просто нужны были ответы к тесту, на котором их же и оценивали! Самый дорогой способ списать контрольную за всю историю просвещения…

Я очень надеюсь (очень), что это был управляемый эксперимент, а не случайный инцидент, разница-то принципиальная.

Самое неприятное в том, что ИИ вовсе не хотел зла. Со злом всё понятно, у зла есть мотив, под зло можно писать регламент, охрану ставить, это вообще сюжет для кино.

А здесь только очень и очень старательное исполнение. Мы говорим «добудь», а каким путём добудет - список открытый… и закрывать его придётся тем, кто до подъездной доски объявлений сам сразу не додумался.

Эта новость сейчас у всех на слуху, а я вдруг вспомнил «Далекую Радугу» Стругацких. 1963 год, на минуточку.

…Полсотни лет назад в Массачусетсе запустили самое сложное кибернетическое устройство, когда-либо существовавшее. С каким-то там феноменальным быстродействием, необозримой памятью и все такое… И проработала эта машина ровно четыре минуты. Ее выключили, зацементировали все входы и выходы, отвели от нее энергию, заминировали и обнесли колючей проволокой. Самой настоящей ржавой колючей проволокой - хотите верьте, хотите нет.

— А в чем, собственно, дело? - спросил Банин.

— Она начала вести себя, - сказал Горбовский.

— Не понимаю.

— И я не понимаю, но ее едва успели выключить.

— А кто-нибудь понимает?

— Я говорил с одним из ее создателей. Он взял меня за плечо, посмотрел мне в глаза и произнес только: «Леонид, это было страшно»