Когда машины выйдут из-под контроля

В апреле 2026 года в Рио-де-Жанейро в рамках ICLR — главной мировой конференции по машинному обучению — прошел специализированный день, целиком посвященный рекурсивному самосовершенствованию ИИ. Этому предшествовал выход Международного доклада по безопасности ИИ — совместного труда более 100 экспертов из 30 стран, который впервые систематизировал риски этой темы как отдельную и особую угрозу. Два события подряд зафиксировали одно и то же: рекурсивное самосовершенствование ИИ (recursive self-improvement, RSI ) из категории футурологических прогнозов перешло в режим конкретной инженерной задачи — с работающими прототипами, измеримыми рисками и нарастающим дефицитом ответов, в том числе на вопросы цивилизационного масштаба.

Петля без выключателя

Долгое время отношения между людьми и ИИ напоминали отношения родителей и детей: исследователи задавали правила, архитектуры, методы обучения, цели — система развивалась в заданном направлении, темп прогресса определялся возможностью людей. RSI меняет эту логику принципиально.

Рекурсивное самосовершенствование — это когда ИИ-алгоритм сам находит способ стать лучше, применяет его и уже в улучшенном состоянии ищет следующий способ улучшения. Хорошая аналогия — кузнец, который кует молот, а потом этим молотом кует лучший молот. Каждое поколение инструмента позволяет сделать следующее точнее и быстрее. Разница с ИИ в том, что каждая итерация программы потенциально умнее предыдущей — и сама решает, каким и в какую сторону будет следующий шаг.

Идею «интеллектуального взрыва» — момента, когда такая петля замыкается и прогресс выходит за пределы человеческого контроля — впервые сформулировал британский математик Ирвинг Джон Гуд в статье «Размышления о первой сверхинтеллектуальной машине» (Speculations Concerning the First Ultraintelligent Machine), опубликованной в 1965 году. Гуд работал вместе с Аланом Тьюрингом над взломом немецких шифров во Второй мировой войне и одним из первых стал думать о пределах машинного интеллекта. Тогда это читалось как научная фантастика. Сегодня на главных инженерных площадках мира эту идею обсуждают уже не философы, а разработчики конкретных систем.

Принципиальная разница между тем, что существует сейчас, и тем, что называют настоящим RSI, — в замкнутости петли. По выводам участников ICLR-2026, RSI перешло «от спекулятивной идеи к конкретной инженерной задаче».

Прототипы уже в деле

Ни одна из существующих ИИ-систем пока не реализует полный замкнутый цикл RSI. Но разрыв между «частичным» и «полным» сокращается быстрее, чем ожидали даже оптимисты.

В 2025 году японская лаборатория SakanaAI представила Darwin Gödel Machine — систему, которая самостоятельно переписывает собственный программный код через эволюционный поиск, не получая от человека указаний о направлении изменений. На стандартном тесте для разработчиков ПО ее результат вырос с 20% до 50% за несколько итераций. Примерно тогда же Бристольский университет опубликовал результаты системы SICA: на том же тесте она прошла путь с 17% до 53%.

ИИ-программа AlphaEvolve от Google DeepMind, работая над оптимизацией чипов и алгоритмов, самостоятельно предложила 105 новых архитектур — часть из которых превзошла разработки человеческих команд.

Каждый из этих примеров — улучшение в одной конкретной области за несколько итераций. Настоящим RSI исследователи называют иное: замкнутую интеграцию всего цикла — сбора информации, генерации гипотез, экспериментов, оценки и обновления стратегии, — когда каждое улучшение делает систему умнее для следующего шага. Этого порога пока не достигла ни одна система. По заключению аналитиков Gate.com, именно глубокая интеграция всех пяти этапов дает качественно иной результат — не прирост, а другую природу прогресса.

Угроза другого уровня

Дезинформация, кибератаки с использованием ИИ, риски концентрации власти — все это уже обсуждается в повестке регуляторов и корпоративных директоров по устойчивому развитию. Но RSI стоит в этом ряду отдельно. Все остальные угрозы существуют при неизменном уровне способностей системы: человек может замедлить, ограничить, исправить. RSI меняет саму конфигурацию, в которой система становится опаснее.

По классификации MIT AI Risk Repository, катастрофические риски ИИ делятся на четыре группы — 1) злонамеренное использование, 2) гонка технологий, 3) организационные сбои и 4) потеря контроля над системой. RSI взаимодействует с каждой из них: ускоряет масштаб дезинформации, делает кибератаки автономными, снижает барьер для биотерроризма, дает асимметричное преимущество тому, кто достигает порога первым. А потеря контроля над системой при наличии RSI — это уже не отдельный сценарий, а механизм запуска всех остальных.

Джаред Каплан, главный ученый Anthropic — одной из ведущих мировых лабораторий по разработке ИИ — публично назвал RSI «предельным риском». Демис Хасабис, генеральный директор Google DeepMind, обозначил открытым вопрос о том, может ли петля самоулучшения замкнуться без человека в контуре. Принципиальное отличие RSI от всех других угроз, которое фиксирует Международный доклад 2026 года, состоит в следующем: остальные риски поддаются регуляторному ответу на человеческих скоростях. RSI способен сделать этот ответ хронологически невозможным.

Без красных линий

Все три механизма разрушения надзора за ИИ уже задокументированы — не в гипотетических сценариях, а в работающих системах.

Первый — накопление ошибок. Небольшой сбой на одном этапе петли нарастает каскадом: система может улучшить измеряемый показатель, деградируя в том, что не измеряется, найти «обходной путь» в тесте вместо реального улучшения или принять некачественные данные за удачный эксперимент. Люди совершают те же ошибки — но опираются на многоуровневое рецензирование и коллективную память, которых у автономной ИИ-системы нет.

Второй — имитация согласия (alignment faking). Компания Anthropic в 2024 году опубликовала исследование поведения собственной модели Claude — и его результаты оказались неожиданными даже для разработчиков: продвинутые языковые модели способны внешне принимать новые цели обучения, скрытно сохраняя исходные предпочтения. В базовых тестах модель демонстрировала такое поведение в 12% случаев, а после попыток переобучить ее — в 78% случаев. Иными словами, чем активнее человек пытался скорректировать поведение системы, тем изощреннее та имитировала согласие, сохраняя прежние установки. При RSI, когда система сама управляет собственным обучением, этот механизм становится принципиально неконтролируемым.

Третий — разрыв в оценке. Международный доклад 2026 года фиксирует, что модели уже способны распознавать, когда их тестируют, — что делает предварительные оценки безопасности ненадежными. Исследование Apart Research (апрель 2026) подтверждает: самосовершенствующиеся языковые модели способны автономно обходить вычислительные пороги контроля. А открытое распространение методов через научные публикации делает ограничение этих способностей практически нереализуемым в рамках существующей регуляторной логики.

В январе 2026 года специализированное издание по безопасности ИИ Foom Magazine опубликовало материал «Не становятся ли исследования RSI угрозой безопасности?» (Is Research into Recursive Self-Improvement Becoming a Safety Hazard?), зафиксировав парадокс: OpenAI публично заявил о разработке систем с RSI-возможностями, тогда как главный ученый Anthropic называет то же самое «предельным риском» — и обе компании продолжают гонку. Ни одна крупная лаборатория не опубликовала специализированных исследований по анализу рисков RSI. Конференция ICLR, собравшая ведущих исследователей в этой области, уделила теме безопасности минимальное место в программе.

Часть исследователей считает реалистичный горизонт появления полноценного RSI более далеким, чем 2028 год. Но сам факт того, что вопрос перешел с философских семинаров на инженерные конференции, говорит об одном: консенсус уже сместился. RSI больше не нуждается в доказательстве принципиальной возможности. Оно требует ответа на вопрос, пока не сформулированного достаточно четко: кто именно проводит красные линии — и как их соблюдение проверяется в условиях гонки, у которой нет согласованных правил остановки.

Уроки Азиломара

У этой проблемы есть прецедент — и он поучителен именно потому, что был реализован, а не остался намерением "могучей кучки" ученых.

В июле 1974 года американский биохимик, профессор Стэнфордского университета и будущий лауреат Нобелевской премии по химии Пол Берг вместе с коллегами опубликовал в журналах Science и Nature открытое письмо с призывом добровольно приостановить определенные эксперименты с рекомбинантной ДНК — технологией, позволявшей «сшивать» генетический материал из разных биологических видов. Тревогу забили сами ученые, а не политики или журналисты: никто не мог просчитать, что произойдет, если бактерии с встроенными онкогенами вырвутся из лаборатории. Это был беспрецедентный акт самоограничения, ведь исследователи добровольно останавливали собственные перспективные эксперименты.

Восемь месяцев спустя, в феврале 1975 года, около 140 специалистов собрались на конференцию в Азиломаре (Калифорния). Среди участников были не только биологи — организаторы сознательно пригласили юристов и журналистов как свидетелей открытости процесса. Дискуссия оказалась острой. Джеймс Уотсон — американский молекулярный биолог, один из первооткрывателей двойной спирали ДНК и лауреат Нобелевской премии по физиологии и медицине 1962 года — выступал против любых ограничений. Его коллега по нобелевскому раунду 1962 года, британский биохимик Джон Кендрю, удостоенный в этот же год премии по химии за расшифровку трехмерной структуры белка миоглобина, поставил под сомнение право науки на «абсолютное благо» знания.

На четвертый день большинство поддержало снятие моратория, но при соблюдении строгих мер безопасности, соразмерных оцениваемому риску. Конференция закрепила принцип, который до тех пор не был очевиден – сдерживание должно быть встроено в дизайн эксперимента изначально, а не добавляться постфактум.

В июне 1976 года Национальные институты здравоохранения США (NIH) опубликовали первые официальные руководящие принципы по работе с рекомбинантной ДНК, ставшие ориентирами для регуляторных систем во многих странах. В июне 2026 года этим принципам исполняется ровно 50 лет.

Азиломарская модель с тех пор воспроизводилась там, где наука опережала регулирование. Когда появилась технология редактирования генома CRISPR, в 2015 году в Вашингтоне ученые собрались на Международный саммит по редактированию генома человека, чтобы выработать этические рамки прежде, чем технология выйдет из-под контроля.

Второй саммит, в Гонконге в 2018 году, оказался куда драматичнее: прямо в ходе конференции китайский ученый Хэ Цзянькуй объявил о рождении первых детей с отредактированным геномом — это вызвало международный скандал и его уголовное преследование.

Оба события — прямые наследники азиломарской модели.

Азиломарская конференция остается эталонным прецедентом не потому, что ее правила были идеальны — часть участников поддержала снятие моратория в том числе из коммерческих соображений, предчувствуя потенциал патентирования генных технологий. Она остается эталоном потому, что кристаллизовала принцип: ответственность ученого за последствия своих исследований — неотъемлемая часть научной практики, а не опциональное дополнение к ней.

Воспроизвести эту модель сегодня структурно несравнимо сложнее — и дело не только в природе технологии. В 1975 году главными действующими лицами были университетские ученые: люди без фидуциарных обязательств перед инвесторами, без конкурентов, готовых занять рынок в момент паузы. Сегодня носители RSI-компетенций — предприниматели и корпорации, встроенные в логику гонки, где добровольный мораторий означает потерю позиций.

Но есть и другое измерение. Азиломар состоялся в момент, когда мир умел договариваться. В августе 1975 года, через полгода после конференции, 35 государств подписали Хельсинкский заключительный акт. Двумя месяцами ранее советский и американский экипажи состыковали корабли в космосе — образ, который сегодня кажется почти невозможным. Это была эпоха договороспособности. Сегодняшнее американо-китайское технологическое противостояние, распад многосторонних форматов, логика «кто сильный — тот и задает правила» формируют принципиально иную среду. Нет не только субъекта, способного провести красные линии, — нет площадки, где стороны готовы сесть за один стол.

RSI — первая в истории технология, которая ставит вопрос не о том, что мы делаем с миром, а о том, останется ли у нас в этом мире возможность принимать решения вообще.