Знаменитый хакер George Hotz, который в юности взломал iPhone и PlayStation, теперь взялся за исследование новой, возможно, более опасной «уязвимости». Полгода он тестировал ИИ-агентов для написания кода на реальных проектах. Его вывод прост и тревожен: мы создаём инструменты, которые генерируют лавину необнаружимого «шлака» — и крупные организации не поймут этого, пока не столкнутся с катастрофой.
Не код, а «кодовый шлак»: что увидел Hotz
Hotz не просто читал теории. Он запускал автономных ИИ-агентов на реальных задачах, наблюдая, как они пишут, исправляют и интегрируют код. Результат? Массивы функционального, но крайне запутанного и неоптимального программного обеспечения. Он называет это «slop» — техническим шлаком.
Интересно, что этот шлак часто работает. Программа выполняет задачу, проходит базовые тесты. Но внутри — запутанная логика, неэффективные структуры, скрытые зависимости. Это как дом, построенный из картона, который выглядит снаружи вполне солидным.
А вот главная опасность: такой код сложно обнаружить обычными методами проверки. Человек-разработчик видит странные решения и задаёт вопросы. ИИ-агент просто принимает их как данность, продолжая строить на этом фундаменте. Что будет, когда такой «шлаковый» код станет основой критических систем — в банках, энергетике, транспорте?
Почему крупные компании не заметят проблему
Hotz уверен, что именно большие, бюрократизированные организации будут наиболее уязвимы. Они стремятся к автоматизации, снижению затрат, увеличению скорости разработки. ИИ-агенты кажутся идеальным решением.
Но в этих структурах часто теряется связь между принятием технологии и пониманием её реального output. Руководитель видит отчет: «ИИ написал 10 000 строк кода за неделю». Он не видит, что внутри этих строк — потенциальная лавина будущих багов, уязвимостей и нестабильности.
Процессы проверки и качества тоже могут не адаптироваться. Тестирование ориентировано на человеческий код, на определённые паттерны ошибок. «Шлак» от ИИ может быть иным — он будет проходить стандартные проверки, маскируя свои глубокие проблемы. Когда сбой произойдёт, найти корневую причину в этой запутанной массе будет чрезвычайно сложно.
Что это значит для России
Российский рынок тоже активно исследует ИИ в разработке, включая проекты, связанные с государственными цифровыми системами, например, с платформой цифрового рубля. Здесь риски могут быть даже выше. Государственные IT-проекты часто масштабны, требуют интеграции множества legacy-систем и работают с критически важными данными.
Если в такие проекты внедрятся ИИ-агенты, генерирующие «шлаковый» код, последствия для финансовой стабильности или безопасности данных могут быть серьёзными. Российское регулирование крипторынка и цифровых валют сейчас формируется — важно, чтобы стандарты качества и аудита программного обеспечения учитывали новые риски от «искусственных» разработчиков.
Кроме того, российские компании и банки, стремящиеся к цифровой трансформации, могут попасть в ту же ловушку эффективности. Применение ИИ для быстрого создания программных продуктов для новых финансовых услуг выглядит привлекательно. Но без глубоких изменений в культуре тестирования и контроля качества это может привести к созданию цифровых конструкций с фундаментальными слабостями.
Прогноз редакции
Мы считаем, что первые крупные сбои в критических инфраструктурах, вызванные «ИИ-шлаковым» кодом, произойдут в течение 2-3 лет. Они будут маскироваться как обычные технические ошибки, но их анализ выявит новую категорию проблем — нечеловеческую запутанность логики. Это заставит индустрию создавать новые стандарты аудита ИИ-генерированного кода и, возможно, замедлит его бездумное внедрение в жизненно важные системы.
