В новом выпуске подкаста 20VC венчурный капиталист Гарри Стеббингс обсуждает будущее искусственного интеллекта с Зико Колтером — профессором Университета Карнеги — Меллона и новым членом совета директоров OpenAI. В ходе беседы эксперт развенчивает мифы о неминуемом дефиците данных, объясняет фундаментальные уязвимости современных LLM и формулирует прагматичный подход к безопасности ИИ, смещая фокус с фантастического «восстания роботов» на вполне реальные технологические и инфраструктурные риски.
🧠 О природе интеллекта LLM и постархитектурной эпохе 1:27
Зико Колтер совмещает руководство кафедрой машинного обучения в Университете Карнеги — Меллона со свежим назначением в совет директоров ИИ-гиганта OpenAI. Объясняя базовые механизмы современных больших языковых моделей (LLM), он отмечает, что на самом глубоком математическом уровне эти алгоритмы лишь обучаются предсказывать последующие слова в текстовой последовательности на основе массивов интернет-данных.
Гость считает фундаментальным заблуждением популярный аргумент скептиков о том, что раз модели просто угадывают слова, они не могут обладать подлинным разумом. По мнению Колтера, научный факт того, что обычный предсказатель слов при масштабировании начинает выдавать связные, длинные и интеллектуальные ответы, является одним из самых значимых открытий последних десятилетий.
При этом в индустрии ИИ наметился тектонический сдвиг. Изменив свои прежние убеждения, профессор заявляет, что архитектура нейросетей больше не имеет решающего значения. По оценке Колтера, индустрия ИИ вошла в «постархитектурную» фазу: сами по себе Трансформаторы не уникальны, и на их месте могла бы успешно работать любая другая зрелая математическая модель, если выделить на нее аналогичный объем вычислений и данных.
📊 Миф о дефиците данных и потенциал мультимодальности 4:10
На фоне разговоров о том, что разработчики ИИ полностью исчерпали доступные ресурсы интернета и столкнулись с кризисом дефицита данных, Колтер занимает жесткую оптимистичную позицию. Он разделяет проблему на два аспекта. С одной стороны, наиболее качественные открытые тексты (например, Википедия) действительно уже поглощены ИИ-моделями. С другой стороны, публичные текстовые датасеты занимают скромный объем — около 30 терабайт в сжатом виде, что физически может поместиться на нескольких micro SD картах в ладони.
По словам Колтера, человечество еще даже не приблизилось к исчерпанию мировых запасов информации. Ключевые резервы ИИ включают в себя:
- Закрытые корпоративные архивы и внутренние базы данных, защищенные правами доступа.
- Мультимодальные данные, такие как видео- и аудиоматериалы, а также различные сенсорные сигналы.
- Синтетические данные, генерируемые самими моделями для дообучения.
Для сравнения масштабов гость приводит текстовый транскрипт текущего подкаста весом в несколько килобайт и его же видеоверсию, занимающую около 6,5 гигабайт. Пространственно-временная визуальная информация критически важна для человеческого восприятия интеллекта, и Колтер не сомневается в ее ценности для ИИ, хотя обработка таких массивов пока упирается в ограничения вычислительных мощностей (compute). Кроме того, по мнению эксперта, современные алгоритмы пока не способны извлекать максимум информации даже из фиксированных датасетов: обучение моделей на их собственных синтетических данных все равно дает прирост качества, что указывает на огромные скрытые резервы.
📉 Коммодизация моделей и иллюзия плато в бенчмарках 12:00
Обсуждая тренд на создание множества мелких специализированных моделей, Колтер признается, что устойчивое экономическое равновесие на рынке еще не достигнуто. Для повседневных задач сам профессор выбирает исключительно самые крупные закрытые ИИ-системы, так как они демонстрируют лучшую универсальность. Идея малых моделей (SLM) станет по-настоящему жизнеспособной только тогда, когда конкретная рутинная задача будет повторяться тысячи раз.
Комментируя тезис главы Cohere Эйдена Гомеса о том, что прогресс ИИ замедляется и новые поколения моделей дают все менее заметный прирост, Колтер заявляет, что проблема кроется в несовершенстве бенчмарков и ограниченном воображении самих пользователей. Люди привыкли задавать ИИ стандартные вопросы вроде написания биографий, с чем отлично справляются даже легковесные открытые модели (например, Llama на 8 миллиардов параметров). Однако в сложных профессиональных сферах, таких как написание кода или транскрибирование лекций, новые флагманские модели демонстрируют колоссальный отрыв от предшественников.
Инвестиционный и экономический тезис Колтера заключается в неизбежной коммодизации и жесткой консолидации рынка ИИ. Ранний бум, когда каждая компания стремилась обучить собственную модель с нуля ради демонстрации ИТ-компетенций, уходит в прошлое. Обучение базовых моделей с нуля перестает быть экономически оправданным для большинства игроков, уступая место технологическому аутсорсингу. Законы масштабирования вычислений (scaling laws) все еще работают, и хотя наращивание compute — не единственный путь развития, оно продолжает приносить плоды, смещая фокус компаний на финансовую оптимизацию стоимости инференса.
🎯 Критерии AGI и трансформация рынка труда 19:11
Термин «искусственный общий интеллект» (AGI) часто используют как громкий маркетинговый ярлык, поэтому Колтер предлагает собственное прагматичное определение. По его мнению, AGI — это система, способная виртуально выполнять функции вашего близкого коллеги или сильного студента-исследователя на протяжении годового проекта. Для самого Зико критерием полноценного AGI станет способность ИИ полностью автоматизировать его собственную профессорскую и административную деятельность на кафедре.
Гость признает, что радикально пересмотрел свои академические скептические убеждения: если раньше он считал, что появление AGI невозможно при его жизни, то теперь его прогноз колеблется в диапазоне от 4 до 50 лет, что отражает огромную неопределенность, но заставляет относиться к этой вехе максимально серьезно.
В вопросе влияния технологии на занятость Колтер разделяет оптимистичный взгляд ведущего Гарри Стеббингса на то, что общество адаптируется к переменам. Как считает гость, наиболее успешными на рынке станут не те компании, которые бездумно уволят сотрудников ради замены их на ИИ, а те, кто научит свой штат эффективно управлять интеллектуальными системами и задавать им правильные концептуальные рамки.
🔒 Корпоративные страхи: почему RAG побеждает дообучение 22:42
На пути внедрения ИИ в крупный бизнес стоит серьезный психологический и технический барьер — нежелание корпораций передавать свои данные внешним провайдерам из-за страха утечек. Колтер указывает на парадокс: компании охотно доверяют коммерческую тайну традиционным облачным хранилищам, но панически боятся ИИ-обучения на ней.
По мнению профессора, этот страх вызван базовым непониманием технологий. Прямое дообучение (fine-tuning) базовой ИИ-модели на конфиденциальных внутренних документах предприятия невозможно, поскольку в современных архитектурах отсутствуют гибкие разграничения прав доступа. Натренированная модель может случайно выдать секретную информацию финансового департамента обычному стажеру прямо в окне ответа.
Именно поэтому, как объясняет Колтер, архитектура RAG (retrieval-augmented generation) останется доминирующим стандартом для энтерпрайза. Процесс устроен иначе:
- Алгоритм RAG сначала находит документы внутри закрытого контура компании, к которым у конкретного сотрудника есть легальный доступ.
- Найденные текстовые фрагменты временно передаются в контекстное окно модели вместе с запросом.
- ИИ формирует ответ исключительно на основе этой выжимки, не сохраняя данные в свою постоянную память.
При использовании официальных API или изолированных систем RAG базовая модель ИИ не переобучается на пользовательских данных, и риски здесь не превышают рисков обычного облачного хранения, резюмирует гость.
🎭 Информационный хаос и возврат к «истокам» доверия 27:58
Обсуждая угрозы дипфэйков и дезинформации, Колтер высказывает неожиданный взгляд на проблему. Он считает, что главным негативным последствием станет не то, что люди начнут огульно верить любой лжи, а то, что они перестанут верить абсолютно всему увиденному и услышанному за пределами своего физического контроля. По мнению гостя, общество уже движется по этому пути, игнорируя любые объективные факты, которые не соответствуют их устоявшимся убеждениям, и ИИ лишь выступает мощным катализатором процесса.
Однако Колтер напоминает, что объективная фиксация реальности (например, с помощью фото- и видеозаписей) — это кратковременный исторический феномен, существующий в истории человечества чуть более ста лет. Биологически люди миллионы лет эволюционировали в условиях, когда верить можно было только близкому кругу лиц при личном контакте. Возвращение к этой модели доверия может выглядеть как социальный регресс, но для человеческой психики это естественное базовое состояние.
Гарри Стеббингс добавляет, что в таком мире колоссально вырастет капитализация и ценность авторитетных медиа-брендов (например, The New York Times), чьим публикациям люди продолжат доверять институционально. При этом Колтер подчеркивает, что ИИ не изобретал пропаганду, и регулировать необходимо не саму технологию или код, а конкретные downstream-сферы ее деструктивного применения с помощью адаптации классического законодательства о клевете и диффамации.
🛑 Главная уязвимость ИИ: неспособность следовать спецификациям 37:15
Как специалист по ИИ-безопасности, Зико Колтер расставляет приоритеты угроз иначе, чем авторы научно-фантастических сценариев. По его мнению, фундаментальная и пока нерешенная проблема современных моделей заключается в их неспособности надежно следовать заданным спецификациям и правилам. Разработчик может заложить в систему жесткие системные ограничения, но пользователь с помощью техник «инъекции промптов» (prompt injection) или джейлбрейка легко заставляет ИИ их нарушить.
В качестве примера Колтер приводит стандартный запрет на инструкции по угону автомобилей: если прямо спросить модель, как замкнуть провода в зажигании, она откажет. Но если симулировать критическую ситуацию, выдумать художественный сценарий или заявить о чрезвычайном происшествии, алгоритм с высокой вероятностью обойдет собственное правило.
Пока ИИ заперт в рамках обычного текстового чат-бока, это не несет критических угроз для общества. Однако по мере превращения моделей в автономных агентов, которые анализируют внешние немодерируемые сайты и совершают действия в сети, неспособность контролировать спецификации создает целый спектр рисков:
- Уязвимости ИИ-агентов: При обработке немодерируемых внешних сайтов вредоносный код со страницы может перехватить управление автономным агентом.
- Масштабирование кибератак: Модели уже способны находить скрытые бреши в коде программ, что упрощает генерацию эксплойтов нулевого дня.
- Снижение порога входа для злоумышленников: ИИ не создает новые угрозы с нуля, но резко снижает уровень навыков, необходимых для разработки химического, биологического или цифрового оружия.
По словам профессора, это эквивалентно уязвимости «переполнения буфера» в классическом ПО, но ИИ-индустрия пока не знает, как выпустить для нее патч. Данная проблема работает как мультипликатор для любых деструктивных сценариев.
⚛️ Модели с открытым весом и «ядерная» аналогия 44:37
Комментируя громкое заявление основателя Scale AI Алекс Ванга о том, что ИИ потенциально опаснее ядерного оружия, Колтер критикует эту аналогию. Ядерное оружие создано исключительно для разрушения и не имеет мирного применения, тогда как ИИ ближе к ядерной энергетике в целом: технология способна как причинить колоссальный вред, так и обеспечить человечество мощнейшими инструментами развития.
Сам Колтер является сторонником моделей с открытым весом (open weight), поскольку они критически важны для независимых академических исследований. Он отмечает, что текущие открытые системы уровня Llama 3 405B пока не привели к катастрофам. Тем не менее, гость признает, что в будущем прогресс может дойти до точки, когда бесконтрольное распространение весов ИИ станет безответственным.
Если ИИ научится мгновенно находить критические уязвимости в любом скомпилированном коде, его открытый релиз будет опасен, так как закрывать бреши в ИТ-инфраструктуре гораздо сложнее и дольше, чем эксплуатировать их. По мнению Колтера, текущий статус-кво, когда передовые закрытые модели (GPT-4, Claude) выходят на несколько месяцев раньше открытых аналогов, идеален: это дает обществу время изучить риски в контролируемой среде.
🔌 Инфраструктурный коллапс вместо восстания роботов 51:05
Завершая разговор о безопасности, Зико Колтер призывает ИИ-сообщество сместить фокус с обсуждения фантастических сценариев, вроде обретения ИИ собственного злого умысла и желания уничтожить людей, на практические инженерные риски. Самым реалистичным катастрофическим сценарием он считает каскадные коррелированные сбои при глубокой интеграции ИИ в критическую инфраструктуру.
Если автономные агенты, чью внутреннюю логику люди до конца не понимают, начнут управлять энергосетями, скрытая системная ошибка в коде может разом отключить электричество в масштабах всей страны без возможности быстрого восстановления.
В качестве свежей аналогии Колтер и Стеббингс вспоминают масштабный глобальный сбой ИТ-систем, вызванный обновлением CrowdStrike. По мнению гостя, в момент техногенной катастрофы будет абсолютно неважно, была ли это ошибка в алгоритме или осознанный саботаж «сверхинтеллекта» — электросети все равно окажутся парализованы, а последствия для населения будут одинаково разрушительными. Именно поэтому внедрение жестких стандартов безопасности и изоляции ИИ необходимо форсировать уже сегодня, оставаясь при этом прагматичными оптимистами.
