Мартин Касадо из a16z и Натан Лабенц обсуждают будущее ИИ, пытаясь определить, является ли регулирование технологий разумной мерой предосторожности или проявлением паранойи. Собеседники сталкивают исторический оптимизм венчурного инвестора с опасениями исследователя перед лицом потенциально неконтролируемого прогресса, разбирая фундаментальные различия в понимании сложности мира и возможностей машинного обучения.
🤖 Реалистичный взгляд на ИИ: инструмент, а не божество 3:12
Современные дискуссии о достижении «сильного ИИ» (AGI) к 2027 году часто игнорируют исторический контекст развития технологий. По мнению Мартина Касадо, ИИ демонстрирует устойчивый прогресс на протяжении последних 70 лет, независимо от периодов «зим» и «лет». Он считает, что AGI является «подвижной целью»: как только машина решает конкретную задачу, люди перестают считать это проявлением истинного интеллекта и переключаются на следующую модальность.
С точки зрения Касадо, ИИ — это в первую очередь чрезвычайно полезный инструмент, который не меняет природу программного обеспечения фундаментальным образом. Он полагает, что в ближайшие два-три года мы увидим продолжение планомерного развития, а не резкий фазовый переход, который превратит компьютеры в нечто принципиально иное.
🚗 Уроки беспилотников: почему прогресс замедляется 6:38
Для оценки перспектив ИИ Мартин Касадо предлагает использовать историческую аналогию с автономным вождением. В 2003–2004 годах, когда Себастьян Трун выиграл DARPA Grand Challenge, проехав 1200 миль в полностью автономном режиме, многие считали, что проблема беспилотников решена. Однако спустя 20 лет и почти $100 млрд инвестиций экономика роботакси всё ещё в три раза хуже, чем у традиционных сервисов вроде Uber.
Этот пример иллюстрирует важный тезис: возможность масштабирования способностей не всегда ведет к линейному успеху. По мнению Касадо, ИИ уже давно превосходит человека в узких областях — от распознавания рукописного ввода до шахмат и математики — но это не привело к появлению «универсальных экономических решений». Он утверждает, что концепция «универсального работника знаний», способного заменить человека на большинстве позиций, пока не нашла подтверждения в реальности.
Вместо создания абсолютно универсального разума человечество часто идет по пути изменения окружающей среды под нужды технологий. Примером может служить сельское хозяйство:
- Сбор клубники роботами экономически невыгоден, если они пытаются имитировать действия человека.
- Решением становится высадка ягод ровными рядами и добавление оптических меток для упрощения задачи машине.
📉 Проблема «тяжёлых хвостов» и ловушка усреднения 12:39
Ключевой аргумент Мартина Касадо против возможности быстрого создания универсального ИИ заключается в «тяжелохвостном» (heavy-tailed) характере нашей Вселенной. В таких системах вероятность редких событий крайне высока.
Основные тезисы Касадо о природе данных:
- Уникальность как норма: В поиске Google 90% запросов могут быть повторяющимися, но если исключить дубликаты, то большинство уникальных намерений пользователей — это редкие исключения.
- Ограниченность LLM: По мнению гостя, большие языковые модели занимаются «ядерным сглаживанием» (kernel smoothing) — они выдают средний, наиболее вероятный ответ на основе имеющегося корпуса данных.
- Иллюзия эффективности: Чат-бот может закрывать 90% тикетов техподдержки, но если 85% из них — это простые сбросы паролей, то оставшиеся уникальные задачи всё равно требуют участия человека.
Касадо считает, что мы находимся в начале S-образной кривой (сигмоиды), которую ошибочно принимаем за экспоненту. Он предсказывает, что «агенты» на базе ИИ столкнутся с той же проблемой, что и беспилотники: они будут эффективны в 80% рутинных случаев, но окажутся беспомощными перед лицом бесконечного количества уникальных исключений реального мира.
📂 Структура против смысла: что на самом деле учат модели 28:45
В ходе дискуссии ведущий Натан Лабенц привел в пример исследования «разреженных автоэнкодеров», которые позволяют выделять конкретные концепции (например, мост «Золотые ворота») в активациях моделей. Однако Мартин Касадо проводит четкую границу между структурой и смыслом.
По его мнению, текст — это крайне упрощенная и «потерянная» (lossy) абстракция Вселенной, созданная людьми для удобства коммуникации. Модели эффективно эксплуатируют структуру этой абстракции, но это не означает, что они понимают физические законы мира. Касадо утверждает, что человеческий мозг за 5000 лет письменной истории проделал огромную работу по категоризации реальности (например, создание концепции «камня»), а ИИ лишь учится воспроизводить эти готовые распределения, не будучи способным самостоятельно формировать новые смыслы из хаоса Вселенной.
🧬 ИИ в науке: новая эра симуляции или универсальный разум? 47:41
Обсуждая модель Evo для секвенирования ДНК и модели для симуляции белка, Лабенц предположил, что ИИ может «постичь» паттерны Вселенной, неизвестные человеку. Касадо, имеющий опыт работы в области вычислительной физики, видит в этом лишь развитие методов симуляции.
Он напомнил о проекте Blue Gene 1999 года, целью которого был расчет фолдинга белка из первых принципов. По мнению гостя, если система базируется на аксиомах (как химия или шахматы), ИИ может превзойти человека за счет вычислительной мощи, но это не делает его «универсальным» разумом. Это по-прежнему решение нелинейных уравнений, подобно тому как первые компьютеры создавались для расчета баллистических траекторий.
⚖️ Регулирование: защита приложений, а не математики 1:04:07
Мартин Касадо занимает жесткую позицию против попыток регулировать ИИ на уровне вычислительных мощностей (compute thresholds) или базовых алгоритмов. Он считает, что:
- Отсутствует четкое определение: Текущие формулировки в законопроектах настолько широки, что под них подпадает любое нетривиальное программное обеспечение.
- Математику нельзя запрещать: Касадо сравнивает попытки регулировать ИИ с регулированием баз данных. Он призывает регулировать конкретные применения (в медицине, авиации, финансах), а не «компьютерные примитивы».
- Исторический опыт: В эпоху становления интернета возникали аналогичные страхи из-за появления червя Морриса и уязвимости критической инфраструктуры. Тем не менее, тогда было принято решение оставить технологии открытыми, наказывая лишь за их неправомерное использование.
Гость утверждает, что в истории кибербезопасности многие инструменты (например, сканеры уязвимостей nmap) могли использоваться во вред, но именно их открытость позволила создать эффективную защиту. По его мнению, создатели моделей не должны нести ответственность за то, что кто-то использует их общий инструмент в преступных целях, точно так же, как производители пушек или разработчики СУБД.
💰 Экономика ИИ: почему лидерство стоит дорого 1:37:04
В отличие от традиционных IT-рынков с сильным сетевым эффектом, в сфере ИИ наблюдается то, что Касадо называет «извращенной экономией на масштабе» (perverse economy of scale).
Его аргументы:
- Налог на лидера: Чтобы получить минимальное преимущество в качестве, лидер (например, OpenAI) должен тратить в 10 или 100 раз больше средств на вычисления, чем преследователи.
- Помощь отстающим: Лидеры невольно помогают конкурентам, так как их результаты (выходные данные моделей) могут быть использованы для дистилляции и обучения более дешевых открытых моделей.
- Парадокс Зенона: Лидер бежит вперед, но с каждым шагом его прогресс замедляется из-за логарифмических законов масштабирования, что позволяет открытому сообществу постоянно сокращать разрыв.
Статья завершается договоренностью участников о серии «ставок на один доллар» относительно того, станет ли рынок ИИ монопольным или останется фрагментированным в ближайшие два года.
