В новом видеоролике популярный ИТ-блогер Уэс Рот (Wes Roth) анализирует недавнее интервью известного исследователя искусственного интеллекта Андрея Карпати (Andrej Karpathy) для подкаста No Priors. Будучи сооснователем OpenAI и бывшим главой команды Tesla Autopilot, Карпати делится уникальным инсайдерским взглядом на эволюцию нейросетей, перспективы синтетических данных и концепцию ИИ как внешнего расширения человеческого разума. Главная идея дискуссии заключается в том, что человечество находится на пороге создания сверхэффективного «когнитивного ядра», способного полностью трансформировать образование и повседневную жизнь.
🧠 Архитектура Transformer и магия законов масштабирования 0:25
В 2017 году компания Google опубликовала фундаментальное исследование «Attention Is All You Need», представившее миру архитектуру Transformer. По мнению Андрея Карпати, эта архитектура представляет собой удивительно универсальную «биологическую ткань» для ИИ, способную справляться с любыми произвольными задачами. В отличие от использовавшихся ранее моделей LSTM, которые не поддавались чистому масштабированию и плохо обучались, Transformer стал первым решением, продемонстрировавшим четкую работу законов масштабирования (scaling laws).
Суть этих законов заключается в том, что простая подача большего объема вычислительных мощностей напрямую улучшает качество работы модели при неизменности алгоритма и данных. Блогер Уэс Рот иллюстрирует этот тезис на примере технического документа модели Sora от OpenAI: увеличение объема вычислений в 4 раза позволяет едва различить очертания собаки в шляпе, тогда как увеличение вычислений в 32 раза дает реалистичное видео высокого качества.
Как отмечает Карпати, Transformer объединил в себе четыре-пять независимых инноваций, существовавших в индустрии ранее:
- остаточные связи (residual connections);
- слоевую нормализацию (layer normalizations);
- блоки внимания (attention blocks);
- отказ от насыщающих нелинейностей (таких как tanh), которые блокировали прохождение сигналов градиента.
По словам исследователя, сегодня архитектура нейросетей перестала быть главным ограничивающим фактором развития ИИ. За последние пять лет она практически не изменилась, за исключением внедрения ротационных позиционных эмбеддингов (RoPE), давших скромный прирост около 3% в отдельных задачах. Основная активность разработчиков и главные технологические барьеры теперь сместились в область оптимизации функций потерь и подготовки качественных наборов данных.
🧪 Синтетические данные и угроза скрытого коллапса моделей 4:17
В индустрии активно обсуждается «стена данных» — риск того, что у человечества закончатся качественные тексты в открытом интернете для обучения новых моделей. По мнению Андрея Карпати, данные из интернета на самом деле не являются идеальным топливом для Transformer; они служат лишь «ближайшим соседом», который на удивление далеко продвинул технологии. Для достижения полноценного сильного ИИ (AGI) разработчикам необходим «внутренний монолог» — цепочки рассуждений человеческого мозга в процессе решения сложных задач. За неимением миллиардов готовых примеров такого монолога индустрия переходит к генерации синтетических данных.
В качестве успешного примера Уэс Рот приводит исследование Orca 2 от Microsoft, где для обучения маленькой модели использовались пошаговые рассуждения, извлеченные из ответов GPT-4. В результате Orca 2 сравнялась по эффективности с моделями, превосходящими ее по размеру в 10 раз. Рот сравнивает этот процесс с научно-фантастическим ульем чужих, где огромная «королева» (тяжелая и дорогая модель вроде GPT-4 или Strawberry/Orion) производит синтетические данные — «маточное молочко», на котором вырастают эффективные рабочие «дроны» для конечных пользователей.
Однако Андрей Карпати предупреждает о серьезной опасности этого подхода — скрытом коллапсе моделей (silent model collapse). Суть проблемы заключается в следующем:
- При обращении к ChatGPT за шуткой пользователь видит, что модель выдает качественный ответ.
- При анализе распределения выясняется, что ИИ знает всего три шутки и постоянно их повторяет.
- Генерация синтетических данных на основе таких ответов ведет к потере энтропии, разнообразия и богатства распределения, из-за чего последующие модели незаметно деградируют.
Для решения этой проблемы необходимо искусственно вносить энтропию. Карпати упоминает проект Persona Hub от Tencent AI Lab, содержащий 1 миллиард уникальных цифровых персонажей (от водителя грузовика до исследователя химической кинетики). По словам исследователя, принуждение модели решать задачи от лица конкретного персонажа заставляет ее исследовать более широкое когнитивное пространство, сохраняя необходимую сложность данных. Карпати убежден, что синтетические данные — это безальтернативное будущее, поскольку человечество не столкнется с дефицитом информации, если научится правильно управлять распределением данных.
🧠 Мозг против нейросети: эффективность и когнитивное ядро 9:24
Хотя многие исследователи ищут аналогии между ИИ и человеческой когницией, Андрей Карпати призывает к осторожности, подчеркивая, что это принципиально разные системы. При этом он утверждает, что архитектура Transformer во многом превосходит человеческий мозг по эффективности. Например, нейросеть способна идеально запомнить и воспроизвести сложную последовательность всего за один проход обучения (forward-backward pass), на что человек физически не способен.
По мнению гостя, градиентная оптимизация может быть более эффективным механизмом обучения, чем стохастическая динамическая система человеческого мозга, вынужденная работать в жестких биологических условиях. Человеческий мозг ограничен микроскопическим объемом рабочей памяти и жесткими требованиями к окружающей среде, тогда как рабочая память Transformer колоссальна и продолжит расти.
Уэс Рот сравнивает текущий этап с изобретением парового двигателя, который заменил мышечную силу, использующую энергию АТФ. По оценке блогера, через 10–30 лет человечество может создать программное обеспечение, эквивалентное 20 000 человеческих мозгов, функционирующих одновременно.
В связи с этим Карпати выдвигает гипотезу о возможности создания сверхкомпактного «когнитивного ядра» размером менее 1 миллиарда параметров. По его мнению, современные большие языковые модели тратят огромную долю своей емкости впустую, заучивая ненужную информацию вроде хэшей SHA или древних исторических дат из-за плохой фильтрации обучающих наборов.
Идеальная модель будущего должна обладать лишь чистой способностью к мышлению:
- Она имеет минимальный размер (около 1 миллиарда параметров или меньше).
- Она не пытается держать в памяти все факты мира.
- Она умеет мгновенно использовать внешние инструменты и интернет для поиска нужной информации.
Этому способствует технология дистилляции (distillation), когда большая модель успешно курирует обучение маленькой. Карпати указывает, что интернет-данные состоят из мышления (когнитивной составляющей) лишь на 0,1%, а остальные 99,99% — это просто сырая информация, бесполезная для обучения базовым навыкам рассуждения. Создание такого микро-гения позволит встроить ИИ в любое бытовое устройство — от термостата до стереосистемы.
📲 Экзокортекс, дополнение человека и цифровая специализация 12:02
Обсуждая долгосрочные перспективы слияния человека с технологиями, Андрей Карпати заявляет, что этот процесс уже идет, хотя главным препятствием остается низкая пропускная способность каналов ввода-вывода (I/O bottleneck). В ИТ-сообществе существует влиятельная группа исследователей (ярким представителем которой является Илон Маск), утверждающая, что физическая интеграция человека с ИИ через интерфейсы вроде Neuralink — это ключевой шаг к обеспечению безопасности сверхинтеллекта. По логике Маска, если суперинтеллект будет отделен от людей, это несет смертельную угрозу, но если мы станем его частью (по аналогии с полезными бактериями в кишечнике), возникнет безопасное сосуществование.
Карпати рассматривает продвинутый ИИ как «экзокортекс» (внешнюю кору мозга), вынесенный в облако и надстроенный над нашим биологическим неокортексом. Уэс Рот напоминает метафору Маска о слоях мозга: у человека есть примитивные слои (лимбическая система, отвечающая за выживание, голод и размножение) и новые умные слои (неокортекс, создающий ракеты и математические теории). В этой иерархии люди остаются рабами древних драйверов — мы учимся и работаем ради денег, чтобы поесть и продолжить род. ИИ может стать верхним исполнительным слоем, который будет эффективно реализовывать базовые человеческие цели, если сами цели будут задаваться людьми.
Вместе с тем Карпати соглашается с тем, что отказ от гаджетов сегодня вызывает у людей острую тревогу, так как они буквально теряют часть интеллекта. В качестве примеров спикеры приводят:
- утрату навыков пространственной навигации в городах из-за повсеместного использования GPS-карт;
- потенциальное исчезновение потребности в изучении иностранных языков из-за появления мгновенных универсальных переводчиков.
По мнению Карпати, человечество движется в сторону радикальной специализации, где технологии настолько глубоко встроятся в жизнь, что новые поколения перестанут различать, где заканчивается дикая природа и начинается созданная человеком техносфера.
🔓 Открытый код против олигополии и экосистема «роев» ИИ 16:20
Современный рынок ИИ напоминает олигополию нескольких крупных закрытых лабораторий, за которыми с некоторым отставанием следует открытая экосистема (например, модели Llama от Meta). Перефразируя известное криптовалютное правило «не твои ключи — не твои монеты», Карпати формулирует главный этический вызов будущего: «не твои веса — не твой мозг». Ситуация, когда частная корпорация полностью контролирует твой личный экзокортекс, кажется исследователю пугающей и инвазивной.
Тем не менее, на вопрос Уэса Рота о готовности арендовать более мощный чужой разум вместо владения собственным слабым, Карпати отвечает утвердительно. По его наблюдениям, сегодня формируется гибридная модель: пользователи предпочитают мощные закрытые коммерческие ИИ-платформы, но используют открытые модели как обязательный резервный вариант (fallback) на случай падения корпоративных API. Именно поэтому непрерывный прогресс open-source моделей критически важен для автономии человечества.
Помимо архитектуры отдельных моделей, Карпати видит будущее в развитии «моделей-роев» (swarm ecosystems), напоминающих биологические ниши или структуру крупных корпораций. Вместо одной монолитной нейросети вычисления будут распределяться параллельно между множеством специализированных ИИ-агентов:
- ИИ-программист будет писать код;
- ИИ-менеджер проекта будет координировать задачи;
- прочие узкоспециализированные агенты будут отвечать за свои домены.
Такая иерархическая структура позволит автоматически эскалировать сложные проблемы на более высокие уровни ИИ-системы в зависимости от уровня их трудности.
🎓 Манифест «Команды Человечества»: почему Андрей Карпати ушел в образование 22:57
Несмотря на то, что перед Андреем Карпати открыты двери в любую ведущую ИИ-лабораторию мира, включая Google, Meta, xAI Илона Маска или новую компанию Safe Superintelligence (SSI) Ильи Суцкевера, исследователь осознанно выбрал независимую образовательную деятельность. Отвечая на вопрос ведущего о причинах такого решения, Карпати заявляет, что огромная часть современных разработок в сфере ИИ направлена на замещение или вытеснение людей автоматизацией.
«Я на высоком уровне играю за "Команду Человечества" (Team Human). Меня интересуют вещи, которые используют ИИ для расширения возможностей людей. Я не хочу будущего, где люди окажутся на обочине автоматизации», — декларирует Андрей Карпати.
Исследователь воодушевлен концепцией идеального ИИ-репетитора. Он ссылается на знаменитую педагогическую проблему «2 Сигм» Бенджамина Блума (Bloom's 2 Sigma Problem), сформулированную в 1980-х годах. Согласно этому исследованию, обычные школы глубоко неоптимальны, однако академические результаты любого среднестатистического студента можно поднять на два стандартных отклонения (переведя его в разряд отличников А+) с помощью двух факторов:
- Обучение до полного усвоения (Mastery learning): когда каждый ученик движется исключительно в своем собственном темпе (дает улучшение на одну сигму).
- Персональное наставничество (1-on-1 tutoring): индивидуальная работа с репетитором (дает улучшение на вторую сигму).
В традиционной экономике обеспечить каждого ребенка личным наставником невозможно, но ИИ способен решить эту проблему, масштабировав экспертизу лучших преподавателей на все 8 миллиардов жителей Земли независимо от их языка и уровня подготовки. Карпати описывает архитектуру образования будущего следующим образом: учитель перемещается на бэкенд, где занимается проектированием высококлассных курсов и учебных планов, в то время как ИИ становится фронтендом (ассистентом), который общается с учеником, мгновенно переводит материалы и адаптирует аналогии под личный бэкграунд человека. Андрей Карпати прогнозирует, что контуры этой образовательной революции сформируются уже к концу текущего десятилетия.
