🧠 Границы разума LLM: от вероятностных моделей к поиску AGI 0:00
Могут ли большие языковые модели (LLM) привести нас к созданию сильного искусственного интеллекта (AGI), или же они навсегда останутся лишь продвинутыми инструментами для навигации по уже известным данным? Марк Андриссен и Бен Хоровиц обсуждают этот вопрос с Вишалом Мишрой — ученым, предпринимателем и соавтором фундаментальных исследований в области математического моделирования работы нейросетей. По мнению собеседников, нынешние модели демонстрируют поразительные результаты, однако их архитектура ограничивает способность к созданию принципиально нового научного знания.
📐 Математика «черного ящика» 1:29
Вишал Мишра придерживается информационно-теоретического подхода к анализу LLM. Его работа направлена на создание формальных моделей, объясняющих, как именно нейросети осуществляют логический вывод.
- Геометрический манифольд: Модели сводят колоссальное многомерное пространство данных к «геометрическому манифольду» — упрощенной структуре степеней свободы. LLM уверенно рассуждают до тех пор, пока движутся внутри этого манифольда.
- Энтропия предсказания: При генерации следующего токена модель опирается на распределение вероятностей. Высокая энтропия означает множество равновероятных путей (неопределенность), низкая — жесткую предопределенность.
- Цепочка рассуждений (Chain of Thought): Когда LLM просят рассуждать пошагово, она разбивает задачу на этапы, где энтропия предсказания каждого следующего шага минимальна, что позволяет ей прийти к уверенному и верному ответу.
По мнению Мишры, когда модель выходит за пределы манифольда, она начинает «галлюцинировать» — выдавать уверенную, но бессмысленную информацию.
🏏 Случайное изобретение RAG 12:50
История взаимодействия Мишры с нейросетями началась с попытки исправить интерфейс Statsguru — базы данных по крикету на портале ESPNcricinfo.
- В 2020 году, получив доступ к GPT-3, Мишра осознал, что контекстное окно в 2048 токенов слишком мало для сложной структуры базы данных.
- Пытаясь обойти это ограничение, он случайно изобрел технологию, которую сейчас называют RAG (Retrieval-Augmented Generation).
- Он создал базу примеров запросов и, основываясь на новом вопросе пользователя, подбирал 6–7 наиболее релевантных, передавая их в префикс запроса. GPT-3 «магически» достраивала нужный SQL-код с высокой точностью.
⚖️ Иллюзия самообучения и барьер AGI 28:45
Марк Андриссен и Вишал Мишра сходятся в том, что текущая архитектура LLM не способна к подлинному рекурсивному самообучению.
- Индуктивное замыкание: Выходные данные LLM являются индуктивным замыканием данных, на которых она была обучена. Модель может «разворачивать» заложенные в ней алгоритмы, но не может «изобрести» фундаментально новые концепции.
- Критерий AGI: По определению Мишры, нынешние модели навигируют по уже существующим манифольдам. Настоящий AGI должен создавать новые манифольды.
- Примеры ограничений: Ни одна LLM, обученная на физике до 1915 года, не смогла бы вывести теорию относительности Эйнштейна или квантовую механику, так как для этого необходимо было отвергнуть ньютоновскую парадигму.
По словам Мишры, успехи в Международной математической олимпиаде (IMO) лишь доказывают способность модели соединять известные точки в цепочки решений, но не создавать новую математику.
🛠️ Инженерия против «бит-твидлинга» 43:42
Мишра крайне критически относится к термину «prompt engineering», называя его «промпт-твидлингом» (бесцельным перебором вариантов).
- Настоящая инженерия, по его мнению, требует понимания математических основ, а не просто эмпирического «перебора настроек».
- Научное сообщество, однако, часто отдает предпочтение масштабным экспериментам, а не теоретическому моделированию, что, по мнению Мишры, замедляет прогресс.
В заключение Вишал Мишра подчеркнул: несмотря на то, что LLM — это грандиозный инструмент для продуктивности, для перехода к AGI необходим новый архитектурный скачок, возможно, основанный на энергетических моделях или способности к выполнению внутренних симуляций, подобных тем, что делает человеческий мозг при ловле мяча.
