На ежегодной конференции NeurIPS исследовательница в области машинного обучения Хэтти Чжоу (Hattie Zhou) представила совместную работу с командой Google Brain, посвященную обучению больших языковых моделей алгоритмическому мышлению. В интервью для канала Machine Learning Street Talk она подробно рассказала, почему традиционные подходы к промптингу оставляют место для ложных корреляций и как детальное пошаговое описание правил позволяет добиться радикального снижения ошибок. Работа Чжоу открывает новые перспективы в преодолении фундаментальных ограничений нейросетей при решении точных задач.
🧠 Разрушая мифы: могут ли языковые модели по-настоящему мыслить? 0:00
Долгое время в академическом сообществе доминировал скептицизм относительно способности больших языковых моделей (LLM) к манипулированию символами и реальному логическому анализу. Классическим примером этой слабости часто называют неспособность моделей безошибочно выполнять сложение многозначных чисел, несмотря на их обучение на миллиардах токенов. До перехода в академическую среду Хэтти Чжоу успела получить разносторонний практический опыт, работая дата-сайентистом в Uber, аналитиком фондов прямых инвестиций в Radar Capital и экономическим консультантом в Cornerstone Research, что побудило её заняться фундаментальными причинами этих ограничений. Ведущий упомянул исследование Язаман Розеги (Yazaman Razeghi) из Калифорнийского университета в Ирвайне, которая обнаружила линейную корреляцию между точностью арифметических вычислений нейросети и частотой упоминания соответствующих чисел в обучающем корпусе. Это указывает на то, что модели склонны просто запоминать факты, а не осваивать математические операции.
Хэтти Чжоу предлагает фундаментально изменить этот подход, обучая модели не конкретным ответам, а самому алгоритму решения. Под алгоритмическим мышлением исследовательница понимает способность применять инвариантные к входным данным правила: правильный алгоритм должен давать корректный результат на любом распределении данных. Чжоу также выделяет концепцию «мягких алгоритмов» (soft algorithms), где отдельные шаги жестко не закодированы, а опираются на абстрактное распознавание образов, что позволяет применять метод к комплексным текстовым задачам. По мнению гостьи, конечной целью исследований должно стать не просто копирование известных подходов, а способность моделей самостоятельно открывать алгоритмы, неизвестные человечеству.
📝 Метод алгоритмических подсказок против «черновиков» 8:40
Основным практическим достижением работы Хэтти Чжоу стала разработка новой техники алгоритмических подсказок (algorithmic prompting), которая показала значительное превосходство над существующими методами контекстного обучения. Чтобы объяснить суть метода, исследовательница приводит в пример школьный алгоритм сложения столбиком. Традиционные подходы вроде метода «черновика» (scratchpad) демонстрируют модели лишь след выполнения алгоритма (например, промежуточные суммы и перенос разряда), но не объясняют, откуда берутся эти значения.
По мнению Хэтти Чжоу, для нейросети, пытающейся вывести правила из нескольких примеров, такая задача остается недоопределенной, что оставляет простор для множества неверных интерпретаций. Метод алгоритмических подсказок решения этой проблемы строится на жестких требованиях.
Указанный подход базируется на следующих принципах:
- Максимально детальное описание каждого промежуточного шага алгоритма на примерах.
- Устранение двусмысленности в инструкциях для ограничения возможных интерпретаций модели.
- Создание жестких рамок, направляющих вычисления нейросети в единственно верное русло.
Внедрение этой методики позволило добиться снижения количества ошибок на порядок по сравнению с лучшими существующими базовыми решениями. Модель начинает демонстрировать устойчивое поведение даже при выходе за рамки привычного распределения данных.
🛑 Проблема «обучения по кратчайшему пути» и сила контекста 10:39
Одной из ключевых уязвимостей глубокого обучения остается феномен «обучения по кратчайшему пути» (shortcut learning), когда модели находят ложные корреляции и выдают правильные ответы по совершенно неверным причинам. Ведущий привел мнение Мелани Митчелл (Melanie Mitchell), которая разделяет понимание на антропоморфное (основанное на причинно-следственных связях) и суррогатное. Хэтти Чжоу утверждает, что если модель открыто генерирует процесс рассуждения и финальный ответ строго следует из этого процесса, то у нас нет веских оснований отказывать ей в наличии логики. При этом она признает, что в некоторых других методах промптинга финальный ответ может расходиться с текстовым обоснованием, что явно указывает на использование скрытых «кратчайших путей».
Особое внимание в исследовании уделено преимуществу контекстного обучения (in-context learning) перед традиционным дообучением (fine-tuning). Гость полагает, что попытка зафиксировать алгоритмические навыки через изменение весов модели неизбежно приведет к переобучению под конкретное обучающее распределение. Контекстное обучение, напротив, позволяет модели гибко экстраполировать правила на принципиально новые задачи.
🌀 Эмерджентные свойства и вычислительные пределы больших моделей 13:13
Феномен возникновения сложных алгоритмических способностей у авторегрессионных языковых моделей, изначально тренируемых для тривиального предсказания следующего токена, остается предметом дискуссий. Хэтти Чжоу предполагает, что в процессе сжатия гигантских объемов человеческих текстов нейросеть вынуждена находить фундаментальные закономерности. Способность улавливать паттерны в контексте и переносить их на новые данные оказывается наиболее эффективным способом минимизации ошибки сжатия.
Из этой гипотезы Чжоу делает несколько важных выводов:
- Избыточно огромные модели без ограничений по емкости могут просто запоминать данные, не формируя сложных внутренних механизмов.
- Для появления по-настоящему глубоких эмерджентных свойств важнее увеличивать объем обучающих данных и длительность обучения, создавая правильное «узкое горлышко» для представлений.
Касаясь вычислительных ограничений архитектуры Transformer, ведущий напомнил о классической критике коннекционизма Джерри Фодором (Jerry Fodor), утверждавшим, что нейросети не способны оперировать бесконечными объектами и вычислять, например, n-й знак числа пи. Хэтти Чжоу возражает, подчеркивая, что контекстное обучение предоставляет модели адаптивный объем вычислений. В теории, при наличии бесконечной длины контекста модель способна выполнять бесконечные вычисления. Несмотря на то, что физически бесконечный контекст невозможен, создание более эффективных механизмов внимания позволит отодвинуть этот предел далеко в будущее.
🧮 Будущее ИИ в математике и формальная верификация 18:05
На полях конференции NeurIPS Хэтти Чжоу выразила наибольший интерес к воркшопу по математическому ИИ (Math AI Workshop), где исследуются возможности решения строгих задач с помощью языковых моделей. К дискуссии также присоединился Маркус (Marcus), исследователь из команды Google Research (подразделение Interformal), работающий совместно с Кристианом Сегеди (Christian Szegedy). Маркус рассказал, что их группа занимается трансляцией математических текстов с естественного языка в формальные представления, пригодные для автоматической проверки доказательств.
В своей работе над моделями с длинным контекстом, такими как Memorizing Transformer, Маркус стремится сделать нейросети чувствительными к точным определениям и леммам. Собеседники сошлись во мнении, что в области математических гипотез требования к языковым моделям могут быть парадоксально ниже, чем в гуманитарных сферах. Как отметил ведущий со слов своего коллеги, модели достаточно выдавать правильное решение хотя бы один раз из ста, если за ней стоит система формальной верификации, способная мгновенно отсеять ошибочные варианты.
