Философия «наивной физики» против диктата больших данных 🧠 3:48
В центре дискуссии между ведущим Machine Learning Street Talk Тимом Скарфом и приглашенным экспертом, ученым-когнитивистом Валидом Саба, стоит фундаментальный вопрос: можно ли достичь истинного понимания языка (NLU) исключительно через статистические методы глубокого обучения?
Валид Саба занимает позицию радикального скептика по отношению к текущему мейнстриму, называя попытки решить задачу понимания языка через большие языковые модели (LLM) «бесперспективной затеей». По его мнению, современные нейросети по сути являются гигантскими «хеш-таблицами», которые не совершают вычислений, а лишь хранят и извлекают корреляции из обучающей выборки.
Ключевые аргументы Саба:
- Проблема бесконечности: Обучение на примерах требует «бесконечного времени» или бесконечного количества данных, так как язык обладает бесконечной продуктивностью.
- Отсутствие понимания: Даже если модели показывают точность в тестах вроде Winograd Schema Challenge, они не «понимают» причинно-следственные связи.
- Наивная физика: Люди обладают врожденными шаблонами понимания физического мира (например, транзитивность, логика контейнеров), которые не выводятся из опыта, а заложены в нас на генетическом уровне,.
🏗️ Битва парадигм: Top-Down против Bottom-Up 38:47
Дискуссия затрагивает фундаментальную разницу между двумя подходами к моделированию интеллекта:
- Bottom-Up (снизу-вверх): Традиционный подход современного глубокого обучения, где модели учатся на огромных массивах данных, выстраивая статистические представления. Скарф и Саба соглашаются, что это отлично работает в задачах распознавания образов (Computer Vision), где данных много, а структура относительно однородна.
- Top-Down (сверху-вниз): Подход, который отстаивает Саба, опираясь на символьную логику. Он утверждает, что для решения таких задач, как создание новых алгоритмов сортировки или понимание естественного языка, невозможно полагаться на статистику,.
По мнению Саба, когда мы пытаемся решить задачу «снизу-вверх», мы попадаем в «неуправляемую бесконечность», тогда как символьная логика позволяет работать с «управляемой бесконечностью»,.
💾 Нейросети как «хеш-таблицы» 14:16
Одной из самых ярких метафор выпуска стало сравнение нейросетей с locality-sensitive hashing (LSH) таблицами. Участники подчеркивают:
- Нейросеть декомпозирует пространство признаков на «вложенные многогранники», которые служат контейнерами для данных.
- Они не являются вычислительными устройствами в строгом смысле этого слова — они являются «устройствами для поиска по ключу».
- В отличие от символьных систем, где всегда можно нарастить память без изменения самой логики, в нейросетях память жестко «зашита» в архитектуру.
Тим Скарф делает важное дополнение: прогресс последних лет во многом связан не столько с «гениальностью» парадигмы обучения, сколько с огромным количеством инженерных решений (ReLU, сверточные слои, облачные вычисления), которые позволяют «сглаживать» ограничения этого подхода.
🔮 Будущее: гибридные системы 55:01
Несмотря на критику, оба участника согласны: текущий путь «чистого» глубокого обучения близок к своему пределу. Саба уверен, что будущее за гибридными системами, где нейронные сети отвечают за низкоуровневое восприятие и распознавание паттернов, а символьная логика берет на себя управление высокоуровневыми смыслами и абстракциями.
Скарф, ссылаясь на исследования в области DreamCoder (индуктивный поиск программ), отмечает, что идеальным будущим для ИИ стали бы системы, способные писать «модульные и переиспользуемые» программы, избегая комбинаторного взрыва. В конечном итоге, дебаты сводятся к признанию того, что ИИ все еще находится на стадии «открытия» метафизических законов, которые уже управляют нашей реальностью, а не их «изобретения».
