Современные нейросети не понимают язык, а лишь виртуозно сжимают данные, лишая нас фундаментальной способности к логическому осмыслению мира. Валид Саба утверждает, что вместо слепой веры в статистику нам необходимо «встроить» в ИИ онтологический компилятор, который превратит хаотичный поток вероятностей в структурированное понимание смыслов.
🧠 Почему NLP — это не NLU, а обучение — не понимание 0:13
В современной индустрии искусственного интеллекта термины NLP (Natural Language Processing) и NLU (Natural Language Understanding) часто используют как синонимы, но Валид Саба (Walid Saba) настаивает на фундаментальном различии между ними. С его точки зрения, то, что мы видим сегодня в мейнстримных разработках, — это в лучшем случае продвинутая обработка текста, но никак не его понимание . Молодые специалисты часто добавляют в свои профили аббревиатуры ML, NLP и AI через дефис, не осознавая, что за ними стоят принципиально разные когнитивные задачи .
Различие кроется в том, что язык — это не просто последовательность токенов, а инструмент передачи смыслов, который опирается на огромный багаж невысказанных знаний о мире. Саба утверждает, что «понимать» язык — значит уметь восстанавливать то, что было намеренно опущено в процессе коммуникации.
Проблема «недостающего текста» 1:10
Одной из центральных проблем ИИ Валид Саба называет феномен недостающей информации (Missing Text Phenomenon). Пока большинство практиков глубокого обучения сражаются с эффективностью выборки или проблемой обобщения, Саба считает, что главным препятствием является амбивалентность человеческого общения .
Мы крайне редко проговариваем всё, что имеем в виду. Наша речь невероятно сжата, потому что мы рассчитываем на наличие у собеседника общей с нами базы знаний. Саба приводит пример: «Ксанаду бросила аспирантуру, чтобы пойти работать в софтверную компанию» . Человек мгновенно достраивает огромный объем данных, которые не были переданы буквально:
- Ксанаду — это живой человек, скорее всего, молодая женщина .
- Она обладала достаточными компетенциями, чтобы учиться в аспирантуре.
- У компании была открытая вакансия или потребность в сотруднике .
Это то, что Саба называет «данными, которые мы не произносим» . Согласно теории Шеннона, эффективная коммуникация требует удаления избыточности. Мы не передаем то, что и так известно получателю, чтобы не тратить ресурсы . В этом контексте понимание языка (NLU) — это процесс поиска и восстановления тех фрагментов пазла, которые мы принимаем как должное. Если система не может «распаковать» это сжатое сообщение, используя фоновые знания, она не понимает текст, а лишь манипулирует символами .
Обучение как сжатие против понимания как расширения 2:38
Валид Саба предлагает логическое доказательство того, почему современное машинное обучение (ML) в его нынешнем виде не способно привести к истинному пониманию естественного языка. Его аргумент строится на математической природе процессов:
- Машинное обучение — это сжатие. Цель алгоритма ML состоит в том, чтобы найти закономерности в огромном массиве данных и свести их к компактной функции или распределению вероятностей .
- Понимание языка — это расширение. Как было показано на примере с «недостающим текстом», чтобы понять короткую фразу, интеллект должен развернуть её в богатую структуру смыслов, добавив внешнюю информацию .
Из этого следует, что NLU не может быть подмножеством машинного обучения. Пока ML-системы пытаются аппроксимировать вероятностные распределения, они игнорируют тот факт, что смысл сообщения часто лежит за пределами статистической встречаемости слов.
Язык — это формальная система, работающая по строгим правилам, подобно компилятору в нашей голове . Саба отмечает, что даже четырехлетний ребенок, который едва умеет ходить, уже свободно говорит, потому что в его мозге есть структуры, позволяющие мгновенно схватывать логику мира . Статистический подход, напротив, упирается в потолок: он может имитировать ассоциации, как это делают животные, но не способен на дедукцию . Разница между человеком и шимпанзе биологически невелика, но наличие языка и способности к мышлению (которые, по мнению Сабы, неразрывно связаны) создают непреодолимую пропасть .
Логика интенсионала: почему 7+9 не всегда равно 16 3:17
Для глубокого понимания языка критически важно различать понятия экстенсионала (extension) и интенсионала (intension). Программисты и сторонники эмпирического подхода привыкли считать два объекта равными, если они имеют одинаковое значение (value). В логике это называется экстенсиональным равенством .
Однако в естественном языке и человеческом мышлении объекты различаются по своим свойствам и способу конструирования — это и есть интенсионал. Саба приводит математический пример для иллюстрации: выражения 7 + 9 и √256 оба равны 16 . Но с точки зрения смысла они различны.
«Мэри научила своего младшего брата, что 7 + 9 = 16. Означает ли это, что она научила его, что 7 + 9 равно квадратному корню из 256?»
Очевидно, что нет. Хотя результат один и тот же, когнитивная нагрузка и структура понятий разные. В NLU интенсионал имеет первостепенное значение, так как у языка почти нет степеней свободы: каждое слово в контексте несет специфические свойства, которые нельзя заменить просто похожим по значению токеном .
Статистические модели часто пасуют перед этой проблемой, особенно в задачах разрешения местоимений или разрешения области действия (scope resolution). Например: «Трофей не поместился в чемодан, потому что он был слишком большим / маленьким» . Слова-антонимы (большой/маленький) встречаются в текстах с примерно одинаковой вероятностью в похожих контекстах. Статистика не может подсказать модели, к чему относится «он», если у системы нет понимания физических свойств объектов — интенсионала понятий «трофей» и «чемодан» .
🧠 Онтология против статистики: почему языку нужен строгий компилятор 25:37
Знание как онтологическая структура 30:54
Развитие больших языковых моделей породило устойчивую иллюзию того, что статистические корреляции способны полностью заменить человеческое мышление. Тим Скарф приводит аргументы пользователей (в частности, v-drak), удивленных способностью GPT-3 симулировать работу базы данных через промпты на естественном языке или корректно предсказывать поведение массивов данных в Python. Однако за этой изощренной интерполяцией скрывается фундаментальная когнитивная пустота. Ян Лекун (Yann LeCun) справедливо отмечает, что у таких моделей нет реального знания о том, как устроен физический мир, а их репрезентации поверхностны и оторваны от реальности.
Валид Саба (Walid Saba) развивает эту мысль, заявляя, что человек обладает богатым общим хранилищем онтологических знаний, которое позволяет нам декодировать и распаковывать информацию, передаваемую через язык. Ранее в разговоре собеседники уже упоминали концептуальные различия между NLP и NLU, а также проблему недостающей информации, но именно онтология предлагает системный выход из тупика чистой статистики. Наш разум опирается на врожденную или формирующуюся сразу после рождения иерархию типов или естественных родов (natural kinds). Дискуссии на Hacker News обнажают два лагеря: одни считают, что за пределами языка ничего нет и он состоит лишь из кругов метафор (в духе Джорджа Лакоффа, где спор описывается через метафоры войны: «мобилизация сил», «сдача территорий» или «ядерный вариант»). Однако Валид Саба (Walid Saba) непреклонен: знание существует отдельно от языка, и без онтологической основы коммуникация бы рухнула из-за тотальной двусмысленности.
Без жесткой онтологической структуры подлинное понимание невозможно, что наглядно доказывают логические сбои современных моделей. В своей статье философ Лучано Флориди (Luciano Floridi) описывает концепцию необратимости и приводит пример с роботом-газонокосилкой Амброджо и Элис: по подстриженному газону невозможно точно определить, кто именно его подстриг, хотя онтологически мы понимаем возможности обоих агентов. Тот же Флориди демонстрирует ментальную слепоту ИИ в эксперименте, где на вопрос «сколько ног помещается в туфлю?» GPT-3 выдает абсолютно бессвязный ответ. Модель терпит крах, поскольку у нее нет онтологической структуры, способной заполнить пропущенные информационные лакуны. Тим Скарф, представляя гостя, подчеркивает, что Валид Саба (Walid Saba) предлагает отказаться от одномерных векторных эмбеддингов. Вместо них исследователь призывает внедрять богатые системы типизации, способные адекватно зафиксировать объективную онтологическую структуру, заложенную в самом языке.
Язык как формальная система 39:32
В основе научной позиции, которую защищает Валид Саба (Walid Saba), лежит понимание языка как строгой формальной системы. Внутренний «компилятор» человеческого мышления работает по объективным правилам, которые существуют независимо от объема накопленных данных и не могут быть просто «выведены» из текстовой статистики. Сам Саба посвятил искусственному интеллекту более 30 лет, застав еще «зиму ИИ», подробный разбор которой авторы оставляют для третьей главы этой статьи. Он лично наблюдал тектонический сдвиг от классического символьного подхода (GOFAI) к эмпирическому ИИ, и этот междисциплинарный опыт на стыке лингвистики, логики, нейробиологии и философии позволяет ему трезво оценивать нынешний хайп.
Саба напоминает, что сама идея представления контента в виде векторов и вычисления их косинусного сходства далеко не нова — её еще в 1960-х годах разработал пионер информационного поиска Джерард Солтон (Gerard Salton). Современные нейросети стали значительно мощнее, а вычислительные ресурсы выросли, но фундаментальная парадигма оптимизации весов через стохастический градиентный спуск принципиально не изменилась со времен тридцатилетней давности. Именно поэтому исследователь называет опасным экстремизмом веру в то, будто алгоритм обратного распространения ошибки из десяти строк кода способен объяснить устройство человеческого разума, игнорируя столетия работы великих логиков и философов.
Сегодня этот перекос усугубляется социологическими факторами: крупный технологический бизнес захватил академическую повестку, поскольку парадигма обработки больших данных идеально подходит владельцам облачных мощностей. Янник подтверждает эту проблему изнутри академического мира PhD-студентов: сейчас практически невозможно получить государственное финансирование или найти научного руководителя, если в твоем исследовании не используется глубокое обучение. Тем не менее, эмпирический подход имеет непреодолимый потолок.
Валид Саба (Walid Saba) выделяет ключевые типы формальных рассуждений, которые принципиально недоступны чистым моделям распознавания паттернов:
-
Разрешение области действия кванторов (quantifier scope resolution);
-
Разрешение сложных перекрестных ссылок и контекстуальных референций;
-
Логический вывод на основе строгих правил формальных систем.
Хотя животные демонстрируют великолепное распознавание образов — например, орел способен выследить цель с расстояния в две мили, — они не обладают инструментами формальных систем. Обучение исключительно на данных имеет своим потолком интеллект животных (подробнее этот вопрос разбирается в главе 3), тогда как человеческий язык функционирует как строго структурированный формальный механизм. Сводить его к чистой статистике — значит игнорировать объективно существующий внутренний компилятор правил.
🧠 Эволюционные циклы ИИ: почему тупик «бертологии» возвращает нас к человеческому разуму 50:46
Интеллект человека против статистики: почему дети не учатся как нейросети 52:41
Человеческий интеллект устроен принципиально иначе, чем простые ассоциативные механизмы современных нейросетей. Валид Саба обращает внимание на поразительную скорость, с которой дети осваивают язык: у них попросту нет времени в запасе, чтобы учиться на основе миллионов или миллиардов примеров. В то время как большие языковые модели требуют терабайтов текстов для улавливания базовых паттернов, живой ребенок демонстрирует невероятную когнитивную эффективность.
Ярким примером служит механика разрешения референций — способность определять, к какому объекту относится местоимение в сложном контексте. Валид Саба вспоминает, как работал над подобным алгоритмом 20 лет назад и осознал, насколько легко эту задачу решает обычный четырехлетний ребенок. Малыш мгновенно находит правильный ответ, тратя на это «почти нулевое время». Компьютерные же модели вынуждены сопоставлять гигантские массивы распределенных представлений.
Если бы наше мышление опиралось исключительно на подбор статистических комбинаций, как это происходит в глубоком обучении, архитектура познания рухнула бы под собственным весом. Саба иронизирует над этой слепой верой в брутфорс-вычисления:
«Если бы мы пытались изучать мир, просто перебирая все возможные сочетания объектов в баре или комнате, мы бы не научились разговаривать и к 45 годам».
Ранее в разговоре собеседники уже касались фундаментального отличия истинного понимания от механического обучения. Настоящий разум не сводится к гигантской хэш-таблице, где под каждый шаблон заранее заготовлен ответ. Сила человеческого мышления заключается в способности оперировать жесткими абстрактными ограничениями, которые мгновенно сводят экспоненциальную сложность задачи к линейной или логарифмической. Разница между человеком и животными, равно как и между человеком и машиной, лежит не в биологических нюансах, а в способности к абстрактному мышлению, полностью недоступной чистой статистике.
Эволюция AI и уроки «AI-зимы» 1:01:35
Развитие индустрии искусственного интеллекта всегда носило циклический характер, колеблясь между безоговорочной верой в математические правила и столь же слепым упованием на эмпирические данные. Валид Саба, анализируя этот исторический путь, подчеркивает важность трех критериев оценки любой технологической парадигмы:
-
Вычислительная правдоподобность (computational plausibility);
-
Психологическая правдоподобность (psychological plausibility);
-
Когнитивная правдоподобность (cognitive plausibility).
Саба приводит в пример своего коллегу из Калифорнийского университета в Лос-Анджелесе (UCLA), который работал со знаменитым Джудой Перлом над байесовскими сетями доверия. Этот исследователь искал компромиссный путь, наглядно продемонстрировав математический тупик чистого индуктивного вывода без априорных знаний. Согласно теории вычислений, имея бесконечный запас времени и памяти, можно рассчитать абсолютно всё. Однако подлинный интеллект ценен именно тем, что находит ответы за микросекунды в условиях жесткого дефицита ресурсов.
Предыдущий этап развития ИИ завершился затяжной «AI-зимой» именно потому, что традиционный символический подход зашел в тупик. Разработчики экспертных систем прошлого века создавали переусложненные правила, пытаясь формализовать интенции через изощренные логические модальности и семантику возможных миров. Валид Саба признает, что вся эта громоздкая структура оказалась бесполезной, поскольку классический ИИ упустил главное: важны не процедурные правила, а наличие лаконичных внутренних ограничений, координирующих восприятие. Сегодняшняя индустрия совершает обратную ошибку, бросаясь в крайность чистого эмпиризма и полностью игнорируя уроки прошлых кризисов.
Критика «бертологии»: иллюзия масштабирования и тупик эмпиризма 1:09:42
Термином «бертология» (названным в честь популярной архитектуры моделей BERT) Валид Саба описывает тупиковое направление современной AI-индустрии. Эта парадигма слепо верит, что простое наращивание параметров и объемов данных способно породить осмысленное понимание без интеграции структурных знаний.
Саба отдает должное технологическому прорыву: векторные эмбеддинги (например, модель GloVe с 300 измерениями) стали гениальным изобретением, превратившим слова в математические объекты, с которыми можно совершать арифметические операции. Однако этот триумф эмпиризма имеет жесткий теоретический потолок. Единственное, на что способны подобные модели в конечном итоге, — это вычисление геометрического сходства (similarity).
Чисто статистический подход полностью пасует перед иерархией типов. Саба делится личным опытом: он пытался разработать алгоритмы поверх GloVe, чтобы выявить отношения субтипирования, но обнаружил, что нейросети принципиально не способны понять, что «сумка» и «чемодан» — это подтипы одной категории «контейнер». В глубоком обучении отсутствует дискретная структура. Когда тензоры последовательно сжимаются от слоя к слою, любая структура теряется безвозвратно, и полученный результат уже невозможно декомпозировать строгим математическим путем.
Для иллюстрации этого тупика исследователь приводит классическую аналогию из физики. Можно запустить эмпирическую модель на нескольких примерах, и формула $$F=ma$$ формально «сработает». Однако до тех пор, пока система не выведет инвариантный закон для всех возможных случаев, у вас не будет настоящей предсказательной модели. Ранее в дискуссии упоминалось, что знание представляет собой онтологическую структуру, а язык является формальной системой. Нынешняя же «бертология» пытается игнорировать эти законы: современные языковые модели лишь воспроизводят текст из Википедии или романов, будучи абсолютно неспособными к реальной логической дедукции и навигации по типам данных.
🧠 Понимание против Статистики: Почему LLM не «знают» мир 1:15:51
Фундаментальный конфликт в современном ИИ заключается в радикальном различии между способностью нейросетей обрабатывать данные и способностью человека осмыслять реальность. Как утверждает Валид Саба, статистические подходы, лежащие в основе современных больших языковых моделей (LLM), ограничены поверхностной обработкой паттернов. Они не обладают истинным «пониманием» того, как устроены объекты, действия и причинно-следственные связи, потому что их обучение строится исключительно на тексте, а не на реальном опыте или онтологических структурах.
Иллюзия понимания через статистику 1:16:42
Многие исследователи пытаются тестировать нейросети вопросами, которые люди задают друг другу, однако Валид Саба настаивает на более прагматичном подходе. Он считает, что нейросеть «понимает» язык только в том случае, если может использовать его для совершения полезных действий в реальном мире. Если системе дать команду «Угловой столик хочет пиво» и она способна логически продолжить контекст, это может имитировать понимание. Тем не менее, попытки проверить это на более сложных примерах часто терпят крах, обнажая тот факт, что нейросети не производят реального логического вывода — они лишь угадывают вероятностное продолжение текста.
Ранее в разговоре участники касались различий между NLP и NLU, однако Валид Саба подчеркивает: текущие методы застряли на уровне NLP. Даже если мы добавим в модель огромные массивы данных, само по себе «обучение» не заменяет наличие встроенных семантических структур и общих знаний (common sense), которыми обладает человек.
Данные против знаний: в чем ошибка масштабирования 1:18:16
Основная проблема, по мнению Валида Сабы, заключается в «религиозном» нежелании сторонников чисто статистических методов признавать необходимость символьных структур. Исследователи верят, что достаточно просто увеличивать масштаб модели, «скормить» ей больше текста, и она магическим образом обретет интеллект.
Саба проводит аналогию с эволюцией: биологически человек и шимпанзе почти идентичны, однако шимпанзе не развили язык, так как им не хватает определенного «искры» или когнитивного модуля, который возник у людей в процессе эволюции инструментов и труда. Аналогично, нейросетям не хватает структуры. То, что мы называем «отсутствующими знаниями», — это не просто правила, а специфический вид данных, которые люди не проговаривают в тексте, потому что мы предполагаем, что собеседник ими уже владеет.
Путь к универсальной онтологии 1:28:57
Валид Саба утверждает, что существующая структура языка универсальна и, следовательно, её нужно не создавать, а «открывать» методом обратного инжиниринга. Он критикует попытки коллег, таких как Дуг Ленат, строить огромные базы знаний вручную, называя это попыткой «играть в Бога».
Вместо этого он предлагает:
- Универсальность: Структура должна быть лаконичной, понятной даже четырехлетнему ребенку, который уже владеет базовыми онтологическими категориями.
- Типизация: Использование типов (как в языках программирования) позволяет системе понимать, какие сущности могут взаимодействовать друг с другом.
- Языковая агностичность: Истинная мысль, стоящая за фразой, должна быть одинаковой независимо от того, выражена она на английском, французском или китайском языках.
В финале дискуссии Валид Саба резюмирует, что текущий тренд — создание всё более крупных «агностических» нейросетей без какой-либо структуры — зашел в тупик. Без внедрения глубоких онтологических знаний такие системы останутся лишь статистическими аппроксиматорами, которые, как показывает практика, всё ещё не способны надежно решать элементарные логические задачи.
🧠 Архитектура разума: истинный масштаб онтологии и гибридное будущее AI 1:53:24
Компилятор в нашей голове: строгая типизация естественного языка 1:56:29
Бытует мнение, что человеческий язык по своей природе хаотичен, избыточен и насквозь пропитан контекстуальной двусмысленностью. Однако Валид Саба (Walid Saba) категорически с этим несогласен. Опираясь на труды Иммануила Канта и Ричарда Монтегю, он защищает тезис о том, что язык — это строго формальная система. Внутри нашего разума функционирует эволюционный «компилятор» естественного языка, который в реальном времени осуществляет жесткую проверку типов (type checking).
Саба проводит детальную параллель с объектно-ориентированным программированием (ООП). В инженерии разработчики часто злоупотребляют множественным наследованием ради банального повторного использования кода, создавая монструозные и хрупкие архитектуры. Природная онтология человеческого мышления лишена этой ошибки — она строго бинарна. В ней нет места компромиссам: сущность является либо птицей, либо коровой, а любые гибриды выносятся в принципиально иные типы.
Ранее в разговоре собеседники уже касались темы языка как формальной системы, но именно здесь Саба объясняет, почему этот механизм позволяет, например, трехлетнему ребенку часами общаться со взрослыми, не спотыкаясь на каждом слове. Даже глубинная двусмысленность (когда слово «Java» может означать остров, язык программирования или имя человека) мгновенно и безошибочно разрешается ментальным компилятором через анализ типов сопутствующих предикатов.
Парадокс Фодора: почему базовых типов всего две тысячи 2:00:44
В современной программной инженерии команды могут месяцами проектировать структуру сущностей для локального торгового приложения. Из-за этого складывается обманчивое впечатление, что глобальная онтология, способная описать весь наш мир и язык, должна состоять из миллиардов переплетенных понятий. Валид Саба разрушает этот миф: истинная онтология, лежащая в основе понимания языка, поразительно мала и лаконична — она включает в себя всего около 2000 базовых типов.
Ключ к разгадке этого парадокса исследователь нашел в знаковой сноске из последней книги философа Джерри Фодора (Jerry Fodor) «Concepts: Where Cognitive Science Went Wrong». Фодор сформулировал фундаментальный критерий: концепт может считаться истинно онтологическим только тогда, когда в языке им «владеет» хотя бы одно уникальное слово или свойство.
Саба иллюстрирует это просторечным, но емким примером:
- В английском или любом другом языке не существует ни одного осмысленного прилагательного или свойства, которое подходило бы исключительно к автомобилям марки Honda, но при этом выглядело бы заведомо абсурдным применительно к BMW.
- Из этого следует, что тысячи конкретных марок, моделей и суб-брендов не являются отдельными онтологическими концептами — это всего лишь экземпляры (instances) одного-единственного базового типа: «автомобиль».
- Точно так же понятия «ноутбук» и «iPad» с точки зрения глубинной структуры языка тождественны.
Когда мы отсекаем бесконечный шум частных инстансов, гигантское дерево данных сжимается до компактного, математически изящного ядра. Ранее в разговоре они упоминали знание как онтологическую структуру, но именно сейчас Саба демонстрирует ее истинные границы: нам не нужно строить бесконечные корпоративные хранилища данных, достаточно закодировать две тысячи логически верифицированных типов.
Гибридные системы: единственный путь к разрешению «непроизнесенного» 1:53:24
Как перенести эту изящную структуру в кремний? Валид Саба убежден, что магистральный путь развития индустрии искусственного интеллекта лежит исключительно через создание гибридных систем. Современные data-driven модели, построенные на чистой статистике и предсказании следующего токена, великолепно научились распознавать и классифицировать типы объектов по шаблонам. Проблема в том, что они абсолютно слепы по отношению к логическим концептам, которые составляют основу человеческой мысли.
Ранее в разговоре они касались проблемы недостающей информации, но в контексте проектирования систем будущего Саба конкретизирует: все главные камни преткновения лингвистики — метонимия, метафоры, референции — являются прямым следствием «пропущенного текста». Люди сознательно не проговаривают очевидные вещи, зная, что у собеседника есть общая база знаний. Когда завсегдатай австралийского паба бросает фразу «угловой столик хочет еще пива», предикат «хотеть» временно расширяет свои требования к типу с «человека» до «физического объекта», и любой человек понимает это мгновенно.
Полноценное понимание языка (NLU) станет возможным только тогда, когда гибкая обучаемость нейросетей будет жестко интегрирована с непоколебимым онтологическим каркасом. Статистический подход должен отвечать за первичную обработку и извлечение данных, а онтологическая структура — выступать в роли строгого компилятора, восстанавливающего пропущенный контекст и проводящего логическую валидацию. Без этого гибридного шага вперед AI-индустрия обречена на бесконечный бег по кругу и штамповку тысяч одинаковых статей ради мизерного прироста точности на искусственных бенчмарках.
🧩 Проблема оценки интеллектуальных способностей ИИ 2:08:48
Валид Саба (Walid Saba) подчеркивает, что выбор Аланом Тьюрингом языка в качестве теста на интеллект не был случайностью. В отличие от игр, где успех часто сводится к «игре в цифры» и вычислительной мощности, язык требует принципиально иного подхода. Саба отмечает, что в таких играх, как шахматы или го, пространство состояний, хоть и огромно, но конечно. С достаточным количеством вычислений компьютер может просчитать практически любую позицию, используя алгоритмы оптимизации, такие как поиск A* или симуляции Монте-Карло, фактически превращая задачу в «грубую силу».
Однако попытки перенести этот успех на язык терпят крах, так как здесь мы сталкиваемся с фундаментальной проблемой оценки моделей. Современные бенчмарки, вроде GLUE, критикуются Сабой как инструменты, которые не отражают истинного понимания языка. Это скорее «игра в цифры», где модели оптимизируются под конкретные наборы данных, демонстрируя статистическую интерполяцию, а не когнитивные способности.
🔍 Интеллект как выбор из множества возможностей 2:11:10
По мнению Валида Сабы (Walid Saba), подлинный интеллект проявляется только тогда, когда существует неоднозначность. Он приводит пример: «Подросток застрелил полицейского, и он немедленно упал». С точки зрения грамматики и синтаксиса, оба участника могут быть субъектом действия «упал». Модель, способная «понимать», должна выбрать наиболее правдоподобный вариант, опираясь на внешние знания о мире.
Если же ситуация не допускает интерпретаций — например, в предложении «Джон дал Мэри книгу, и он был рад это сделать», где «он» однозначно указывает на Джона — то здесь интеллект не требуется вовсе. Саба отмечает, что многие современные исследователи ошибочно отождествляют интеллект исключительно с логическим выводом и дедукцией. Однако настоящая работа с языком — это работа с вероятностями и правдоподобием в условиях неопределенности. Истинное понимание заключается в умении декодировать смысл, опираясь на контекст и «мир возможностей», о которых собеседник предполагает, что вы уже знаете.
🧠 Ограничения «обучения на данных» 2:14:02
Валид Саба (Walid Saba) категорически не согласен с тем, что вся необходимая информация содержится в данных. Ранее в разговоре они касались различий между обучением и пониманием, а также природы интенсионала. Саба утверждает, что существует некая скрытая структура — лингвистический модуль — который ограничивает «степени свободы» языка.
В качестве доказательства он приводит пример с порядком прилагательных: дети универсально усваивают правила вроде «красивое красное платье», не изучая их как правила грамматики, и никогда не говорят «красное красивое платье». По мнению исследователя, ребенка невозможно научить языку через простое наблюдение миллионов примеров — комбинаторика была бы слишком сложной. Вместо этого язык «запускается» (bootstrapped) при наличии небольшого количества данных, как только ребенок осознает базовый «здравый смысл». Этот процесс не является инкрементальным обучением; как только порог понимания пройден, развитие языка происходит стремительно.
-
