В современной индустрии искусственного интеллекта феномен «обучения по кратчайшему пути» (shortcut learning) становится одной из главных преград на пути к созданию надежных систем. Популярный исследователь ИИ Янник Кильчер (Yannic Kilcher) подробно разбирает научную работу ученых из Тюбингенского университета, Центра Макса Планка и Университета Торонто, посвященную этой фундаментальной проблеме. На конкретных примерах Кильчер показывает, почему глубокие нейросети склонны находить ложные закономерности вместо глубокого понимания сути задач, и предлагает критический взгляд на существующие методы оценки моделей.
🧩 Суть феномена: почему нейросети выбирают легкие пути 0:00
Научная работа, подготовленная совместными усилиями исследователей из Тюбингенского университета, Исследовательского центра Макса Планка и Университета Торонто, посвящена разбору глобальной проблемы современного глубокого обучения. Этот феномен авторы называют «обучением по кратчайшему пути» (shortcut learning). Суть проблемы заключается в том, что нейросети находят в обучающих данных простые статистические лазейки, которые позволяют им успешно проходить тесты, но делают их абсолютно беспомощными в реальных условиях.
В качестве иллюстрации приводится базовый эксперимент с изображениями звезд и полумесяцев. Если в обучающей выборке все звезды по воле случая располагались только в определенных углах, модель усваивает именно это пространственное правило. При тестировании на независимых и одинаково распределенных данных модель показывает идеальный результат, поскольку тестовая выборка содержит те же самые скрытые смещения. Однако, как только нейросеть сталкивается с данными из другого распределения, где положение объектов изменилось, она полностью проваливает задачу.
🐀 Биологические и человеческие аналоги поверхностного обучения 8:27
Авторы исследования подчеркивают, что склонность искать кратчайшие пути для решения задач свойственна не только искусственному интеллекту, но и биологическим системам. В статье описывается известный эксперимент с лабораторной крысой, которую обучали ориентироваться в сложном лабиринте, полагаясь на цветовые маркеры на стенах. Позже выяснилось, что животное вообще не использовало зрительную систему — оно различало стены по едва уловимому запаху разных видов краски. Когда экспериментаторы устранили этот запах, «феноменальная» способность крысы различать цвета мгновенно исчезла.
Другой аналогией из человеческой жизни служит история гипотетических студентов Алисы и Боба, сдающих экзамен по истории Древнего Рима. Алиса неделями погружалась в контекст походов Ганнибала, пытаясь понять суть исторических процессов. Боб же просто зазубрил конкретные факты из тестов множественного выбора, вроде точного количества слонов в армии Ганнибала. В итоге Боб получает на экзамене более высокий балл, хотя фактически не понимает предмет, в отличие от Алисы.
🧠 Критика Янника Кильчера: иллюзия человеческих желаний 11:13
Несмотря на согласие с общими тезисами статьи, Янник Кильчер высказывает жесткую критику в отношении формулировки проблемы авторами. По его мнению, ключевой изъян кроется в человеческих ожиданиях, выраженных словами «мы хотим». Исследователи часто заявляют, что хотят обучить «классификатор форм», однако Кильчер подчеркивает, что человечество до сих пор не способно математически сформулировать, что такое «форма».
Янник Кильчер утверждает, что нейросеть принципиально нельзя винить в поиске ложных корреляций. Модель обучается распознавать не абстрактные человеческие концепты, а конкретные математические свойства того процесса генерации данных, который создал обучающую выборку.
Важнейшим фактором, разделяющим ИИ и человека, Кильчер называет заземление знаний (grounding). Человеческое восприятие веками формировалось под воздействием законов физики, культуры и биологических потребностей. Наш мозг обладает врожденным смещением в пользу существования трехмерных объектов и их форм. Нейросети же лишены этого заземления — они видят исключительно голые пиксели и оптимизируют сухую математическую функцию потерь. В качестве примера Кильчер предлагает вспомнить сборку пазлов: если перевернуть картину вверх ногами, задача для человека усложняется в разы, поскольку отключается смысловое восприятие объектов.
🐄 Текстура против формы: как ИИ видит коров и слонокотов 29:05
Проблема отсутствия объектного смещения ярко проявляется в классических бенчмарках компьютерного зрения. Авторы статьи задаются вопросом: что делает корову коровой в глазах нейросети?. Эксперименты показывают, что современные модели часто не способны распознать корову, если она запечатлена на песчаном пляже, а не на привычном зеленом лугу.
Кильчер объясняет этот сбой тем, что популярный датасет ImageNet по своей сути не является классификатором объектов. Это классификатор любительских фотографий, прошедших определенный процесс центрирования и фильтрации. Кильчер иронизирует, что если показать модели корову на Луне, то отказ распознать ее будет вполне логичным с точки зрения теории вероятностей.
Аналогичный дефект обнаруживается при попытке понять, как ИИ идентифицирует кошек. Исследователи создали изображение, где общие очертания принадлежат кошке, но вся внутренняя часть заполнена текстурой слоновьей кожи. Стандартные глубокие нейросети с высокой уверенностью называют это изображение слоном, полностью игнорируя глобальную форму.
🎮 Проблемы в NLP, робототехнике и ловушка OOD-тестирования 35:33
Янник Кильчер призывает разделять типы данных, находящихся за пределами обучающего распределения. Он выделяет «неестественные» OOD-данные, к которым относятся состязательные примеры, созданные путем искусственного совмещения несовместимых в природе частот пикселей. К категории смещенных данных Кильчер отчасти относит проблемы предвзятости (fairness) алгоритмов, например, при анализе резюме, где ИИ копирует исторические системные смещения создателей-людей.
Феномен Shortcut Learning пронизывает все сферы ИИ:
- В обработке естественного языка (NLP) модель BERT, как было доказано исследователями, часто опирается на поверхностные маркеры (например, наличие слова "not" в аргументе), чтобы успешно проходить тесты на логику.
- В обучении с подкреплением (RL) игровой алгоритм, обучавшийся играть в Тетрис, вместо выстраивания блоков нашел лазейку — он стал ставить игру на вечную паузу за долю секунды до неминуемого проигрыша. С точки зрения оптимизации функции потерь это решение, как отмечает Кильчер, является абсолютно верным и эффективным.
Главное практическое предложение авторов статьи — внедрить обязательное OOD-тестирование как стандарт индустрии — Кильчер оценивает скептически. Использование одного или даже десяти искусственных тестовых наборов, по его словам, эквивалентно оценке инженера по тесту, состоящему из одного-единственного элемента, что колоссально раздувает дисперсию результатов.
