Тирания целей: почему путь к успеху лежит через случайность

Machine Learning Street Talk 152 тыс. 2 ч 46 мин 17 мин 20.01.2021
Главное

Чтобы достичь по-настоящему амбициозных целей, от них необходимо отказаться. Кеннет Стэнли доказывает, что одержимость планированием и метриками — это ловушка, которая убивает инновации, в то время как случайные открытия и поиск новизны являются единственным путем к прорывам.

🎯 Тирания целей: почему великие достижения нельзя спланировать 0:42

Культ целеполагания как тюрьма для потенциала 0:42

Современная цивилизация одержима идеей фиксированных целей. Нас с самого детства приучают к мысли, что любой шаг должен быть оправдан конкретным, измеримым результатом. Кеннет Стэнли (Kenneth Stanley) утверждает, что подобная фиксация на жестких целях превратилась в настоящую тиранию, которая блокирует по-настоящему прорывные открытия и инновации. Стоит нам начать управлять процессами через комитеты и жесткие KPI, как уникальные идеи тут же «вымываются». Кеннет Стэнли отмечает, что цели хороши, когда они скромны и утилитарны, но они становятся опасными и деструктивными, если речь заходит об амбициозных задачах — таких как творчество, изобретения, фундаментальная наука или даже человеческое счастье.

Эта проблема глубоко пронизывает все общественные институты. Например, современные научные фонды распределяют гранты исключительно на основе объективных критериев. Ученый обязан заранее детально расписать свои цели и доказать высокую вероятность их достижения. Но парадокс заключается в том, что лучшие инновации рождаются тогда, когда исследователь не следует строгому целевому градиенту, а полагается на интуицию. Общество тратит десятилетия на подготовку докторов наук, развивая в них «чутье на интересное», но затем полностью лишает их доверия, требуя бесконечных отчетов и статистических расчетов. Вместо того чтобы создавать свободные «игровые площадки» для инноваций, система загоняет потенциал человека в рамки жестких регламентов. Профессиональная среда страдает от этого не меньше: бесконечные технические ревью и регламентированные «лучшие практики» лишь усиливают групповое мышление и уничтожают оригинальность кода. Стоит отметить, что в дальнейших главах авторы коснутся открытости процессов как двигателя эволюции.

Ловушка ложных компасов: когда метрики порождают кобр 13:39

Когда перед человеком или алгоритмом ставится амбициозная цель, привычные измеримые показатели эффективности часто превращаются в ложный компас. Кеннет Стэнли приводит наглядный пример: если студент ставит перед собой цель стать миллиардером и начинает измерять каждое свое решение тем, увеличивает ли оно его текущую зарплату, он почти наверняка проиграет. Траектория, ведущая к миллиардному состоянию, обычно ортогональна графику роста стандартного оклада.

В социологии этот феномен описывается законом Кэмпбелла: чем чаще количественный социальный индикатор используется для принятия решений, тем сильнее он подвержен искажениям и тем сильнее он коррумпирует те самые процессы, которые должен контролировать. Ярким примером служат школьные тесты: погоня за высокими баллами уничтожает реальное освоение предмета. История знает и более абсурдные проявления этой ловушки:

Жесткие измеримые метрики ослепляют нас, заставляя двигаться в неверном направлении, даже когда сухие цифры рапортуют об успехе. В будущих главах собеседники подробнее рассмотрят проблему обманчивости в поиске.

Эффект китайской ловушки: почему прогресс не бывает монотонным 14:18

Главная ошибка целеориентированного подхода — это слепая вера в то, что движение к успеху должно быть строго монотонным, когда каждый следующий шаг стабильно улучшает текущее положение. Однако реальное развитие часто требует временного ухудшения показателей. Кеннет Стэнли использует здесь метафору китайской ловушки для пальцев: это бамбуковый цилиндр, из которого невозможно освободиться, если изо всей силы тянуть пальцы наружу. Чтобы выбраться, нужно сделать действие, полностью противоположное интуиции — толкнуть пальцы внутрь, навстречу друг другу, что расширит отверстия.

Точно так же устроена и экономика, и социальные системы: порой системе нужно условно «стать хуже», чтобы в долгосрочной перспективе произошел качественный рывок. В машинном обучении алгоритмы сталкиваются с абсолютно аналогичной проблемой. Большинство из них оптимизируют функцию вознаграждения монотонно. Представьте агента в лабиринте, чья награда привязана к сокращению физического расстояния до цели. Упершись в стену, алгоритм застревает, поскольку для достижения реального выхода ему необходимо совершить контринтуитивный шаг — временно отдалиться от цели, ухудшив свои метрики. Без этого преодолеть локальные оптимумы невозможно.

Промежуточные камни: великие открытия вопреки планам 8:12

Поскольку траектория к по-настоящему великим результатам скрыта в густом тумане, мы неспособны заглянуть дальше, чем на один шаг вперед. Кеннет Стэнли вводит важнейшую концепцию «промежуточных камней» (stepping stones) — порталов в новые пространства возможностей. Удивительное свойство этих камней заключается в том, что они совершенно не похожи на конечный результат.

История человеческих инноваций — это история случайных и незапланированных открытий (serendipity), на которые полагаются до двух третей взрослых людей при выборе карьеры. Вот лишь несколько ярких примеров:

Сама природная эволюция наглядно доказывает неэффективность конечных целей. Она не решала какую-то одну конкретную задачу, а создала миллиарды решений параллельно: от полета и фотосинтеза до человеческого разума. Если бы эволюция миллиарды лет назад поставила себе четкую цель «создать человека» и начала бы отбирать одноклеточные организмы по результатам тестов интеллекта, этот эксперимент мгновенно погиб бы. Промежуточным камнем к нашему разуму стал обычный плоский червь, чьим главным достижением была билатеральная симметрия, а вовсе не выдающийся интеллект. Ранее в разговоре ведущий вскользь упомянул алгоритмы NEAT и PickBreeder, которые наряду с концепцией поиска через новизну будут подробно разобраны далее.

🚀 Поиск через новизну и «ловушки» оптимизации 25:27

Традиционный научный подход в области ИИ десятилетиями опирается на строгую постановку целей и оптимизацию по четким метрикам. Однако Кеннет Стэнли (Kenneth Stanley) указывает на фундаментальную проблему: наше стремление к объективности ограничивает возможности поиска. Когда мы жестко задаем целевую функцию, система начинает слепо следовать по градиенту к локальному оптимуму, зачастую попадая в тупик.

Проблема обманчивости ландшафта 43:27

Суть «обманчивости» (deceptiveness) заключается в том, что в сложных поисковых пространствах краткосрочные улучшения могут уводить систему все дальше от реального решения. Кеннет Стэнли приводит наглядный пример: если агент пытается научиться ходить, но вместо освоения баланса или осцилляций (что выглядит как «откат» назад по шкале продуктивности) начинает просто «бросать» свое тело вперед, он добьется быстрого, но кратковременного успеха.

В конечном итоге такая стратегия ведет в тупик, так как агент не освоил базовую механику движения. Попытка «оптимизировать» процесс обучения через достижение промежуточных этапов часто оказывается проигрышной, если путь к цели требует временного отказа от очевидного прогресса.

Новизна как альтернатива целям 39:50

В качестве альтернативы слепой оптимизации Стэнли предлагает концепцию поиска через новизну (novelty search). В этой парадигме система не пытается достичь конкретного «правильного» результата, а сравнивает текущее состояние с накопленной историей достижений. Если действие приносит новый, ранее не виданный опыт, оно считается успешным.

Искусство создания алгоритмов, которые «творят вечно» 32:23

Истинная сила открытых процессов, таких как эволюция природы, заключается в их способности порождать разнообразие и сложность без границ. Примечательно, что эволюция не «решает» одну задачу (например, «как выжить»), а изобретает фотосинтез, полет и саму разумность в рамках одного непрерывного процесса.

Алгоритмы, такие как POET (Paired Open-Ended Trailblazer), пытаются имитировать этот механизм, где алгоритм сам создает для себя тренировочные среды, а затем подбирает к ним решения. Это переводит ИИ из плоскости решения «задач для соревнований» в плоскость бесконечного творческого процесса.

🚀 Открытость как стратегия: поиск сокровищ вместо планирования 59:16

В основе современной научной парадигмы часто лежит «тирания целей», однако Кеннет Стэнли предлагает альтернативу, основанную на открытых (open-ended) процессах. В отличие от традиционных алгоритмов, стремящихся к заранее заданному результату, открытые системы не имеют конечной точки. Их двигателем является непрерывная генерация сложности и разнообразия. Это фундаментально меняет подход к инновациям: вместо попыток «запрограммировать» успех, мы должны создавать «плодородную почву» для возникновения новых возможностей.

Субъективное «интересное» как компас эволюции 58:51

Одним из наиболее ярких примеров работы такой системы является PickBreeder — проект, позволяющий пользователям эволюционно «выращивать» изображения через отбор наиболее интересных вариантов. Феноменальная эффективность этого процесса объясняется человеческой способностью интуитивно оценивать «интересность».

В этом процессе нет случайности: когда пользователь выбирает определенный паттерн, он задействует весь свой когнитивный потенциал. Кеннет Стэнли подчеркивает, что эта «интуиция интересного» уникальна для каждого человека. Именно поэтому успех системы зависит от того, чтобы позволить каждому следовать за собственным внутренним компасом, а не подчиняться большинству. Когда мы голосуем большинством, мы убиваем уникальные пути, которые могли бы изменить жизнь конкретного человека или привести к открытию, недоступному при массовом подходе.

Стоя на плечах предшественников: от «блобов» к сложности 57:46

PickBreeder продемонстрировал, что для создания сложных форм — таких как изображения черепов, автомобилей или бабочек — не требуются миллионы итераций, характерные для глубокого обучения. Достаточно нескольких десятков шагов, при условии, что система позволяет «наследоваться» от находок других людей.

Такой процесс — это «массовый эксперимент», где успех приходит к тем, кто не пытается форсировать результат, а просто изучает пространство возможностей.

Быть «охотником за сокровищами» в собственной жизни 1:13:35

Кеннет Стэнли призывает перенести эту философию в реальную жизнь, становясь «охотниками за сокровищами». Вместо жесткого карьерного планирования, которое часто оказывается обманчивым, стоит инвестировать время в деятельность, создающую максимальное количество «ступенек» для будущих открытий.

Ранее в разговоре участники касались проблемы стагнации в академических исследованиях и того, как погоня за sota (state-of-the-art) ограничивает реальный научный поиск.

Сам Стэнли указывает, что создание контента или развитие навыков, которые кажутся не связанными напрямую с конкретной целью, часто ведет к феноменальной случайности (серендипности). Создание открытой системы вокруг себя — будь то ведение блога, обучение новым технологиям или творческие эксперименты — работает как «ускоритель навыков». В долгосрочной перспективе это позволяет оказаться в точке, которую невозможно было спланировать, но которая обладает гораздо большей ценностью, чем любая изначальная цель.

🔄 Алгоритм POET: Генерация проблем и решений 1:15:45

В рамках развития своих идей об открытых системах Кеннет Стэнли (Kenneth Stanley) и его коллеги разработали алгоритм POET (Paired Open-Ended Trailblazer). Этот подход является попыткой продемонстрировать, как можно одновременно создавать новые обучающие среды и агентов, способных их решать, уходя от жесткой зависимости от заранее заданных целей.

Суть параллельного поиска решений и сред 1:15:45

Основная инновация POET заключается в его способности параллельно генерировать как обучающие задачи (среды), так и агентов, которые эти задачи решают. В традиционных системах, где поиск ограничен заранее определенной целью, мы часто сталкиваемся с тем, что агент «застревает» в локальном оптимуме. POET же действует иначе: он создает серию все более сложных сред и одновременно эволюционирует агентов для адаптации к ним. Это позволяет системе естественным образом «открывать» новые возможности, не будучи скованной рамками одного конкретного целевого показателя.

Ранее в разговоре участники касались фундаментальной проблемы «тирании целей» (обсуждалось в Главе 1), которая ограничивает инновации и заставляет исследователей фокусироваться на достижении фиксированных метрик, вместо того чтобы искать по-настоящему значимые «ступеньки» (stepping stones) к великим открытиям. Алгоритм POET предлагает альтернативный путь: вместо слепого следования за целью, система культивирует разнообразие, позволяя прогрессу происходить через исследование пространства возможностей.

Преодоление обманчивости через

🎭 Иллюзия метрик и бунт против комитетов 1:40:46

Стагнация в академических исследованиях 1:40:46

Современная академическая и корпоративная среда переживает глубокий кризис, который Кеннет Стэнли описывает как «трагедию конвергентного мышления». В крупных корпорациях любые прорывные идеи удушаются требованием предоставить четкие финансовые метрики эффективности на ближайший год. В фундаментальной науке ситуация выглядит не менее тревожно: классическая система распределения грантов в таких структурах, как Национальный научный фонд США (NSF), практически на 100% подчинена жесткому планированию и предсказуемости результатов. Если исследователь честно признается рецензентам, что его проект невероятно интересен, но он не может детально спрогнозировать финальный результат, финансирования ему не видать.

В этой практике Кеннет Стэнли видит парадоксальное обесценивание человеческого капитала. Общество тратит огромные деньги и около 30 лет на то, чтобы вырастить ученого уровня PhD и сформировать у него глубокую научную интуицию. Однако существующие институты категорически отказываются доверять экспертному чутью. Единственное, что признается легитимным — это формальные графики и строгие тесты на статистическую значимость (p-value). По ироничному замечанию Стэнли, для проведения стандартных тестов на значимость ученая степень вообще не требуется, но ученые панически боятся субъективности и прячутся от нее за столбиковыми диаграммами.

Чтобы преодолеть эту стагнацию, необходимо радикально расширить автономию ученых и экспертов. Собеседники упоминают профессора Макса Веллинга, который сознательно позволяет своим студентам в течение месяца тестировать даже самые спорные и «плохие» идеи, полностью отключая внутреннюю цензуру. Коллективное обсуждение и поиск консенсуса на ранних этапах смертельно опасны для инноваций, поскольку групповое мышление неизбежно срезает любые острые углы и оригинальные гипотезы. Ранее в разговоре собеседники касались алгоритма POET как примера генерации проблем и решений, который также базируется на уходе от фиксированных ориентиров.

Свою книгу «Почему величие нельзя спланировать» Кеннет Стэнли создавал не как стандартный научно-популярный труд, а как настоящее «оружие» для ученых. Она намеренно объединяет в себе элементы селф-хелпа и строгие эмпирические аргументы. Ее главная цель — вооружить независимых исследователей и новаторов концептуальным арсеналом, который позволит им успешно противостоять консервативным «привратникам» (gatekeepers), контролирующим финансовые потоки.

PickBreeder: эволюционное искусство с человеком 1:41:54

Наглядным доказательством порочности комитетской системы стала история создания проекта PickBreeder — интерактивной онлайн-платформы, в которой эволюция изображений управляется субъективным выбором человека. Кеннет Стэнли вспоминает, как пытался получить грант под эту разработку, но проект был полностью заблокирован рецензентами NSF. Эксперты выдали массу разгромных отзывов, суть которых сводилась к одному: «Нам совершенно непонятно, чего эта система сможет достичь». Если бы Стэнли тогда подчинился мнению большинства, фундаментальные выводы о неэффективности целеполагания никогда не были бы сделаны.

Секрет успеха PickBreeder крылся именно в предоставлении пользователям полной автономии. Отдельный человек, заметив среди абстрактных узоров случайное сходство с бабочкой или автомобилем, следовал своему мимолетному интересу и направлял эволюцию нейросети по уникальной траектории. Большинство никогда бы не одобрило этот выбор, но именно в этом и заключается суть инноваций — они рождаются из индивидуального, глубоко субъективного видения, а не из коллективного одобрения.

Чтобы окончательно доказать вред комитетов, Стэнли противопоставляет PickBreeder другому проекту — Living Images («Живые изображения»). Он строился на прямо противоположном, «демократическом» принципе: палитра картинок выставлялась на суд жюри, и дальнейший вектор эволюции определялся общим голосованием. Результат оказался провальным. После тысяч поданных голосов Living Images смогла породить лишь банальные «симметричные обойные узоры или даже еще более уродливые размытые пятна». Коллективное голосование полностью вымыло оригинальность, превратив живой поиск в унылое усреднение.

Для спасения инновационной экосистемы Стэнли предлагает альтернативные принципы финансирования, основанные на механизмах PickBreeder:

Человечество обладает врожденным «чутьем на интересное» — именно этот компас, а не сухие таблицы статистической значимости, развивал нашу цивилизацию на протяжении последних тысячелетий.

🧪 Эволюция и поиск: Алгоритмы, новизна и субъективность 2:05:56

В основе исследований Кеннета Стэнли лежит фундаментальный вопрос: как алгоритмически формализовать поиск того, что действительно стоит внимания? Хотя всё интересное неизбежно обладает свойством новизны, далеко не всё новое можно назвать интересным. Тем не менее, новизна служит мощной эвристикой для навигации в пространствах поиска, где истинная «интересность» скрыта. Проблема заключается в том, что интерес — понятие глубоко субъективное, и попытки его полной объективизации могут быть «ИИ-полными» (AI-complete) задачами. Поэтому перед исследователями стоит задача найти приемлемый уровень формализации, который позволит запустить долгосрочный процесс развития, не превращая систему в жестко заданный и неэффективный инструмент.

Алгоритм NEAT и эволюция топологий 2:08:16

Ключевым инструментом в этом поиске является алгоритм NEAT (NeuroEvolution of Augmenting Topologies), разработанный Стэнли для эволюции нейронных сетей. В отличие от классических подходов, где фиксируется архитектура сети, а изменяются только веса, NEAT позволяет эволюционировать саму структуру — топологию сети. Это позволяет системе по мере необходимости усложняться, «выращивая» новые связи и узлы.

В проекте PickBreeder, который опирается на принципы NEAT, этот механизм дополняется человеческим контролем. Здесь нейронные сети (в частности, CPPN — сети композиционного паттерна) развиваются через взаимодействие с пользователем: человек выступает «селекционером», выбирая наиболее интересные визуальные паттерны. Этот гибридный подход позволяет обходить «тиранию целей», о чем подробнее упоминалось ранее в разговоре, и находить неожиданные формы благодаря тому, что каждый пользователь руководствуется своей интуицией, создавая уникальные «ветви» эволюции.

Институционализация «охоты за сокровищами» 2:13:15

При масштабировании таких систем до уровня научных институтов и реальных прикладных задач, Кеннет Стэнли подчеркивает необходимость институционализации культуры «охоты за сокровищами». Исследовательские организации часто сталкиваются с проблемой: как избежать «обманчивости» (децептивности) поиска и не попасть в ловушку поиска только того, что кажется «близким» к результату?.

Основной вызов здесь — уметь правильно ограничивать пространство поиска, не прибегая к жестким, узким целям, которые создают перверсивные стимулы. Стэнли приводит в пример исторические казусы в Индии и Ханое, где попытки борьбы со змеями и крысами через систему вознаграждений привели к появлению «ферм» по разведению этих вредителей. Успешная институционализация поиска требует:

В конечном итоге, научная среда должна признать, что для совершения прорывных открытий (подобных эволюции интеллекта) необходимо пересмотреть сам подход к «оценке» успеха, переходя от узкого измерения эффективности к поддержке процессов, порождающих истинное разнообразие.

🧭 Субъективность как инструмент познания 2:31:26

В завершающей части дискуссии Кеннет Стэнли (Kenneth Stanley) переходит от метафорических лабиринтов к обсуждению того, как именно мы можем ориентироваться в сложных поисковых пространствах, где привычные нам цели часто оказываются обманчивыми. Ученый подчеркивает: ключевым фактором в поиске прорывных решений является субъективный интерес эксперта, который выступает в роли «внутреннего компаса».

Метафора поиска и «ловушка целей» 2:31:26

Стэнли настаивает, что любые примеры с лабиринтами — это лишь метафора, призванная проиллюстрировать фундаментальную проблему: мы не знаем «правильного» пути в пространстве поиска, потому что само пространство обладает свойствами, которые невозможно просчитать заранее.

Даже если бы мы знали точный маршрут через лабиринт, жесткая оптимизация под заданную цель часто работает хуже, чем открытый поиск. Причина в том, что структура «обманчивости» (deception) находится на уровнях, которые лежат глубже нашего визуального или логического восприятия. Это особенно критично для нейронных сетей, где скрытые представления определяют результат сложнее, чем любая архитектурная логика.

Субъективный интерес как компас исследователя 2:37:41

Одним из центральных тезисов Стэнли является то, что экспертный интерес — это не «шум», а важнейший индикатор. Когда речь идет о сложнейших задачах, например, поиске лекарства от рака, формальные метрики прогресса — «улучшение результата на 2%» — могут увести исследователя в тупик, так как они имитируют путь, который кажется логичным, но не ведет к истинной цели.

Стэнли отмечает:

Будущее AI через призму открытых процессов 2:43:40

В финале беседы Кеннет Стэнли возвращается к концепции AIGAs (AI-generating algorithms) — алгоритмов, которые генерируют искусственный интеллект, вместо того чтобы строить его вручную. Он проводит параллель с эволюцией человека: наш интеллект — это результат внешнего цикла, эволюционного алгоритма, который не был «запрограммирован» на создание разума.

Этот процесс открыт, он способен создавать невероятно сложные формы (от фотосинтеза до полета птиц) именно потому, что он не привязан к одной узкой цели, а постоянно исследует пространство возможностей. Ранее в разговоре они касались алгоритмов NEAT и POET, а также феномена «тирании целей», но теперь фокус сместился на то, как именно разные дисциплины (от биологии до машинного обучения) могут объединиться в будущих исследованиях. По мнению Стэнли, прорыв произойдет тогда, когда мы перестанем относиться к поиску как к «глупому перебору» и признаем, что именно этот исследовательский процесс является интеллектуально емкой частью работы.

💬 Цитаты

«To achieve your highest goals you have to be willing to abandon them.»

Кеннет Стэнли 00:22

«Существует множество целей, достижимых только в том случае, если вы не пытаетесь их достичь.»

Кеннет Стэнли 32:23

«В каждый момент, когда было открыто что-то действительно крутое... человек, который открыл этого предка, не пытался получить то, что было в конечном итоге обнаружено.»

Кеннет Стэнли 01:01

«Всё, что когда-либо было сделано интересного, в конечном счете сводилось к определенному уровню субъективности.»

Кеннет Стэнли 01:48

«Умная часть — это исследование, глупая часть — это оптимизация цели.»

Кеннет Стэнли 02:41
👥 Спикер
📖 Термины
Закон Кэмпбелла
Социальные индикаторы коррумпируются, если их начинают использовать как инструмент жесткого контроля.
Поиск новизны (novelty search)
Алгоритмический подход, где прогресс измеряется отличием текущего состояния от предыдущих, а не близостью к цели.
NEAT
Метод эволюции нейронных сетей, позволяющий изменять как веса, так и структуру (топологию) сети.
Наука Кеннет Стэнли Поиск новизны Инновации Закон Кэмпбелла NEAT