В недавнем перевыпущенном интервью на канале Янника Килчера (Yannic Kilcher) автор обсуждает с Коннором Шортеном (Henry AI Labs) парадигму популяционных методов обучения и концепцию «открытого» поиска (open-ended learning). Основная идея беседы, вдохновленной материалами конференции ICML, сводится к тому, что жесткая ориентация на конкретную цель (objective-driven search) часто заводит исследователей в тупик, в то время как механизмы, поощряющие новизну и разнообразие, позволяют совершать прорывные открытия.
🧬 Популяционный поиск против градиентного спуска 1:17
Основное различие между классическим машинным обучением и популяционными методами заключается в количестве одновременно проверяемых гипотез . В то время как стандартный градиентный спуск следует по одной траектории к локальному минимуму, популяционный поиск поддерживает огромное количество потенциальных решений одновременно .
Янник Килчер приводит в пример шестиногого робота, обучающегося ходьбе:
- Риск фиксации на одной цели: Если алгоритм находит один «идеальный» способ передвижения, робот становится беспомощным при изменении условий .
- Преимущество популяции: Если одна из ног ломается, популяционный метод позволяет быстро переключиться на альтернативное решение из уже имеющегося набора «черновиков», которое в новых условиях окажется более эффективным .
По мнению Килчера, популяционные подходы особенно эффективны в динамических средах, где параметры задачи могут измениться после развертывания модели .
🧩 Проблема «обмана» в поиске и новизна как двигатель 6:21
Одной из центральных тем обсуждения стала концепция «обмана» (deception) в задачах оптимизации. Килчер объясняет это на примере лабиринта: если робот получает награду только за сокращение расстояния до цели, он неизбежно упрется в стену, за которой находится финиш, и не сможет развернуться, чтобы найти обходной путь .
Решением выступает Novelty Search (поиск новизны):
- Алгоритм вознаграждает робота не за приближение к цели, а за совершение действий, которые он никогда не делал раньше .
- Если робот один раз врезался в стену — это «интересно» (награда), если второй раз — это уже не новинка (награды нет) .
- Единственный способ продолжать получать награду в замкнутом пространстве — это обогнуть препятствие и исследовать новые зоны .
Килчер подчеркивает, что этот подход критически важен для «амбициозных целей», таких как создание общего искусственного интеллекта (AGI) или поиск лекарства от рака . Мы не можем спроектировать точную функцию вознаграждения для этих задач, так как не знаем промежуточных этапов .
🖼️ Эксперимент PicBreeder: почему великие вещи нельзя спланировать 24:48
Собеседники подробно обсудили проект PicBreeder — онлайн-инструмент, где пользователи «разводили» изображения, генерируемые нейронными сетями, выбирая наиболее интересные визуальные мутации .
Основные выводы эксперимента:
- Смена целей (Goal Switching): Одно изображение могло эволюционировать из «лица пришельца» в «автомобиль» . При этом глаза пришельца в ходе мутаций превратились в колеса. Если бы первый пользователь ставил целью «создать машину», он бы никогда не начал с генерации лица пришельца .
- Ступени (Stepping Stones): Великие открытия часто не имеют ничего общего со своими промежуточными этапами. Янник цитирует идею из книги «Why Greatness Cannot Be Planned», утверждая, что попытка достичь сложной цели напрямую часто делает ее недостижимой .
- Аналогия с наукой: Исследования в смежных областях (например, разработка микроволн или изучение свойств плесени) часто становятся «ступенями» для фундаментальных прорывов в медицине или связи, которые невозможно было спланировать заранее .
🧪 Роль мета-контроллеров и дизайна вознаграждений 31:04
Коннор Шортен поднял вопрос об автоматизации поиска новизны. Килчер считает, что это крайне сложная задача, так как сегодня именно человек выступает «мерилом интересности» в системе .
Для автоматизации процесса предлагаются следующие идеи:
- Использование классификаторов (например, ImageNet) для определения того, «на что это похоже» .
- Внедрение функций стиля для оценки визуальной привлекательности .
- Применение алгоритма MAP-Elites, который сегментирует пространство решений на сетку (например, по осям «скорость» и «вес» для живых существ) и сохраняет лучшие варианты в каждой ячейке .
Килчер проводит аналогию с пересечением туманного озера: вы не видите противоположный берег (финальную цель), но видите ближайшие камни (следующие шаги) . Разумная стратегия — выбирать самый «интересный» камень, а не пытаться прыгнуть вслепую к невидимому берегу .
🛡️ Адверсариальные атаки и безопасность беспилотников 39:51
В завершение беседы Янник поделился деталями своих текущих исследований в области состязательных примеров (adversarial examples). Это специфические искажения данных (например, шум на картинке), которые незаметны человеку, но заставляют нейросеть совершать грубые ошибки .
Обсуждая мнение Илона Маска о том, что проблему можно решить простым усреднением различных фрагментов изображения (test time augmentation), Килчер выразил скепсис :
- Добавление шума для защиты действительно снижает риск атаки, но одновременно портит общую точность классификации в нормальных условиях .
- Для беспилотного автомобиля критически важно сохранять максимальную точность 99% времени, а не деградировать её ради защиты от атаки, которая может случиться раз в год .
- Текущие исследования Килчера направлены на то, чтобы научить модели обнаруживать состязательные атаки без потери базовой производительности .
