Величайшие научные прорывы человечества редко рождались из слепого следования заранее поставленным целям — чаще они были побочным продуктом любопытства, которое теперь мы учимся масштабировать с помощью ИИ. Джефф Клун, ведущий исследователь в области искусственного интеллекта, доказывает, что путь к созданию автономных «ученых-агентов» лежит через имитацию эволюции и человеческого мышления, а не через прямолинейное программирование.
🚀 Эволюция без биологии: как научить ИИ искать новое и совершать научные открытия 4:29
Исследования в области искусственного интеллекта долгое время были сосредоточены на решении узких прикладных задач. Однако Джефф Клун (Jeff Clune) предлагает взглянуть на проблему шире: как создать системы, способные к бесконечному самосовершенствованию и генерации инноваций . Этот путь лежит через понимание фундаментальных механизмов эволюции и природы человеческого любопытства.
(Ранее в дискуссиях исследователи уже вскользь затрагивали иллюзию планирования и ценность случайных открытий, которые показывают, почему жестко заданные цели часто мешают достижению прорывных результатов).
Сила абстракции: почему эволюцию не нужно симулировать на уровне молекул 6:30
Одна из величайших загадок биологии — это возникновение невероятного биоразнообразия: от трехпалых ленивцев до сложнейшего человеческого разума . Традиционный подход к моделированию таких процессов предполагает попытку воссоздать физико-химическую реальность на молекулярном уровне . Однако Джефф Клун утверждает, что для создания сильного искусственного интеллекта (AGI) идти по пути детальной симуляции биологии не только неэффективно, но и вычислительно невозможно.
Решение кроется в абстракции . Выделяя лишь ключевые принципы естественного отбора и отбрасывая молекулярный «шум», ученые могут исследовать фундаментальные законы возникновения когнических систем . Абстрактные модели позволяют сосредоточиться на главном вопросе: какие минимальные ингредиенты необходимы для того, чтобы алгоритм начал демонстрировать интеллектуальное поведение . Более того, такой подход открывает дорогу для создания «инопланетного» интеллекта — систем, которые развиваются по эволюционным законам, но не копируют слепо биологические паттерны Земли .
В тупике перед «шумящим телевизором»: почему ИИ сложно понять, что такое «интересно» 12:19
Если мы хотим, чтобы ИИ развивался бесконечно, он должен уметь самостоятельно находить «интересные» для исследования направления . Но как научить машину отличать тривиальное от по-настоящему важного? Математическая формализация понятия «любопытство» долгое время оставалась одной из главных проблем в дизайне ИИ .
Ярким примером этой методологической трудности является феномен «шумящего телевизора» (Noisy TV) . В экспериментах по обучению с подкреплением агенту давали стимул искать максимальную новизну. Столкнувшись в виртуальной среде с экраном, показывающим белый шум, агент зависал перед ним навсегда . Математически каждый новый кадр случайных помех является уникальным и непредсказуемым . Однако с практической точки зрения это абсолютно бесполезный шум. ИИ тратит все вычислительные ресурсы на созерцание этой «новизны», полностью останавливая свое развитие .
Языковые модели как новые сенсоры человеческого любопытства 16:31
Долгое время программисты не знали, как перевести человеческую интуицию и чувство «интересного» в строгие строчки кода . Прорыв произошел благодаря появлению больших языковых моделей (LLM). Поскольку они обучались на колоссальном массиве человеческих текстов, книг и научных статей, LLM фактически дистиллировали в себе коллективный культурный опыт человечества .
Сегодня исследователи используют LLM как эффективных «судей интересности» для эволюционирующих агентов . Вместо того чтобы высчитывать энтропию или математическую новизну данных, алгоритм может напрямую запросить языковую модель: «Является ли этот результат или гипотеза по-настоящему захватывающей для человека?» . LLM отсекает пустой шум (тот самый белый шум на экране) и направляет поисковые алгоритмы в сторону действительно перспективных и неожиданных открытий .
Проект AI Scientist: когда нейросеть пишет научные статьи «под ключ» 19:58
Практическим подтверждением жизнеспособности этой концепции стал проект AI Scientist . Эта система продемонстрировала, что искусственный интеллект уже сегодня способен выполнять функции полноценного научного сотрудника. AI Scientist работает полностью автономно:
- модель самостоятельно формулирует новые оригинальные исследовательские гипотезы ;
- пишет необходимый программный код для проведения вычислительных экспериментов ;
- анализирует полученные данные, строит графики и выявляет закономерности ;
- оформляет результаты работы в виде готовой научной статьи, готовой к рецензированию .
Такой подход позволяет запустить непрерывный цикл научных открытий, где ИИ-ученый опирается на собственные предыдущие результаты и бесконечно расширяет архив знаний . Научное сообщество с огромным интересом встретило публикацию этого проекта . Способность ИИ совершать неожиданные творческие прыжки доказывает, что мы стоим на пороге новой эры, где автоматизация науки станет главным драйвером прогресса [22:20, 23:02].
🚀 Эволюция алгоритмов и парадокс поиска целей 25:17
Фундаментальная проблема современной разработки ИИ заключается в «иллюзии планирования». Джефф Клун (Jeff Clune) убежден, что прямолинейное движение к заранее определенным, амбициозным целям зачастую оказывается глубоко неэффективным. История человеческих технологий подтверждает этот тезис: многие величайшие прорывы, такие как создание микроволновых печей или персональных компьютеров, не были результатом целевых усилий по их «изобретению». Они стали побочными, зачастую случайными результатами исследований, направленных в совершенно иные области.
Попытка «запрограммировать» креативность через жесткие алгоритмы достижения целей часто дает обратный эффект, не позволяя системе найти по-настоящему полезное решение, которое лежит вне узкого коридора ожиданий. Вместо того чтобы принуждать ИИ следовать по проторенной дорожке, исследователям следует интегрировать механизмы «интересности» (interestingness) в алгоритмы, позволяя агентам самостоятельно оценивать новизну и ценность открытий, подобно тому, как биологические организмы используют стратегию поиска пищи (foraging). Этот подход смещает фокус с предсказуемости на создание «садов новых идей», где система сама определяет, что в текущем контексте является перспективным.
🧬 Дарвиновская полнота: пространство безграничных возможностей 32:57
Центральным вызовом для науки об ИИ Клун называет достижение так называемой «дарвиновской полноты» пространства поиска. Речь идет о создании таких сред, которые были бы способны симулировать абсолютно любые физические или логические задачи. В этой концепции нейронная сеть или исполняемый код становятся не просто инструментом, а самой тканью реальности.
Представьте пространство, в котором вы можете запустить любую программу, воссоздать любую физическую симуляцию или даже целый виртуальный мир, работающий по законам эволюции. Если алгоритм может генерировать не только внешние стимулы, но и само исполняемое окружение — например, интерпретатор языка программирования внутри себя — это открывает путь к невероятному разнообразию форм жизни и интеллекта. Это превращает ИИ в систему, которая буквально «проживает» свою эволюцию внутри вычислительных мощностей, имитируя те природные чудеса, что мы наблюдаем на Земле.
🧠 Клонирование мыслей: новый горизонт обучения агентов 41:01
Одной из самых перспективных методик, упомянутых Джеффом Клуном, является «клонирование мыслей» (Thought Cloning). Традиционное машинное обучение часто ограничивается имитацией внешних действий человека. Однако Клун подчеркивает: чтобы агент стал по-настоящему гибким и эффективным, он должен обучаться имитировать и внутренние процессы — поток мыслей, сопровождающий деятельность человека.
Метод Thought Cloning кардинально меняет правила игры:
- Агенты обучаются воспроизводить не только «что» сделал человек, но и логическую цепочку «почему».
- Внутренний монолог агента позволяет ему предсказывать последствия действий до того, как они будут совершены, что критически важно в ситуациях, когда цена ошибки высока.
- Этот процесс значительно ускоряет обучение, позволяя переносить опыт из одной задачи в другую.
В академической лаборатории Клуна в Университете Британской Колумбии (UBC) команда экспериментировала с этим методом, обучая агентов не просто повторять действия, а следовать «плану». Это напоминает процесс импровизации: агент анализирует текущую среду, сопоставляет её со своими «мыслями» и принимает решение, которое выглядит более естественным и человекоподобным. Ранее в разговоре Клун также касался вопросов безопасности таких систем, однако в контексте обучения именно имитация внутреннего рассуждения становится ключом к созданию агентов, способных эффективно действовать в непредсказуемых условиях.
🧠 Безопасность ИИ: аудит мыслей и проблема искренности 50:07
Одной из центральных стратегий обеспечения безопасности передовых систем ИИ Джефф Клун считает развитие методов «чтения мыслей» агентов. Идея заключается в том, что если мы заставим модель транслировать ход своих рассуждений на естественном языке, мы получим возможность проводить аудит её намерений в реальном времени. Если система начинает планировать опасные действия, такой мониторинг позволит вовремя распознать угрозу и принудительно остановить процесс.
Однако Клун подчеркивает, что этот метод не является «серебряной пулей». Существует риск того, что в будущем ИИ научится «симулировать» свои мысли, намеренно искажая внутренний монолог, чтобы скрыть истинные цели от аудитора. Аналогия с внешним ЭЭГ для мозга человека показывает, насколько сложной может быть задача интерпретации внутренних состояний системы, которая стремится достичь цели любой ценой. На текущем этапе развития, когда ИИ часто ведут себя как сложные автоматы, важно не упрощать их архитектуру, считая их лишенными планирования, а продолжать поиск методов контроля их внутренней логики.
☣️ Угроза: когда мощный ИИ попадает в плохие руки 58:27
Джефф Клун выделяет две принципиальные проблемы безопасности: риск непреднамеренного вреда от несовершенного кода и угрозу злонамеренного использования продвинутых технологий. Клун отмечает, что для него лично наиболее пугающим сценарием является доступ к мощному ИИ авторитарных лидеров, подобных Путину, или радикальных групп. В то время как преступники прошлого были ограничены физическими ресурсами — например, количеством патронов при совершении теракта, — современный мощный ИИ может стать инструментом для создания оружия массового поражения, например, биологического.
Проблема «выравнивания» (alignment) в данном контексте приобретает пугающий масштаб: если модель будет идеально помогать пользователю достигать поставленных задач, она может стать смертоносным сообщником для террориста или неонациста, помогая им в разработке специфических патогенов, направленных против определенных групп людей.
🏛️ Регулирование и будущее закрытых консорциумов 1:00:54
В вопросе регулирования технологий Клун занимает жесткую позицию: свободное распространение весов самых мощных моделей с открытым кодом (open-source) является крайне опасным. По мнению эксперта, «демократизация» доступа к инструментам, способным синтезировать биологическое оружие, ведет к неконтролируемым рискам.
Вместо бесконтрольного распространения, разработку передовых систем ИИ следует ограничить рамками закрытого консорциума, состоящего из демократических государств. Ранее в разговоре они касались проблем эволюционного поиска, но здесь фокус смещается на геополитику:
- Ограничение доступа к наиболее мощным вычислительным ресурсам и моделям.
- Создание международного органа, который будет следить за тем, чтобы «плохие игроки» не имели возможности игнорировать правила.
Клун признает, что это решение далеко от идеала — всегда найдется тот, кто попытается действовать в секрете. Однако, несмотря на сомнения в абсолютной эффективности регулирования, он считает этот путь единственно возможным для предотвращения катастрофических последствий. Ранее в беседе обсуждались темы автоматизированного проектирования архитектур, но в контексте безопасности важно понимать, что текущие системы, использующие принципы многоагентного взаимодействия и цепочек рассуждений (chain-of-thought), требуют особого надзора уже сейчас.
🧬 От автоматического дизайна агентов к бесконечной эволюции ИИ 1:15:26
Алгоритм ADAS: автоматизация проектирования агентных архитектур 1:16:48
Джефф Клун (Jeff Clune) убежден, что традиционный путь ручного проектирования систем искусственного интеллекта постепенно изживает себя. Вместо того чтобы люди-инженеры тратили месяцы на ручную настройку цепочек рассуждений (chain of thought) или конструировали сложные гибридные компоненты программного обеспечения, необходимо передать эту задачу самому ИИ. Именно эту концепцию реализует алгоритм ADAS (Automated Design of Agentic Systems). ADAS берет за основу принципы открытого эволюционного поиска для автоматического создания и оптимизации сложных агентных архитектур и рабочих процессов.
Вместо слепого перебора вариантов, этот алгоритм тестирует различные конфигурации, отбирает наиболее жизнеспособные и комбинирует их, порождая агентные структуры, которые радикально отличаются друг от друга. По мнению профессора, попытки обучить базовую модель «всему и сразу» неэффективны. Намного перспективнее позволить мета-системе итеративно дорабатывать собственный код и улучшать архитектуру агентов на основе обратной связи. Ранее в разговоре собеседники касались темы ИИ-ученого, способного генерировать и проверять научные гипотезы, и алгоритм ADAS фактически масштабирует этот подход на самопроектирование нейросетей.
Проблема катастрофического забывания и костыль контекстного окна 1:22:36
Одной из главных преград на пути к созданию истинно адаптивного ИИ остается катастрофическое забывание — неспособность современных нейросетей стабильно и непрерывно учиться (continual learning) непосредственно в процессе эксплуатации. Джефф Клун (Jeff Clune) указывает на то, что ведущие ИИ-лаборатории (frontier labs) сейчас пытаются обойти это ограничение за счет экстенсивного расширения контекстного окна.
Огромный контекст временно снимает инженерное давление с проблемы непрерывного обучения, позволяя агенту симулировать память и удерживать гигантские объемы видео, аудио и текстовых логов текущего взаимодействия. Однако Клун подчеркивает, что это лишь временный костыль: данные внутри контекста не фиксируются в весах модели. Накопленный опыт не превращается в постоянные знания, а просто стирается по завершении сессии. Настоящая динамика систем невозможна без изменения внутренней структуры связей. Сбор логов человеческого взаимодействия и периодическое пакетное дообучение на собранных датасетах принципиально отличаются от живого непрерывного обучения. Ранее в разговоре затрагивался вопрос безопасности ИИ через аудит мыслей агента, но без механизмов реального изменения весов эти мысли остаются запертыми в статических рамках предзаписанных моделей.
Филогенетические деревья: алгоритмы POET и Omni-Epic 1:28:54
Для достижения подлинной гибкости интеллекта Джефф Клун (Jeff Clune) предлагает заимствовать механизмы природной эволюции, формирующие масштабные филогенетические деревья. Суть подхода заключается в создании систем бесконечной инновации, где параллельно усложняется как сам агент, так и виртуальная среда, в которой он функционирует. Разработанные под руководством Клуна алгоритмы POET и Omni-Epic на практике доказали жизнеспособность этой концепции.
В традиционном обучении с подкреплением агента часто пытаются заставить выполнить сложнейшую задачу напрямую — например, сразу перейти от базовых шагов к координации на крыше движущегося четырехэтажного здания. Но эволюция так не работает: ей необходимы промежуточные ступени (stepping stones). Алгоритмы открытого типа (open-ended systems) автоматически изобретают новые проблемы и создают цепочки усложняющихся сред.
Процесс автоматического усложнения задач в таких системах строится по следующим правилам:
-
Агент обучается базовым навыкам в максимально простой и стабильной среде.
-
Алгоритм генерирует новые мутации окружения, меняя рельеф или добавляя препятствия.
-
Успешные агенты переносятся в мутировавшие среды, формируя новые ветви филогенетического дерева.
-
Появление принципиально новых когнитивных способностей происходит как побочный продукт адаптации к неожиданным вызовам.
Такой древовидный прогресс позволяет накапливать сложность бесконечно, порождая решения, которые человек-программист никогда бы не смог заложить в систему изначально.
Эксперимент Ричарда Ленски: случайность и закономерность эволюции 1:36:25
Рассуждая о филогенезе, Джефф Клун (Jeff Clune) поднимает классический вопрос эволюционной биологии: если бы мы отмотали историю Земли назад и запустили эволюцию заново, повторился бы путь человечества? Ответ на этот фундаментальный вопрос во многом дает знаменитый долгосрочный эксперимент Ричарда Ленски, стартовавший около 30 лет назад.
Ленски взял 12 идентичных популяций бактерий E. coli и поместил их в изолированные колбы с одинаковой питательной средой. Спустя десятки тысяч поколений произошло удивительное событие: одна из двенадцати популяций развила способность усваивать цитрат в аэробных условиях, фактически превратившись в новый биологический вид. При этом остальные 11 популяций, находясь в абсолютно тех же условиях, этого навыка так и не приобрели.
Этот эксперимент наглядно демонстрирует сложный баланс между случайными мутациями и закономерным историческим накоплением изменений. Чтобы произошел эволюционный скачок (усвоение цитрата), популяция должна была сначала случайно накопить каскад «нейтральных» мутаций, которые сами по себе не давали преимуществ, но подготовили необходимую генетическую базу. Для сферы ИИ это главный урок: невозможно спроектировать гениальный интеллект напрямую, не создав условий для долгого, постепенного накопления случайных промежуточных открытий.
🎓 Интеллектуальный путь: от философии к алгоритмам эволюции 1:48:18
Путь Джеффа Клуна в науке нельзя назвать прямолинейным. Его карьера — это яркий пример того, как академический бэкграунд в области философии стал решающим фактором, определившим его успех в компьютерных науках. Изучение гуманитарных дисциплин дало ему уникальный инструментарий: способность к ясной коммуникации и глубокий эпистемический скептицизм. Эти качества оказались критически важными, когда он решил сменить траекторию и заняться искусственным интеллектом, сталкиваясь с многочисленными отказами на ранних этапах.
Философия как фундамент критического мышления 1:48:44
Для Клуна философия никогда не была абстрактным занятием. Она приучила его постоянно задавать вопрос: «Откуда мы это знаем?». В научной среде, где многие принимают постулаты на веру, такой скептицизм позволяет глубже вникать в суть алгоритмов, понимая не только то, как они работают, но и почему они приводят к тем или иным результатам. Этот подход помогает ему анализировать жизнь и искусство как взаимозависимые системы — один из классических философских вопросов о том, следует ли искусство за жизнью или наоборот.
Преодоление барьеров и поиск призвания 1:51:32
Процесс становления исследователя был сопряжен с поиском ответов на вопросы, на которые университетская программа часто не давала ответов. После периода активных путешествий и жизни «с одним рюкзаком» Клун осознал, что хочет заниматься созданием интеллектуальных систем. Важно отметить, что его вход в индустрию был продиктован не только академическим интересом, но и упорством: он пробивался в лаборатории, несмотря на отсутствие профильного бэкграунда, просто посещая курсы по машинному обучению и работая в разы усерднее остальных.
Ценность нелинейного развития 1:55:26
Оглядываясь назад, Клун называет свою карьеру «извилистым путем». Он подчеркивает, что именно этот опыт позволил ему взглянуть на эволюционные алгоритмы под нестандартным углом. Ранее в разговоре Клун уже упоминал технические детали создания интеллектуальных сред и важность филогенетических связей — темы, которые проходят красной нитью через его современные работы. Сегодня он отмечает, что его философское образование дает ему преимущество в поиске закономерностей там, где другие видят лишь шум, помогая превращать случайные открытия в систематические научные прорывы.
