Крис Олах — один из самых известных исследователей интерпретируемости нейросетей, успевший внести ключевой вклад в проекты Google Brain и OpenAI, не имея при этом даже степени бакалавра. В интервью для подкаста 80,000 Hours он рассказал Робу Уиблину о своем необычном жизненном пути: от ухода из университета ради судебного процесса над другом до получения престижного Феллоушипа Тиля. Этот разговор раскрывает уникальный взгляд на научную карьеру, проблемы академического «исследовательского долга» и оригинальные математические инструменты для борьбы с социальным выгоранием.
⚖️ Из университета на скамью подсудимых: защита друга и разочарование в системе 4:30
Карьера Криса Олаха в сфере технологий началась нестандартно. Еще в старшей школе он стал активным участником сообщества Hacklab в Торонто. Жизнь исследователя резко изменилась, когда канадская полиция провела обыск у одного из членов этого хакерского пространства, занимавшегося исследованиями в области безопасности и фиксировавшего места установки временных камер наблюдения во время саммита G20. Силовики посчитали эту деятельность подозрительной. В ходе рейда в доме активиста обнаружили хобби-лабораторию по электронике и химии, которую один из полицейских, служивший ранее в Афганистане, ошибочно принял за цех по производству взрывчатки.
Будучи первокурсником, Олах обладал большей гибкостью расписания, чем другие участники сообщества, и принял решение поддержать товарища. Сначала он просто посещал все судебные заседания по избранию меры пресечения и вел подробные записи. Когда его друг целый год провел под домашним арестом, Крис принял решение официально оставить учебу в университете, чтобы полностью посвятить второй год судебного процесса защите. В итоге подсудимый был полностью оправдан, но Олах в вуз так и не вернулся.
По воспоминаниям Олаха, его реальный вклад в юридическую защиту был скромным: он помогал экономить время адвокатов на рутинных задачах. Самым полезным действием Крис считает то, что он полностью транскрибировал многочасовую сессию допроса, загрузил ее на YouTube и снабдил таймкодами, позволявшими юристам мгновенно переходить к нужной строке записи. Первоначальным мотивом Криса был сильный страх: он всерьез опасался, что полиция может прийти за ним и его друзьями как за «соучастниками». Окружающие взрослые были в ужасе от таких рисков и активно отговаривали его от участия в процессе.
Этот опыт, как признается исследователь, глубоко подорвал его доверие к государственным службам безопасности. В суде обвинение действовало крайне недобросовестно. Например, прокуроры всерьез утверждали, что обнаруженные у химика-любителя вещества для окрашивания пламени в яркие цвета предназначались для создания «радужной бомбы».
Тем не менее со временем взгляды Олаха претерпели изменения. Крис отмечает, что на фоне размышлений о глобальных катастрофических рисках (X-risks), биобезопасности и угрозах искусственного интеллекта он стал относиться к опасениям спецслужб с гораздо большим пониманием. Сегодня Олах испытывает разочарование и грусть от того, что важные государственные институты столь недальновидно сжигают кредит общественного доверия из-за подобных сфабрикованных дел.
🎓 Феллоушип Тиля: $100 000 вместо диплома и цена ухода из вуза 13:24
Во время неизбежных пауз в судебном процессе у Криса оставалось много свободного времени. Он увлекся устройством 3D-принтеров: сначала самостоятельно проектировал их, а затем вместе с другом запустил стартап по созданию open-source программного обеспечения для CAD-дизайна. В 2012 году Олах подал заявку на Феллоушип Тиля (Thiel Fellowship) — программу, предоставляющую талантливым людям моложе 20 лет грант в размере $100 000 на развитие амбициозных проектов в обмен на отказ от учебы в университете. Получив финансирование, Крис оказался перед простым выбором: вернуться за парту или два года заниматься тем, чем хочется.
Олах подчеркивает, что главным преимуществом гранта Питера Тиля были не столько деньги, сколько социальная легитимизация non-traditional пути. Как только за плечами юноши встал авторитетный фонд с крупной суммой, отношение скептически настроенных близких к его карьере кардинально изменилось. Грант сработал как мощный сигнал для общества, заменивший университетский диплом.
Несмотря на свой успех, Крис Олах убежден, что для абсолютного большинства людей, обращающихся к нему за советом, уход из университета станет ошибкой. По его мнению, альтернативный путь требует колоссальной внутренней дисциплины и способности упорно работать без внешних стимулов и принуждения.
Удачные кейсы в рамках Феллоушипа Тиля, по наблюдениям гостя, демонстрировали молодые люди, которые еще до 20 лет успевали реализовать крупные самостоятельные проекты в науке или программировании. Если такого опыта самомотивации у человека нет, отказ от высшего образования обернется тяжелым кризисом.
Кроме того, Олах выделяет две крупные недооцененные проблемы, с которыми сталкиваются специалисты без диплома:
- Иммиграционные барьеры: Почти все рабочие визы в США жестко требуют наличия высшего образования. Сам Крис смог закрепиться в стране только благодаря редкой визе O-1 для «лиц с выдающимися способностями» (Alien of Extraordinary Ability).
- Социальная изоляция: Университет предоставляет готовую и естественную среду для построения дружеских и романтических отношений. Оказавшись вне этой системы в молодом возрасте, Крис долгое время чувствовал себя отрезанным от сверстников, что стало для него высокой эмоциональной ценой.
🚀 Из 3D-печати в ИИ: исторический ужин с Холденом Карнофски 20:15
Примерно через год после получения гранта Крис Олах совершил резкий карьерный поворот, увлекшись машинным обучением. Этому способствовало знакомство в Торонто с Майклом Нильсеном, который в тот момент как раз писал учебник по нейронным сетям и организовал домашний семинар для обкатки глав книги. Происходило это в 2012–2013 годах, на самой заре бума глубокого обучения, сразу после прорывных результатов Алекса Крижевского в компьютерном зрении.
В этот же период Крис познакомился с Холденом Карнофски, сооснователем аналитического центра GiveWell и фонда Open Philanthropy. Встреча произошла благодаря Дарио Амодеи (будущему основателю Anthropic), который тогда был простым аспирантом, но умудрялся жертвовать часть своей скромной стипендии в GiveWell, что и привело его к личному знакомству с Карнофски.
Во время совместного ужина Олах увлеченно доказывал Карнофски, что его open-source проект в сфере 3D-печати позволит дать дешевые средства производства каждому человеку и навсегда покончит с дефицитом товаров в мире. Холден Карнофски разгромил эту идею. Он прямо заявил Крису, что проект не имеет глобальной ценности, но признал, что это отличный способ для самого Олаха прокачать технические навыки.
В тот момент 19-летний Крис был сильно уязвлен такой критикой. Однако спустя годы он признает правоту Карнофски по нескольким причинам:
- Отсутствие открытого CAD-софта никогда не было главным тормозом развития аддитивных технологий.
- Идея о том, что принтер может полностью напечатать сам себя, во многом утопична. В конструкции всегда остаются так называемые «витамины» — сложные недоступные для печати элементы (моторы, электроника), из-за чего прогресс домашнего производства оказался иллюзией.
Олах оставил 3D-печать и полностью сфокусировался на ИИ, поддавшись интеллектуальному вызову. Его заворожил тот факт, что человечество научилось создавать сложнейшие работающие программы (нейросети) опосредованно, через обучение, но при этом ни один создатель в мире не понимает, какие именно алгоритмы зашиты внутри этих «черных ящиков».
🧠 Двухлетний интерн в Google Brain: феномен DeepDream 27:37
Майкл Нильсен фактически обучал Олаха на протяжении полугода как своего личного аспиранта. Набравшись опыта, Крис стал рассылать «холодные письма» в ИИ-лаборатории. Известный ученый Йошуа Бенжио даже согласился принять его на PhD-программу вопреки отсутствию диплома, но Олах выбрал другой путь. После его доклада в офисе Google знаменитый инженер Джефф Дин лично предложил парню стажировку в Google Brain.
Эта стажировка затянулась на рекордные два года. В то время (около 2013–2014 годов) команда Google Brain состояла всего из 30 человек. Пока большинство коллег занималось увеличением масштабирования и точности моделей, Крис Олах сосредоточился на интерпретируемости нейросетей (interpretability) — направлении, которое тогда мало кого интересовало.
Самым громким успехом Олаха в этот период стало участие в создании проекта DeepDream в 2015 году, где он выступил вторым автором вместе с Мэтью Зейлером и Александром Мордвинцевым. Идея заключалась в изменении пикселей входного изображения с целью заставить конкретные нейроны сети выдавать максимальный отклик. В результате получались знаменитые психоделические картины, переполненные «собако-слизнями» (dog slugs) и фрактальными узорами.
Визуализация помогла обнаружить неожиданные скрытые механизмы работы ИИ:
«Мы обнаружили, что когда нейросеть пытается распознать на картинке спортивную штангу, она обязательно ищет присоединенные к ней мускулистые человеческие руки. Модель просто не понимала, что штанга может существовать сама по себе», — вспоминает Олах.
Несмотря на взрывной медийный интерес, Крис испытывал досаду. По его мнению, на том этапе команда поймала красивый эффект, но еще не понимала его глубокой сути. Олах сравнивает DeepDream с моментом, когда создатели микроскопа случайно обнаружили, что через искривленный кусок стекла предметы кажутся больше, но еще не построили полноценный оптический прибор. Лишь позже, развив эту технологию в полноценную «визуализацию признаков» (feature visualization) и «атласы активации» (activation atlases), ученые получили реальный инструмент для чтения внутренних алгоритмов ИИ.
Работа в Google Brain приносила и курьезные социальные трудности. Крис был самым молодым сотрудником лаборатории, у многих коллег дети были его ровесниками. Приходящие стажеры-аспиранты часто автоматически принимали Криса за старшего научного сотрудника, уважительно называли его «доктор Олах» и просились к нему в подчинение. Это мешало выстраиванию простых дружеских связей с ровесниками. В итоге, проработав в Google около пяти лет, Олах перешел в OpenAI, где возглавил команду Clarity для развития своего видения «архитектуры цепей» (circuits agenda) — амбициозной попытки детально составить полную карту работы искусственных нейронов.
🗺️ Карьерный лайфхак: Парето-границы навыков и искусство холодного письма 38:20
Анализируя свой карьерный взлет, Крис Олах предлагает концепцию «Парето-границы навыков» (Pareto frontier of skills). Общество выстроило конвейеры по обучению узкоспециализированных профессионалов, конкурировать с которыми на их поле крайне тяжело. Однако огромная counterfactual-ценность и уникальность рождаются на стыке компетенций.
Сам Олах на старте карьеры не был ни лучшим художником-иллюстратором, ни самым сильным математиком в ИИ. Но он оказался едва ли не лучшим в мире специалистом на стыке машинного обучения и академического рисунка.
Крис выделяет несколько перспективных междисциплинарных комбинаций, которые, по его мнению, гарантируют востребованность на рынке:
- Управление людьми + глубокие технические навыки: Редчайшее и критически важное сочетание для ИИ-лабораторий.
- Веб-разработка + фундаментальная наука: Большинство ученых мыслят редукционистски, сводя данные к сухим таблицам и статичным графикам. Человек, способный завернуть научные данные в интерактивный и понятный веб-интерфейс, полностью меняет способ взаимодействия исследователей с информацией.
В качестве исторического примера Крис приводит физика Ричарда Фейнмана. Тот не слишком хорошо владел стандартным для его коллег аппаратом комплексного анализа для вычисления сложных интегралов, но мастерски применял редкий инструментарий фракционного исчисления, благодаря чему легко щелкал задачи, заводившие других ученых в тупик.
Важной частью успеха Олаха стало умение писать эффективные «холодные письма» (cold emails). Крис констатирует, что 99% таких писем, приходящих ему самому, ужасны: люди просят решить за них домашнее задание или задают банальные вопросы, ответ на которые гуглится за минуту. Наивной ошибкой Олах считает и рассылку вежливых, но абстрактных писем знаменитостям с просьбой «выделить полчаса на созвон для совета».
Правила идеального холодного письма, по мнению Олаха:
- Целевой выбор адресата: Писать нужно не топ-звездам, а менее медийным исследователям, чьи конкретные работы вас искренне восхищают.
- Глубокая проработка контекста: Перед написанием письма Крис обычно читал не менее пяти последних научных статей адресата.
- Краткость и точность: Само письмо должно занимать всего несколько абзацев (меньше страницы), но содержать настолько точные и умные вопросы по деталям исследования, чтобы адресат мгновенно выделил его из почтового спама. На подготовку некоторых ключевых писем в своей жизни Олах тратил целую неделю упорного труда, и эти инвестиции всегда окупались.
🧪 Научный рынок, «исследовательский долг» и уроки Distill 59:01
Олах предлагает смотреть на науку как на своеобразный рынок. Большинство исследователей идут по консервативному пути: они работают над популярными, общепризнанными темами, делая этот сектор науки чуть более эффективным. Вторая стратегия — «обыграть рынок», то есть сделать ставку на тотально недооцененные сообществом идеи, опираясь на собственную интуицию или специфические цели (например, безопасность ИИ или благополучие животных).
Серьезной бедой современной науки Олах называет «исследовательский долг» (research debt) — прямой аналог технического долга в программировании. Ученые мчатся вперед ради публикации новых результатов, оставляя за собой непереваренные идеи, громоздкие и неудачные математические нотации, плохие дефиниции и полное отсутствие качественных объяснений сути происходящего. По мнению гостя, это может полностью уничтожить целые научные направления. Он ссылается на статью математика Уильяма Терстона, который подробно описал, как агрессивный сбор «низко висящих плодов» без внятной коммуникации с коллегами превращает перспективную дисциплину в выжженную землю и тупик.
Инвестиции в хорошие объяснения имеют мощный нелинейный эффект. Качественный разбор темы мгновенно становится золотым стандартом для всех новичков. Написанный Крисом простой туториал по архитектуре сетей LSTM был прочитан несколько миллионов раз. Сэкономив каждому читателю хотя бы одну секунду когнитивной нагрузки, автор в сумме сохраняет колоссальный объем человеческого времени.
Проблема усугубляется математической пропорцией роста любой научной сферы:
- Затраты энергии на объяснение собственных результатов растут линейно вместе с ростом числа ученых (каждый должен описать то, что сделал).
- Затраты на понимание чужих результатов внутри единого поля растут квадратично (каждый ученый должен усвоить публикации всех остальных коллег).
Если не снижать коэффициент сложности за счет гениальной дистилляции смыслов, любая крупная научная область неизбежно расколется на изолированные, непонимающие друг друга фракции.
Главная причина провала большинства объяснений, по мнению Олаха, кроется в фундаментальном непонимании авторами устройства человеческой памяти. Эксперты, пытаясь улучшить текст после жалоб читателей, начинают перегружать его избыточными деталями и строгими академическими формулировками. В итоге они полностью забивают рабочую память читателя, которая, согласно психологическим исследованиям, способна одновременно удерживать лишь около 7 слотов информации. Чтобы текст работал, нужно не упрощать саму идею, а снижать нагрузку на рабочую память: пространственно разносить элементы на диаграммах, аннотировать формулы и безжалостно вырезать лишнюю терминологию.
Пытаясь исправить эту системную ошибку, Крис Олах в 2018 году помог основать академический онлайн-журнал Distill, ориентированный на публикацию интерактивных визуализаций и кристально ясных разборов сложных ИИ-концепций. Спустя несколько лет Крис честно признает, что ключевые тезисы, ради которых создавался журнал, оказались ошибочными:
- Олах думал, что ученые не пишут понятные туториалы из-за отсутствия карьерных и престижных стимулов в традиционных академических журналах. На самом деле главный барьер — это запредельная сложность такой работы. Создание интерактивной статьи в Distill требует в 5 раз больше усилий и времени, чем написание стандартного сухого текста. НаMargine мотивации одних лишь карьерных бонусов для этого не хватает, это всегда должен быть личный проект «по любви».
- Академическая среда разделилась. Прогрессивные институты и так готовы оценивать работы соискателей по их реальной практической ценности, игнорируя факт наличия рецензируемых публикаций. Консервативные же университеты посмотрели на сверкающий интерактивный Distill, сочли его «слишком странным» и все равно отказались учитывать при присуждении профессорских званий.
- Проект столкнулся с неожиданным политическим давлением и обвинениями в кумовстве. Поскольку ниша качественной ИИ-визуализации экстремально узка, авторы статей и рецензенты журнала неизбежно оказались тесно связанной группой друзей. Со стороны это стало выглядеть как закрытый и ангажированный клуб, что вызвало волну критики со стороны академического сообщества.
🎲 Теория микро-браков: математика социального риска 1:19:29
В финале беседы Крис Олах поделился личной шутливой фантазией. Если бы он внезапно стал абсолютно равнодушен к спасению мира и эффективному альтруизму, делом его мечты стала бы частичная занятость в качестве учителя математики для маленьких детей. Крис признается, что обожает размышлять над тем, как упаковать абстрактные концепции в детские форматы — например, превратить алгебраическую теорию групп в увлекательную настольную игру с использованием диаграмм Кэли или плести с детьми морские узлы, предлагая им угадать, можно ли развязать этот узел в прямую линию.
Эта склонность мыслить строгими моделями помогает Олаху справляться со стрессом в повседневной жизни. Будучи интровертом, он испытывает серьезные трудности с посещением вечеринок и светских мероприятий, где нельзя просто сесть и поговорить о научных исследованиях. При этом Крис искренне хочет в будущем создать семью, что требует активной социализации. Постоянные неудачи на свиданиях и вечеринки, не принесшие никаких знакомств, могут сильно деморализовать.
Чтобы сгладить эмоциональные качели, Олах перенес в личную жизнь концепцию «микро-единиц» (по аналогии с микромортом — единицей, обозначающей один шанс на миллион умереть, или калькулятором MicroCOVID для оценки риска заражения). Он ввел понятие «микро-брак» (micromarriage), равное одной миллионной доле вероятности встретить любовь всей своей жизни и главного партнера на десятилетия.
Расчет Олаха строится на простой житейской статистике:
- Большинство людей в итоге находят супругов, которые им очень нравятся.
- За период своей молодости среднестатистический человек посещает в лучшем случае от 100 до 1000 значимых социальных мероприятий.
- Это означает, что чистая вероятность встретить свою любовь на конкретной вечеринке колеблется в районе от 1 до 100 до 1 до 1000.
- В переводе на личную шкалу Олаха, переступив порог дома друзей, он мгновенно и гарантированно «начисляет» себе на внутренний счет от 1000 до 10 000 микро-браков.
Такой подход позволяет Олаху чувствовать осязаемый математический прогресс и полезность действий даже тогда, когда вечер закончился полным фиаско и бытовым разочарованием. Эту же логику гость успешно проецирует на поиск идеальной работы или вычисление шансов встретить «микро-лучшего друга» (micro best friend) — редкого человека, способного кардинально изменить твою жизнь к лучшему. По мнению Олаха, общество тратит колоссальные усилия на избегание мелких рисков, но уделяет непростительно мало интеллектуальных сил математическому расчету и поиску экстремальных позитивных возможностей.
