# Гайд по выживанию в аспирантуре ML: советы Янника Кильхера Источник: https://www.youtube.com/watch?v=rHQPBqMULXo Канал: Yannic Kilcher Опубликовано: 30.03.2021 --- Путь соискателя ученой степени в области машинного обучения (ML) полон подводных камней: от мучительного выбора темы до депрессивных отзывов рецензентов. Популярный исследователь и блогер **Янник Кильхер (Yannic Kilcher)** выпустил подробный «гайд по выживанию» для аспирантов, в котором честно разбирает собственные ошибки и дает практические советы по выстраиванию академической карьеры в 2021 году. ## 🎯 Выбор темы: ловушка хайпа и сила ниши [[JUMP:01:26]] По мнению Янника Кильхера, правильный выбор темы — это фундамент, который должен находиться на пересечении трех факторов: экспертизы научного руководителя, личных интересов аспиранта и его текущих навыков [01:38]. Автор подчеркивает, что важно учитывать доступные ресурсы: если у вас нет доступа к огромным вычислительным кластерам, не стоит пытаться конкурировать с техгигантами в обучении гигантских языковых моделей [02:29]. Янник выделяет две основные стратегии выбора направления: * **Погоня за хайпом.** Это выбор самых горячих тем (например, трансформеров). Однако Кильхер считает это плохой идеей для большинства, так как конкуренция там огромна, а к моменту завершения PhD (через 3–4 года) интерес к теме может угаснуть [03:22]. * **Нишевые темы.** Янник рекомендует искать небольшие, но стабильные сообщества. В качестве примеров он приводит: * Многорукие бандиты (Bandits); * Оптимизация; * Биологически правдоподобные нейронные сети; * Текстовые игры [04:12]. Преимущество ниши, по словам автора, заключается в возможности стать настоящим экспертом номер один в своей области, где конкуренция значительно ниже [04:00]. ## ✍️ Искусство публикации: как писать «неотклоняемые» статьи [[JUMP:04:38]] Главная стратегия написания статей, по мнению Янника Кильхера, заключается в одной фразе: «Пишите работы так, чтобы их невозможно было отклонить» [04:38]. Он объясняет, что процесс рецензирования в ML сегодня настроен на максимально быстрый отсев, поэтому нельзя давать рецензентам ни одного формального повода для отказа [04:52]. Для достижения этой цели Кильхер советует: 1. Активно читать лучшие статьи в выбранной нише. 2. Копировать стиль изложения и структуру экспериментов. 3. Имитировать способ подачи теоретических обоснований [05:23]. Янник утверждает, что рецензенты часто бывают «жестокими», невнимательными и могут не понять суть работы [05:50]. Его главный совет — не принимать плохие отзывы на свой счет и просто отправлять исправленную статью на следующую конференцию. Многие знаменитые работы, как напоминает автор, были отклонены при первой подаче [06:28]. ## 👨‍🏫 Вторая сторона меды: рецензирование и преподавание [[JUMP:06:42]] Становясь старше, аспирант неизбежно начинает сам выступать в роли рецензента и преподавателя. Янник Кильхер призывает не поддаваться искушению делать эту работу «спустя рукава», даже если за это не платят и это не приносит прямой выгоды [07:10]. Аргументы автора в пользу качественного рецензирования: * Это помогает глубже понять структуру чужих работ. * Это позволяет видеть типичные слабые места, что улучшает собственные навыки исследователя [07:25]. Относительно преподавания Янник считает, что студенты — это не «помеха», а будущие коллеги и потенциальные сотрудники вашей лаборатории [08:19]. Инвестиции в их обучение сегодня могут обернуться продуктивными коллаборациями в будущем. ## 🔍 Лазерная фокусировка и «феномен постеров» [[JUMP:08:32]] PhD — это прежде всего упражнение в долгосрочной концентрации. По словам Янника, аспирантов постоянно будут отвлекать интересные семинары, группы чтения и лекции, не относящиеся к их прямой теме [08:58]. Автор описывает типичную ситуацию на крупных конференциях, таких как NeurIPS: * В огромном зале могут быть представлены сотни постеров (докладов) [09:37]. * Вокруг каждого интересного проекта собирается толпа людей. * Аспиранту начинает казаться, что его собственная тема скучна по сравнению с этим разнообразием [10:03]. Янник Кильхер предостерегает от этого чувства, утверждая, что успех приносит только «лазерная фокусировка» на своей узкой задаче [10:15]. ## 🤝 Конференции: зачем они нужны на самом деле [[JUMP:10:15]] Янник высказывает спорное мнение: официальные доклады на конференциях стали практически бесполезными [10:52]. Поскольку всё записывается и транслируется, их проще смотреть дома на двойной скорости. К тому же, информация в таких докладах часто устаревает минимум на полгода [11:05]. Настоящая ценность конференций, по словам Кильхера, заключается в: * **Воркшопах и панельных дискуссиях**, где обсуждаются самые актуальные и еще не завершенные исследования [11:31]. * **Личном общении**. Янник называет официальную часть «шарадой» и утверждает, что лучшие исследователи тратят все время на разговоры в кулуарах [11:43]. * **Инсайдах**. Только в личном общении авторы могут признаться, какие эксперименты на самом деле не сработали и в чем реальные слабости их методов — того, что никогда не напишут в финальной статье [12:24]. ## 🏢 Стажировки и коллаборации: выход за пределы академии [[JUMP:12:43]] Кильхер положительно оценивает опыт стажировок в крупных компаниях. Это дает доступ к ресурсам и, что более важно, позволяет встретить людей, которые не являются академиками и просто хотят создавать крутые продукты [13:16]. Такое «приземление» полезно для сохранения адекватного восприятия реальности после долгого пребывания в академической среде [13:29]. Что касается коллабораций, Янник советует искать людей с взаимодополняющими навыками. Например, если вы сильны в экспериментах, найдите партнера, который хорошо разбирается в теории [14:08]. Однако он предостерегает от слишком большого количества совместных проектов с людьми из других областей, чтобы не потерять фокус [14:34]. ## 🧘 Психологическое здоровье и удовольствие от процесса [[JUMP:15:02]] В завершение Янник Кильхер напоминает, что аспирантура — это уникальное время, которое бывает раз в жизни. Он призывает не работать все время на износ ради того, чтобы закончить на полгода раньше [15:45]. Основные рекомендации по ментальному здоровью: * Находите время для отдыха и общения. * Наслаждайтесь университетской атмосферой, пока есть возможность. * Помните, что найти работу вы сможете в любой момент, а опыт PhD неповторим [15:45]. Янник резюмирует, что путь к успешному PhD в машинном обучении лежит через баланс между строгой дисциплиной в исследованиях и способностью получать удовольствие от интеллектуального пути [15:59].