Путь соискателя ученой степени в области машинного обучения (ML) полон подводных камней: от мучительного выбора темы до депрессивных отзывов рецензентов. Популярный исследователь и блогер Янник Кильхер (Yannic Kilcher) выпустил подробный «гайд по выживанию» для аспирантов, в котором честно разбирает собственные ошибки и дает практические советы по выстраиванию академической карьеры в 2021 году.
🎯 Выбор темы: ловушка хайпа и сила ниши 1:26
По мнению Янника Кильхера, правильный выбор темы — это фундамент, который должен находиться на пересечении трех факторов: экспертизы научного руководителя, личных интересов аспиранта и его текущих навыков . Автор подчеркивает, что важно учитывать доступные ресурсы: если у вас нет доступа к огромным вычислительным кластерам, не стоит пытаться конкурировать с техгигантами в обучении гигантских языковых моделей .
Янник выделяет две основные стратегии выбора направления:
- Погоня за хайпом. Это выбор самых горячих тем (например, трансформеров). Однако Кильхер считает это плохой идеей для большинства, так как конкуренция там огромна, а к моменту завершения PhD (через 3–4 года) интерес к теме может угаснуть .
- Нишевые темы. Янник рекомендует искать небольшие, но стабильные сообщества. В качестве примеров он приводит:
Преимущество ниши, по словам автора, заключается в возможности стать настоящим экспертом номер один в своей области, где конкуренция значительно ниже .
✍️ Искусство публикации: как писать «неотклоняемые» статьи 4:38
Главная стратегия написания статей, по мнению Янника Кильхера, заключается в одной фразе: «Пишите работы так, чтобы их невозможно было отклонить» . Он объясняет, что процесс рецензирования в ML сегодня настроен на максимально быстрый отсев, поэтому нельзя давать рецензентам ни одного формального повода для отказа .
Для достижения этой цели Кильхер советует:
- Активно читать лучшие статьи в выбранной нише.
- Копировать стиль изложения и структуру экспериментов.
- Имитировать способ подачи теоретических обоснований .
Янник утверждает, что рецензенты часто бывают «жестокими», невнимательными и могут не понять суть работы . Его главный совет — не принимать плохие отзывы на свой счет и просто отправлять исправленную статью на следующую конференцию. Многие знаменитые работы, как напоминает автор, были отклонены при первой подаче .
👨🏫 Вторая сторона меды: рецензирование и преподавание 6:42
Становясь старше, аспирант неизбежно начинает сам выступать в роли рецензента и преподавателя. Янник Кильхер призывает не поддаваться искушению делать эту работу «спустя рукава», даже если за это не платят и это не приносит прямой выгоды .
Аргументы автора в пользу качественного рецензирования:
- Это помогает глубже понять структуру чужих работ.
- Это позволяет видеть типичные слабые места, что улучшает собственные навыки исследователя .
Относительно преподавания Янник считает, что студенты — это не «помеха», а будущие коллеги и потенциальные сотрудники вашей лаборатории . Инвестиции в их обучение сегодня могут обернуться продуктивными коллаборациями в будущем.
🔍 Лазерная фокусировка и «феномен постеров» 8:32
PhD — это прежде всего упражнение в долгосрочной концентрации. По словам Янника, аспирантов постоянно будут отвлекать интересные семинары, группы чтения и лекции, не относящиеся к их прямой теме .
Автор описывает типичную ситуацию на крупных конференциях, таких как NeurIPS:
- В огромном зале могут быть представлены сотни постеров (докладов) .
- Вокруг каждого интересного проекта собирается толпа людей.
- Аспиранту начинает казаться, что его собственная тема скучна по сравнению с этим разнообразием .
Янник Кильхер предостерегает от этого чувства, утверждая, что успех приносит только «лазерная фокусировка» на своей узкой задаче .
🤝 Конференции: зачем они нужны на самом деле 10:15
Янник высказывает спорное мнение: официальные доклады на конференциях стали практически бесполезными . Поскольку всё записывается и транслируется, их проще смотреть дома на двойной скорости. К тому же, информация в таких докладах часто устаревает минимум на полгода .
Настоящая ценность конференций, по словам Кильхера, заключается в:
- Воркшопах и панельных дискуссиях, где обсуждаются самые актуальные и еще не завершенные исследования .
- Личном общении. Янник называет официальную часть «шарадой» и утверждает, что лучшие исследователи тратят все время на разговоры в кулуарах .
- Инсайдах. Только в личном общении авторы могут признаться, какие эксперименты на самом деле не сработали и в чем реальные слабости их методов — того, что никогда не напишут в финальной статье .
🏢 Стажировки и коллаборации: выход за пределы академии 12:43
Кильхер положительно оценивает опыт стажировок в крупных компаниях. Это дает доступ к ресурсам и, что более важно, позволяет встретить людей, которые не являются академиками и просто хотят создавать крутые продукты . Такое «приземление» полезно для сохранения адекватного восприятия реальности после долгого пребывания в академической среде .
Что касается коллабораций, Янник советует искать людей с взаимодополняющими навыками. Например, если вы сильны в экспериментах, найдите партнера, который хорошо разбирается в теории . Однако он предостерегает от слишком большого количества совместных проектов с людьми из других областей, чтобы не потерять фокус .
🧘 Психологическое здоровье и удовольствие от процесса 15:02
В завершение Янник Кильхер напоминает, что аспирантура — это уникальное время, которое бывает раз в жизни. Он призывает не работать все время на износ ради того, чтобы закончить на полгода раньше .
Основные рекомендации по ментальному здоровью:
- Находите время для отдыха и общения.
- Наслаждайтесь университетской атмосферой, пока есть возможность.
- Помните, что найти работу вы сможете в любой момент, а опыт PhD неповторим .
Янник резюмирует, что путь к успешному PhD в машинном обучении лежит через баланс между строгой дисциплиной в исследованиях и способностью получать удовольствие от интеллектуального пути .
