Аммон Бартрэм: «Интервью оценивают навыки не лучше критиков кино»

Y Combinator 28,7 тыс. 41 мин 9 мин 17.05.2017
Главное

Процесс найма инженеров в технологические стартапы часто превращается в хаотичную лотерею, полную когнитивных искажений и субъективных оценок. Сооснователь платформы Triplebyte Аммон Бартрэм в беседе с представителем Y Combinator Крейгом подробно разбирает, почему традиционные технические интервью работают неэффективно и как компании могут стандартизировать отбор. На основе данных от тысяч собеседований эксперт предлагает практические инструменты для оценки реальных навыков программирования, системного дизайна и отладки кода.

🛠️ От Justin.tv до Triplebyte: происхождение экспертизы в найме 0:00

Аммон Бартрэм начал свой путь в индустрии в 2009 году, когда сразу после окончания университета присоединился к команде Justin.tv. В то время штат компании насчитывал всего 25 человек. Пройдя через все этапы бурного роста стартапа, Бартрэм сфокусировался на системной инженерии. Именно тогда он впервые столкнулся с масштабным процессом найма и осознал, насколько хаотичным, непредсказуемым и зашумленным является классический отбор специалистов.

Позже Аммон стал сооснователем Socialcam — приложения для обмена видео, созданного в качестве спин-оффа Justin.tv. Спустя три с половиной года работы, в 2012 году, проект был поглощен корпорацией Autodesk. Проработав там до 2014 года, Бартрэм взял отпуск, после чего запустил Triplebyte — специализированный рекрутинговый стартап, помогающий технологическим компаниям находить квалифицированных программистов. Суть платформы заключается в проведении комплексного независимого интервью силами самой Triplebyte, после чего успешно прошедшие проверку инженеры мэтчатся с компаниями, где у них есть наивысшая вероятность получить оффер.

🎯 Иллюзия «хорошего инженера»: почему универсального стандарта не существует 1:33

По наблюдениям Аммона Бартрэма, большинство компаний совершают базовую ошибку, заявляя, что они просто ищут «хороших инженеров». Проблема заключается в том, что понимание «хорошего специалиста» условной Компании А кардинально отличается от критериев Компании Б. Отсутствие четких внутренних ориентиров становится главным источником шума при оценке кандидатов.

Спикер приводит наглядный пример столкновения двух разных инженерных культур:

Если академический специалист попадет на собеседование в продуктовую компанию, он провалится из-за нехватки «вспышек продуктивности» в веб-среде. И наоборот, невероятно продуктивный практик, не обладающий сильной академической базой, не пройдет фильтр «теоретиков».

Бартрэм подчеркивает, что крупным технологическим компаниям на зрелых стадиях необходимо нанимать оба типа инженеров, выстраивая гибкие процессы. Для ранних же стартапов критически важно определить, какая именно проблема прямо сейчас тормозит бизнес. Если нужно быстро собирать MVP и выпускать фичи, то глубокие знания CS не имеют значения — нужен продуктивный разработчик. Если же проект сталкивается со сложной архитектурой или проблемами безопасности, фокус процесса отбора должен быть смещен в сторону академической строгости.

Интервьюеры, как утверждает сооснователь Triplebyte, подсознательно совершают еще одну ошибку: они задают вопросы по темам, в которых сильны они сами. Происходит искажение, когда личные компетенции сотрудника начинают казаться ему ядром всей дисциплины. В результате команда начинает однобоко клонировать саму себя, что далеко не всегда идет на пользу бизнесу. По мнению спикера, существуют успешные примеры с обеих сторон: Google осознанно или неосознанно вырос вокруг культа Computer Science, в то время как многие успешные выпускники Y Combinator строят отличные компании на базе чисто продуктового, человекоцентричного подхода к разработке.

🎓 Диплом против буткемпа: что на самом деле оценивает резюме 6:09

Аммон Бартрэм высказывает довольно смелый для индустрии тезис: выпускники профильных факультетов (CS degree) и выпускники краткосрочных буткемпов сегодня мало чем отличаются друг от друга на старте. По его мнению, реальный коммерческий опыт имеет куда больший вес, чем вывеска учебного заведения. Вчерашний студент университета без опыта стажировок — это такой же джуниор, как и выпускник буткемпа; разница лишь в том, что у первого будет легкий академический уклон, но у обоих полностью отсутствует понимание реальной коммерческой разработки.

Главный парадокс технического интервью, согласно анализу Triplebyte, заключается в несовпадении измеряемых навыков:

«Единственное, что вы можете легко измерить на собеседовании — это способность быстро решать маленькие изолированные задачи. Но навык, который вам реально нужен от сотрудника в долгосрочной перспективе — это способность качественно решать огромные, запутанные, растянутые во времени проблемы. Между ними есть корреляция, но она далеко не идеальна».

Из-за этого несовпадения выпускники вузов и буткемпов часто проходят технические секции лучше, чем senior-инженеры с 8–10 годами опыта в крупных корпорациях. Причина банальна: новички набили руку на решении специфических алгоритмических задач. Опытный же инженер силен в принятии архитектурных решений, сборе требований и ведении крупных проектов, что традиционными методами оценить крайне трудно.

В итоге, как признает Бартрэм, индустрия ведет себя несправедливо: строчка в резюме о пятилетнем опыте работы используется компаниями как грубый прокси-фильтр. Парадокс в том, что для инженера с впечатляющим резюме планка прохождения самого интервью фактически снижается — компании готовы прощать им слабые результаты на технической секции, чего никогда не простят новичку.

🧪 Методология Triplebyte: четыре столпа технического скрининга 8:47

Чтобы минимизировать влияние резюме и оценивать чистые навыки, команда Triplebyte разработала собственную двухчасовую систему удаленного тестирования (через Google Hangouts), разделенную на четыре строгих блока по 30 минут каждый:

  1. Продуктивность программирования (Programming productivity): кандидату дается детально специфицированная задача (например, описать алгоритм без сложной математики). Проверяется способность быстро переложить требования в работающий, хорошо структурированный код. На этом этапе джуниоры часто обходят синьоров.
  2. Академический Computer Science: оценка теоретической базы и понимания классических подходов к решению задач.
  3. Отладка кода (Debugging): методика, заимствованная у компании Stripe. Кандидату предоставляют массивную незнакомую кодовую базу с несколькими багами. Задача — сориентироваться в коде, найти и исправить ошибки. По мнению Бартрэма, это лучший способ выявить сильных синьоров, чей опыт обычно игнорируется стандартными тестами.
  4. Системный дизайн (System design): проектирование архитектуры веб-приложения под заданные требования с последующим их изменением «на лету». Оценивается умение аргументировать компромиссы (trade-offs).

Накопив базу в 2000 проведенных интервью за полтора года, стартап смог оптимизировать этот процесс до двух часов. При создании подобной системы с нуля обычной компании, по оценкам Аммона, потребовалось бы как минимум в два раза больше времени на одного кандидата.

📉 Парадокс «шарад»: почему простые задачи лучше предсказывают успех 11:12

Главная беда Кремниевой долины, по словам спикера — чрезмерное доверие интервьюеров к единичным сложным вопросам, которые часто называют «головоломками» (хотя формально это легитимные задачи вроде валидации строк с круглыми скобками). Такие задачи содержат в себе скрытый «порог озарения»: если кандидат не знает конкретного фокуса, задача кажется невыполнимой. В итоге отбор превращается в генератор случайных чисел.

Triplebyte провела масштабное исследование, сопоставив результаты контролируемых собеседований инженеров с отзывами работодателей после их найма. Выяснилось, что простые и прямолинейные тестовые задания предсказывают успешность сотрудника на реальной работе гораздо стабильнее, чем сложные алгоритмы.

В качестве примера Бартрэм описывает задачу по созданию игры в шашки:

Данные Triplebyte обнажили пугающую несостоятельность классического ИТ-рекрутинга. Спикер сравнил уровень согласия между интервьюерами из разных компаний с оценками пользователей на сайтах отзывов о кино:

«Знание того, что инженер успешно прошел собеседование в одной компании, дает вам ровно столько же информации о его реальных навыках, сколько оценка кинокритика из New York Times для фильма вроде „12 лет рабства“. Ситуации, когда кандидат признается суперзвездой в одном месте и полностью проваливает интервью в другом, происходят постоянно».

Аммон отмечает, что если кандидат умеет щелкать алгоритмические головоломки как орехи, ему прямая дорога в бигтех (Facebook, Google, Dropbox, Apple). Крупные корпорации сознательно ищут абстрактный «врожденный интеллект», поскольку обладают бесконечными ресурсами и временем для последующего обучения сотрудника. Маленький стартап так поступать не может — ему нужен человек, умеющий писать код на Ruby on Rails прямо сегодня.

📚 Как готовиться к интервью: тактика для джуниоров и тренды индустрии 18:16

Для тех, кто только начинает карьеру, Аммон Бартрэм дает четкие практические рекомендации по подготовке. По его оценкам, около 40% всех вопросов на технических собеседованиях в индустрии — это завуалированное применение двух базовых концепций: хэш-таблиц (hash tables) и поиска в ширину (BFS).

Стратегия подготовки для новичков должна включать:

Аммон позитивно оценивает современный тренд на открытость компаний. Например, Facebook проводит бесплатные подготовительные курсы для своих заявителей. Спикер считает это шагом в правильном направлении, хотя и иронизирует, что сама необходимость посещать курсы ради прохождения интервью указывает на системный кризис методологии найма.

Что касается портфолио и личных проектов (side projects), то, вопреки расхожему мнению, компании почти не смотрят на них во время самого интервью. Они выполняют роль фильтра исключительно на этапе скрининга резюме, помогая кандидатам без престижного диплома привлечь к себе внимание. В ходе личной беседы оценивать код стороннего проекта слишком долго и тяжело: интервьюер не знает контекста, не понимает, сколько времени ушло на разработку (выходные или 10 лет) и какая часть кода была скопирована. Кроме того, у 80% хороших инженеров просто нет личных проектов, так как они связаны корпоративными соглашениями.

По поводу географического фактора эксперт отмечает, что гиганты уровня Facebook полностью игнорируют локацию кандидата и готовы оплачивать перелеты сотням соискателей еженедельно. Небольшие же стартапы (до 20 человек) сохраняют легкую предвзятость, давая местным кандидатам из Кремниевой долины преимущество в 10–20%.

⚖️ Стандартизация против «дедовщины»: как выстроить здоровый процесс в компании 27:29

Рассматривая альтернативные методы оценки, Бартрэм критикует идею тестовой недели или пробного найма (trial employment). Метод дает отличный результат, если вы уже поработали с человеком, но порождает негативный отбор (adverse selection bias). Лучшие программисты имеют массу предложений и просто откажутся тратить неделю на ваш триал, равно как и специалисты, имеющие постоянную работу в данный момент.

Поэтому интервью остаются «наименьшим злом». Чтобы сделать их эффективными, компаниям необходимо искоренить два главных источника шума:

Отдельно Аммон Бартрэм предостерегает от превращения интервью в формат «дедовщины» (hazing) или психологического ритуала инициации. Интервьюеру, знающему ответ, легко чувствовать себя умным и раздражаться, когда кандидат в стрессе упускает очевидные вещи. Спикер категорически против практики прерывания неудачных интервью раньше времени — это уничтожает репутацию компании на рынке.

Вместо агрессии Бартрэм предлагает использовать ментальный трюк:

«Если вы видите, что кандидат полностью проваливает техническую секцию и уже точно не получит оффер, мысленно переключите тумблер в своей голове из режима „оценка“ в режим „обучение“. Проведите оставшиеся 15 минут как дружелюбный ментор, спокойно объясняя правильные ответы. Человек уйдет с ощущением пользы, а не позора».

Для снижения уровня стресса Triplebyte рекомендует ограничить состав панели интервьюеров форматом максимум «2 на 1», где один сотрудник ведет беседу, а второй (стажер или коллега) лишь молча наблюдает для калибровки внутренней согласованности оценок.

💬 Цитаты

«Знание того, что инженер хорошо проявил себя в одной компании, дает вам примерно столько же информации о его реальных навыках, сколько оценка кинокритика из New York Times для фильма.»

Аммон Бартрэм 13:39

«Интервью — это худший способ оценки инженеров, за исключением всех остальных вариантов.»

Аммон Бартрэм 28:47

«Если вы видите, что кандидат полностью проваливает техническую секцию, мысленно переключите тумблер в своей голове из режима «оценка» в режим «обучение».»

Аммон Бартрэм 40:11
👥 Спикеры
📚 Упомянутые книги
🎬 Упомянутые фильмы и сериалы
🔗 Упомянутые сайты и проекты
📖 Термины
Поиск в ширину (BFS)
Один из базовых алгоритмов обхода графа, используемый примерно в 40% технических вопросов на собеседованиях.
Системный дизайн (System Design)
Секция интервью, оценивающая умение проектировать архитектуру крупных распределенных систем и находить компромиссы в требованиях.
Ложноотрицательный результат (False negative)
Ситуация на интервью, когда отличный и квалифицированный инженер заваливает тест из-за стресса или специфики каверзного вопроса.
Прокси-фильтр (Proxy filter)
Использование косвенного признака (например, бренда известного вуза или прошлой компании в резюме) для оценки реальных навыков человека.
📊 Цифры
🗓 Хронология
  1. 2009 Аммон Бартрэм начинает карьеру системного инженера в Justin.tv.
  2. 2012 Спин-офф Socialcam поглощается корпорацией Autodesk после 3,5 лет разработки.
  3. 2014 Бартрэм уходит из Autodesk и основывает рекрутинговую платформу Triplebyte.
  4. Последние 1.5 года Triplebyte проводит около 2000 технических интервью и калибрует свои предсказательные модели.
⚖️ Другая сторона
Стартапы и бизнес Ammon Bartram Triplebyte Y Combinator техническое интервью