Как ИТ-исследования превратились в гонку за лайками и бенчмарками?

Stanford Online 1,8 тыс. 58 мин 11 мин 17.05.2024
Главное

На прошедшем научном семинаре в Стэнфордском университете был представлен подробный анализ современных методологий написания исследовательских работ в области компьютерных наук. Докладчик рассмотрел, как традиционный академический стиль, маскирующийся под абсолютную объективность, исключает эмоциональный и социальный контекст из научных публикаций. В качестве альтернативы были предложены радикальные текстовые форматы, способные фиксировать качественные данные в сфере человеко-компьютерного взаимодействия (HCI) и компьютерного зрения (Computer Vision).

📄 Кризис объективности: почему научные тексты теряют живой контекст 0:09

В академической среде компьютерных наук давно доминирует специфический стандарт изложения, который организационный ученый Джон Ван Маанен охарактеризовал как «стиль не-стиля». Согласно его анализу, исследователи намеренно культивируют тексты, которые ценят предельную простоту, минимальное использование метафор и сухую математическую точность. Ван Маанен утверждает, что за плотным слоем декларируемой объективности скрывается убеждение, будто любые художественные или повествовательные элементы мешают точной передаче социальных и технических реалий. По мнению докладчика, в сфере качественных исследований человеко-компьютерного взаимодействия (HCI) этот подход приводит к жестким рамкам, где от авторов требуют лишь элегантности, краткости и строгих «рекомендаций для дизайна».

В качестве примера классического качественного исследования докладчик привел собственную раннюю работу, посвященную использованию смартфонов в ирландских пабах. Исследование опиралось на стандартное полуструктурированное интервьюирование и включенное наблюдение. На этапе анализа данные подверглись традиционному кодированию в рамках обоснованной теории (grounded theory). Результаты были упакованы в стандартные тематические блоки:

В финальной части работы авторы предложили стандартные архитектурные и технические решения: создание зон, свободных от смартфонов, или разработку викторин с заведомо неоднозначными ответами, которые невозможно быстро найти в поисковых системах. Такой формат изложения является общепринятым, однако, по мнению спикера, он полностью стирает живую текстуру человеческого опыта.

🎭 Метод Кэтлин Стюарт: аффект-теория как инструмент анализа 4:00

Для поиска альтернативных способов фиксации опыта докладчик обратился к методологии антрополога Кэтлин Стюарт, изложенной в ее книге Ordinary Affects («Обыденные аффекты»). Стюарт предлагает замедлить автоматический переход к репрезентативному мышлению и оценочной критике. Ее цель — найти способы описания сложных, неопределенных и мимолетных объектов, которые заставляют нас сопереживать на висцеральном уровне. Книга написана как ассамбляж разрозненных бытовых сцен, каждая из которых передает эмоциональную интенсивность и неопределенность повседневной жизни.

Докладчик зачитал ключевой отрывок из сцены под названием PMS Powered. Автор описывает, как во время прогулки по закрытому калифорнийскому поселку Эрвайн (Irvine), где «все мусорные баки стоят на кружевных салфетках, а сорняки растут идеальными рядами», она натыкается на ярко-красный седан Ford. На двери водителя красуется вызывающая надпись PMS Powered, транслирующая дерзкое отношение к социальным стереотипам. Однако при обходе машины выясняется, что оба боковых колеса отсутствуют, а сам кузов опасно крепится на одном наспех установленном домкрате, оставленном либо ворами, либо растерянным владельцем. Объект мгновенно меняет свой смысл, превращаясь из манифеста в compound problem (комплексную проблему), балансирующую на грани между рутиной и катастрофой.

Публикация книги Стюарт вызвала серьезную дискуссию в академической среде. Согласно отзывам критиков, этот текст работает эффективно только тогда, когда читатель полностью погружается в него и позволяет аффектам воздействовать на себя, не пытаясь грубо подчинить их жесткой теоретической интерпретации. Сама Кэтлин Стюарт заявляла, что стремилась стимулировать новые формы аналитического внимания к интенсивностям повседневности.

🌾 Эксперименты в сельском компьютинге: от автоэтнографии до «грибковой» критики 9:10

Получив приглашение написать главу для книги о технологиях на открытом воздухе (HCI outdoors) от Скотта Маккрикарда, Майкла Джонса и Тима Стелтера, докладчик решил применить аффективный стиль Кэтлин Стюарт. Исследование было посвящено «сельскому компьютингу» (rural computing) и попытке осмыслить, является ли сельская местность просто географической точкой или это особое внутреннее ощущение.

Автор описал автоэтнографическую сцену, основанную на его детстве в Сан-Мартине — небольшом невключенном городе в Калифорнии между Морган-Хилл и Гилроем. В центре сюжета — эмоциональное описание убогой интернет-инфраструктуры в провинции. Спикер рассказал о рекламных листовках провайдера спутникового интернета Viasat, обещающих скорость в 10 раз выше обычного DSL на фоне залитых солнцем идиллических загородных домов. На практике услуга оказывалась изощренным финансовым капканом:

Это вызывало у местных жителей чувство безысходности и финансового закрепощения со стороны корпораций. Другая сцена описывала полевую работу автора в Индиане с местными охотниками. Во время встречи в кофейне Starbucks информатор по имени Питер растерялся перед меню с терминами вроде tall, grande и flat white, в итоге смущенно заказав обычный горячий шоколад. Докладчик подчеркнул, что этот эпизод заставил его устыдиться собственного высокомерия представителя Поколения X, полностью ассимилированного глобальной потребительской культурой Starbucks.

Глава была сдана без привычного аналитического раздела «Дискуссия». Редакторы книги провели эксперимент, отправив черновики студентам факультетов компьютерных наук (CS) для организации семинаров. Реакция будущих ИТ-специалистов оказалась неоднозначной и компилировалась в следующие тезисы:

Читатели требовали базовой «поддержки за руку» (handholding), чтобы ориентироваться в тексте. Столкнувшись с такой обратной связью, автор был вынужден добавить в финальную версию теоретическое обоснование, объясняющее методологию этнографии в HCI.

🚇 Хроники «техно-критики»: Dakota и эмоциональный габитус ИТ-индустрии 15:00

Полученный опыт подтолкнул докладчика к совместному исследованию с Лили и Амандой Лазар, посвященному феномену «техно-критики» (techlash). Авторы стремились выяснить, как масштабное общественное недовольство ИТ-гигантами влияет на повседневную и эмоциональную жизнь рядовых сотрудников изнутри и снаружи компаний. Качественные методы сжатия цитат обычно стирают личные нарративы, поэтому исследователи сознательно использовали формат аффективных сцен, чтобы вывести на передний план аутентичные истории работников. В рамках полуструктурированных интервью респондентов просили сделать зарисовки (скетчи) их опыта столкновения с критикой.

Ярким примером послужила история сотрудника под псевдонимом Dakota — иммигранта в первом поколении из Карибского бассейна. В вагоне метро агрессивный незнакомец начал выкрикивать в его адрес обвинения, заметив у него фирменную сумку с логотипом ИТ-компании Koala. Dakota сравнил этот бренд-символ со «Алой буквой» (Scarlet Letter), притягивающей общественную ярость. В течение нескольких секунд на подсознательном уровне он пытался разгадать этот социальный пазл, после чего просто надел наушники и отвернулся. Опыт выживания в условиях расовой гипервидимости в маленьком американском городке помог ему выработать «толстую кожу» для подобных инцидентов. Позже Dakota пытался закрасить логотип маркером и полностью срезать фирменные стежки, но в итоге был вынужден просто сменить сумку.

Для структурирования этой статьи авторы применили физический монтаж: разрезали распечатанные сцены ножницами и распределяли их на виртуальной доске Miro для поиска оптимальных нарративных связей. Чтобы отделить голос исследователей от аффективных зарисовок участников, в верстке применили старинный типографский символ — флерон ($\bf \text{fleuron}$).

В теоретической части авторы ввели понятие «эмоционального габитуса» (emotional habitus) ИТ-сферы. По мнению исследователей, внутри корпораций сформирован жесткий контур допустимых чувств, ориентирующий сотрудников на:

Проявление открытого гнева, страха или глубокой печали в этом пространстве жестко табуировано. Общественное давление techlash взломало эту экосистему, вынудив сотрудников искать альтернативные площадки для выражения скрытых эмоций — например, форумы и Коалицию ИТ-работников (Tech Workers Coalition).

📊 Рекламная природа CVPR: визуальная деконструкция статей по компьютерному зрению 24:06

Далее докладчик представил результаты медиа-археологического исследования публикаций флагманской конференции по компьютерному зрению CVPR за период с 2013 по 2021 год, выполненного совместно с Сэмом Гори, Гейбом Эпплби и Дэвидом Крэндаллом. Авторы пришли к выводу, что современная статья по компьютерному зрению во многом утратила сугубо научный формат и превратилась в инструмент агрессивного маркетинга.

Анализ выявил взрывной рост графических элементов. Процент статей, содержащих хотя бы одно «тизер-изображение» (teaser figure) на первой странице, вырос астрономически. Задача таких иллюстраций — наглядно продемонстрировать превосходство авторского алгоритма над конкурентами. Докладчик сравнил эту визуальную стратегию с телевизионной рекламой бумажных полотенец Bounty, где на одном экране демонстрируется мгновенно рвущийся образец конкурента и прочная, сохраняющая структуру продукция бренда.

Ключевым элементом удержания внимания стали перегруженные таблицы результатов. Авторы исследования утверждают, что их функция носит не столько информационный, сколько чисто визуальный характер:

Докладчик напомнил, что в 1980–1990-х годах статьи по компьютерному зрению вообще не содержали количественных таблиц; они опирались на математические аргументы, выведенные из геометрии стенопа (pinhole camera), а результаты демонстрировались на паре качественных примеров изображений. Переход к эмпирическому тестированию превратил академические бенчмарки в подобие таблицы рекордов на старых аркадных автоматах, где каждый исследователь стремится выбить максимальный балл и вписать свои инициалы на первую строчку.

Современный формат PDF-документа окончательно оторвался от бумажного носителя и стал экранным медиа. В статьи внедряются сверхплотные векторные схемы, которые при распечатке превращаются в нечитаемые пятна. Чтобы разобрать детали, рецензент вынужден экстремально масштабировать документ на мониторе. Вся эта экосистема обслуживает рефлексивную экономику внимания (attention economy): ранние публикации препринтов на платформе arXiv и вирусный маркетинг в социальных сетях напрямую конвертируются в цитирования, карьерные предложения, привлечение сильных студентов и получение многомиллионных грантов.

🧠 Оппенгеймер в ИИ: качественные нарративы против диктата бенчмарков 30:41

В разгар пандемии докладчик и Дэвид Крэндалл предприняли попытку преодолеть этот тренд, решив опубликовать на CVPR сугубо качественное исследование, посвященное ментальному и эмоциональному кризису ученых на фоне взрывного роста технологий искусственного интеллекта. Через структурированные интерактивные Google-документы они собрали 56 развернутых невымышленных историй от первого лица от представителей ИИ-сообщества. Сбор данных напоминал интервьюирование: авторы оставляли комментарии к текстам участников, стимулируя их углублять нарратив, развивать сюжетные конфликты и доводить истории до кульминации. Объем некоторых присланных эссе достигал шести страниц.

В статье была опубликована личная история докторанта, заставшего переломный момент 2014 года, когда для привлечения внимания к статье достаточно было вставить слово deep в заголовок. По мере превращения нейросетей из нишевого инструмента в повсеместный утилитарный стек, аспирант столкнулся с жестоким кризисом идентичности. Он осознал, что его статус «исследователя глубокого обучения» был фактически украден и размыт массовой индустрией, что привело к ощущению тотального профессионального краха в середине обучения.

Другой глубокий нарратив принадлежал тридцатилетнему ученому, который применил метафору из индуистского священного писания, процитированную Робертом Оппенгеймером после первых ядерных испытаний: «Теперь я стал Смертью, разрушителем миров». Исследователь признался, что больше не может вести себя как страус, прячущий голову в песок, игнорируя этические вызовы и перекладывая вину за нецелевое или опасное использование создаваемых им технологий на третьих лиц.

🛡️ Битва за рецензии и Пять стадий академической скорби 36:06

Публикация подобного текста на CVPR была сопряжена с колоссальными академическими рисками. Дэвид Крэндалл сознательно включил во введение дисклеймер, ставший прецедентом: «Мы прекрасно понимаем, что это не типичная статья для CVPR: мы не побили ни одного бенчмарка, не представили новых датасетов и не предложили оригинальной функции потерь». Рецензенты предсказуемо потребовали репрезентативной выборки и количественных метрик. В рамках официального ответа (rebuttal) авторы сослались на методологическую базу книги Salsa Dancing into the Social Sciences («Танцуя сальсу в социальных науках»), аргументированно разведя задачи качественного и количественного подходов:

Статья успешно прошла рецензирование, вызвав широкий резонанс и получив поддержку официального аккаунта CVPR в соцсети Twitter. Профессор Уолтер Шайрер, видный участник ИИ-сообщества, публично отметил важность вскрытия глубинного негативного подтекста, скрываемого за фасадными успехами ИТ-индустрии.

В социальных сетях публикация породила волну специфического академического юмора. Процесс болезненной адаптации старой гвардии ученых к доминированию глубокого обучения трансформировали в Пять стадий скорби:

  1. Отрицание: «Не волнуйтесь, глубокое обучение не сможет решить абсолютно все задачи».
  2. Гнев: «Черт возьми, похоже, оно действительно способно решить всё».
  3. Торг: «Я продолжу заниматься своей классической темой, но добавлю туда крошечный блок с нейросетью».
  4. Депрессия: «Я полностью отстал от жизни, моя карьера разрушена, все мои прошлые труды обнулились».
  5. Принятие: «Оцените мою новую статью по глубокому обучению, принятую на CVPR!».

Профессор Шайрер констатировал, что многие фундаментальные ученые сегодня испытывают разочарование, поскольку шли в науку ради постижения базовых принципов человеческого восприятия и зрения, а в итоге превратились в «техников нейросетей», занимающихся рутинной подгонкой гиперпараметров. Докладчик иронично добавил, что их статья оказалась самой легкой по размеру файла за всю историю конференции. Он честно признал, что подобные эксперименты стали возможны исключительно благодаря наличию у него и Крэндалла постоянных профессорских контрактов (tenure), нивелирующих риск увольнения в случае жесткого отторжения работы академическим сообществом.

❓ Дискуссия: цена чтения, интерактивность и «непримечательные вычисления» 45:42

В финальной части семинара развернулась экспертная дискуссия. Один из присутствующих ученых озвучил фундаментальный контраргумент против аффективного стиля: он резко увеличивает «функцию стоимости» (cost function) чтения. Традиционный формат позволяет за секунды считать суть из аннотации и таблиц, тогда как радикальный нарративный метод Кэтлин Стюарт требует от ученого колоссальных временных затрат на интерпретацию образов без гарантированного извлечения практической пользы. В ответ один из модераторов провел аналогию с литературой, напомнив, что если бы наука руководствовалась только снижением транзакционных издержек, никто никогда не стал бы читать сложнейший роман Уильяма Фолкнера «Шум и ярость», который, тем не менее, обладает колоссальной самостоятельной ценностью.

Отвечая на вопрос о границах применимости метода, докладчик сослался на классическую работу Пола Дориша о прагматике проектирования и концепцию «непримечательных вычислений» (unremarkable computing). Повествовательный аффективный стиль идеально подходит для описания объектов и процессов, характеризующихся тремя свойствами:

Комментируя перспективы цифровых публикаций, спикер отметил, что переход от формата PDF к веб-ориентированным HTML-страницам в рамках процессов издательства ACM открывает новые технические возможности, однако текстовые стили сами по себе еще далеко не исчерпали свой инновационный потенциал. Докладчик резюмировал, что главная цель его работы — забрать тоталитарную авторскую власть у исследователя и вернуть читателю агентность (agency) для самостоятельной интерпретации эмпирических данных.

💬 Цитаты

«Мы культивируем и преподаем стиль написания, который ценит ограниченную метафору, простоту и формальную, если не математическую, точность.»

Докладчик 00:47

«Текст рос в нас, но как грибок.»

Докладчик 13:53

«Мы прекрасно понимаем, что это не типичная статья для CVPR: мы не побили ни одного бенчмарка, не представили новых датасетов и не предложили оригинальной функции потерь.»

Докладчик 36:19
👥 Спикеры
📚 Упомянутые книги
🔗 Упомянутые сайты и проекты
📖 Термины
HCI
Человеко-компьютерное взаимодействие, дисциплина, изучающая проектирование и использование интерфейсов.
CVPR
Главная ежегодная международная конференция по компьютерному зрению и распознаванию образов.
Techlash
Растущее общественное и политическое недовольство доминированием и влиянием крупнейших технологических корпораций.
SOTA
Государство художественного уровня (State of the Art), обозначение наилучшего текущего результата в бенчмарках.
Габитус
Система прочных приобретенных предрасположенностей, структурирующая восприятие и поведение индивида.
📊 Цифры
⚖️ Другая сторона
Технологии и IT Компьютерное зрение HCI CVPR Экономика внимания