Развитие систем искусственного интеллекта в 2022–2024 годах вышло на траекторию, которая может радикально изменить облик человеческой цивилизации. Коди Фенвик из организации 80,000 Hours представляет обновленный обзор карьерных стратегий в области управления (governance) и политики ИИ, направленных на минимизацию катастрофических рисков и обеспечение безопасного будущего.
🛡️ Почему управление ИИ — это критически важный карьерный путь 0:32
Стремительный прогресс в области генерации текста, изображений и видео в последние годы превзошел многие технологические бенчмарки . По мнению Коди Фенвика, несмотря на огромный потенциал ИИ в решении мировых проблем и повышении качества жизни, существуют и субстантивные риски. Продвинутые системы могут быть использованы для нанесения масштабного вреда, привести к потере контроля со стороны человечества или даже к его полному вымиранию .
Хотя техническая безопасность (AI Safety) остается приоритетом, Коди Фенвик подчеркивает, что одних инженерных решений недостаточно . Необходим комплекс стратегий в области публичной политики и корпоративного управления, чтобы направить развитие технологии в созидательное русло.
Основные цели управления ИИ включают:
- Предотвращение развертывания систем, представляющих прямую катастрофическую угрозу .
- Минимизация негативного влияния ИИ на другие риски, такие как ядерная или биологическая угроза.
- Предотвращение «гонки вооружений» в сфере ИИ между государствами и корпорациями .
- Создание стимулов для разработчиков быть кооперативными и приоритезировать безопасность над скоростью выпуска продуктов.
🛠️ Шесть ключевых направлений работы 5:09
Поле управления ИИ еще очень молодо, и четкие «дорожные карты» только формируются. Фенвик выделяет шесть основных категорий деятельности, где специалисты могут принести наибольшую пользу .
1. Работа в правительстве
Это направление включает разработку, принятие и исполнение законов. Коди Фенвик полагает, что федеральное правительство США останется самым влиятельным игроком в обозримом будущем, так как под его юрисдикцией находятся ключевые компании (OpenAI, Google DeepMind, Anthropic) и цепочки поставок чипов .
2. Исследование политики и стратегии
Существует острая нехватка конкретных политических предложений и глубокого понимания стратегических нужд отрасли. Работа здесь включает юридические исследования, мониторинг вычислительных мощностей (compute governance) и прогнозирование развития технологий. Фенвик ссылается на работу организаций вроде Epoch AI, специализирующихся на прогнозах .
3. Работа внутри индустрии (корпоративное управление)
Речь идет о внутренней политике компаний-разработчиков. Это включает формирование советов директоров, создание стимулов для безопасности и внедрение практик «красных команд» (red teaming) для поиска уязвимостей в моделях .
4. Адвокация и лоббирование
Формирование общественного дискурса и прямое влияние на законодателей. Важным примером такой деятельности Фенвик называет заявление Центра безопасности ИИ (Center for AI Safety) от мая 2023 года, которое подписали лидеры OpenAI и Google DeepMind, приравняв риск ИИ к рискам пандемий и ядерной войны .
5. Аудит и оценка третьими сторонами
Когда регулирование вступит в силу, потребуются независимые организации для проверки соблюдения стандартов. Опыт METR (Model Evaluation and Threat Research) по оценке опасных способностей моделей перед их релизом является прототипом такой работы .
6. Международная координация
Особое внимание уделяется взаимодействию США и Китая. Коди Фенвик утверждает, что миру будет значительно лучше, если два главных технологических центра смогут избежать конфликта и координироваться в вопросах безопасности .
📈 Накопление карьерного капитала и оценка способностей 28:43
Для новичков в этой сфере главной задачей является не поиск идеальной вакансии, а накопление «карьерного капитала» — навыков, связей, дипломов и репутации.
Фенвик предлагает несколько путей развития:
- Специализация в политике: получение степени магистра (Master's in Public Policy), юридического образования или PhD в США .
- Технический бэкграунд: опыт в машинном обучении или компьютерном железе ценится чрезвычайно высоко в Вашингтоне (округ Колумбия), так как политики часто являются генералистами и нуждаются в экспертах, способных перевести сложный технический язык на язык законов .
- Развитие связей: в правительственных кругах США социальные навыки и нетворкинг часто значат больше, чем чистый меритократический успех .
Для проверки своей пригодности (fit) Фенвик рекомендует «дешевые тесты»: стажировки, краткосрочные исследовательские проекты или ведение блога с глубоким анализом существующих предложений в области ИИ-политики .
⚠︎ Риски: как не сделать хуже 40:45
Работа в области политики сопряжена с риском непреднамеренного вреда. Коди Фенвик предупреждает о следующих ловушках:
- Поляризация: неаккуратная адвокация может сделать тему ИИ-безопасности предметом партийных споров, что парализует принятие решений .
- Геополитическая напряженность: резкие заявления могут усилить паранойю между странами и ускорить опасную гонку вооружений .
- Ложное чувство безопасности: политика может создать иллюзию контроля там, где его на самом деле нет .
В качестве мер предосторожности спикер советует избегать необратимых действий, проявлять смирение и следовать кооперативным нормам сообщества .
🏢 Где искать работу сегодня? 46:22
В США основными точками влияния являются:
- Конгресс: работа в штате сенаторов или, что более престижно, в комитетах по энергетике, торговле или разведке .
- Исполнительная власть: Госдепартамент, Министерство обороны, Министерство торговли и новые институты безопасности ИИ (AI Safety Institutes) .
- Think Tanks: такие организации, как Center for Security and Emerging Technology (CSET), часто служат «кузницей кадров» для правительства .
Вне США важными хабами признаны Великобритания (из-за активной позиции правительства Риши Сунака по созданию AI Safety Institute) и Европейский Союз (благодаря «эффекту Брюсселя» — когда европейские стандарты вроде GDPR становятся глобальными) .
