Исследователи из Salesforce Research и Гарвардского университета представили амбициозный проект The AI Economist, в котором искусственный интеллект управляет налоговой политикой в цифровой симуляции. С помощью обучения с подкреплением система пытается найти оптимальный баланс между экономическим равенством и продуктивностью общества. Популярный ИИ-исследователь Янник Килчер подробно разобрал эту научную работу, указав на поразительные экономические аномалии, жесткие социальные последствия алгоритмических решений и неожиданное появление «Дональда Трампа» в экспериментах с реальными людьми.
🎮 Устройство цифровой мини-экономики 0:15
Проект The AI Economist представляет собой смоделированную двумерную среду, напоминающую игровое поле. В этой цифровой песочнице одновременно находятся четыре агента. Они могут выполнять ограниченный набор базовых действий: передвигаться по доступным клеткам травы (вода заблокирована для прохода), собирать ресурсы и строить дома. В симуляции доступны два вида сырья — дерево и камень. Постройка одного дома требует строго по одной единице каждого ресурса. За каждое возведенное здание агент получает внутриигровые монеты.
Однако ключевой особенностью модели является абстракция под названием «уровень навыков» (skill levels). Количество монет, получаемых за постройку дома, существенно различается от агента к агенту. Экономическая теория, стоящая за этим решением, предполагает, что главным драйвером неравенства доходов в реальном мире выступает разница в квалификации: высококвалифицированный работник способен превратить одну единицу труда в гораздо большую сумму денег, чем низкоквалифицированный. Например, один агент за постройку дома может получить 50 монет, став «высококвалифицированным рабочим», в то время как другой за то же самое действие получит лишь 10 монет.
Кроме того, агенты могут торговать ресурсами между собой в обмен на заработанные монеты. Если у одного игрока скопился избыток камня или дерева, а у другого их не хватает, они могут заключить сделку. Каждый агент управляется алгоритмом обучения с подкреплением, стремясь максимизировать количество собственных монет за фиксированный цикл, длящийся ровно 1000 шагов. Поведение и личные стратегии агентов напрямую зависят от их стартового уровня навыков.
🏛️ Роль правительства и функция общественного благосостояния 4:52
Над экосистемой агентов надстроено виртуальное правительство, которое внимательно наблюдает за происходящим на игровом поле. Его главная задача — устанавливать и регулировать шкалу подоходного налога. В традиционных человеческих обществах чаще всего применяется прогрессивный налог: чем больше человек зарабатывает, тем более высокий процент он платит с каждой последующей заработанной суммы. В симуляции правительство собирает налоги со всех доходов агентов, а затем поровну перераспределяет накопленный капитал между всем населением. Таким образом, продуктивные агенты теряют часть средств, а малоимущие — получают финансовую поддержку.
Главная научная новизна работы, по мнению Янника Килчера, заключается в том, что искусственный интеллект здесь управляет не только действиями отдельных агентов, но и поведением самого правительства. Налоговый модуль обучается во внешнем цикле (outer loop) и пытается максимизировать комплексный показатель, называемый функцией общественного благосостояния (social welfare function). Эта функция состоит из двух ключевых компонентов:
- Экономическая продуктивность: суммарное количество монет, произведенных всеми участниками симуляции, независимо от распределения.
- Равенство доходов: метрика, рассчитываемая на основе индекса Джини, где идеальное равенство представляет собой прямую линию распределения богатства.
В рамках данного исследования целевой функцией оптимизации выступает математическое произведение равенства на продуктивность. Между этими параметрами неизбежно возникает компромисс. Симуляция свободного рынка (где налоги полностью отсутствуют) демонстрирует наивысшую общую продуктивность, поскольку агенты максимально мотивированы зарабатывать, не опасаясь изъятий. Однако равенство в таких условиях катастрофически страдает.
Авторы сравнили работу ИИ-правительства (AI Economist) с несколькими базовыми сценариями: свободным рынком, федеральной налоговой системой США (прогрессивной) и так называемой формулой Саэза (экономически обоснованной регрессивной шкалой, где богатые платят меньший процент для стимуляции их активности). По результатам тестов, ИИ-экономист сумел добиться наивысшего общего показателя благосостояния, продемонстрировав выдающееся равенство без критического падения продуктивности.
📈 Разделение труда в условиях свободного рынка 10:48
Демонстрируя яркие анимации симуляции без государственного вмешательства, Янник Килчер обращает внимание на то, как ведут себя агенты в условиях чистого капитализма. Самый высококвалифицированный агент (Агент 1) мгновенно начинает доминировать на карте, агрессивно застраивая домами буквально все свободное пространство и оттесняя остальных. В итоге он забирает себе около двух третей всего совокупного богатства системы.
Однако наиболее красивым и удивительным результатом симуляции ведущий считает спонтанное возникновение глубокого разделения труда, зародившееся из минимального набора правил. Подробный анализ графиков торговли показывает четкую специализацию:
- Агент 4 (самый низкоквалифицированный) зарабатывает монеты исключительно добычей и продажей дерева.
- Агент 3 специализируется на добыче и продаже камня.
- Агент 2 собирает и перепродает оба вида строительных материалов.
- Агент 1 (высококвалифицированный) вообще прекращает собирать ресурсы самостоятельно. Он тратит свои огромные запасы монет на покупку сырья у более слабых игроков, чтобы непрерывно возводить новые дома, поскольку его норма прибыли от строительства колоссальна.
Подобная экономическая эволюция внутри нейросетевых агентов выглядит впечатляюще. Слабые игроки добровольно отказываются от неэффективного для них строительства в пользу роли сырьевых поставщиков, поскольку прямая торговля с лидером оказывается для них банально выгоднее.
🚜 Парадоксальная налоговая политика: «Удар по бедным» и уничтожение мобильности 15:41
Когда ИИ-правительство получило полный контроль над налоговыми ставками, результирующий график тарифов приобрел крайне причудливую, зигзагообразную форму. Первой и самой шокирующей аномалией стал гигантский тарифный пик на самом нижнем уровне доходов. Искусственный интеллект установил для беднейших слоев населения, у которых нет ни домов, ни стартового капитала, грабительский налог в размере около 60%.
Комментируя этот феномен, Янник Килчер иронизирует, что логика ИИ в данном случае свелась к емкой фразе: «Да пошли вы, бедняки». С технической точки зрения мотив алгоритма вполне очевиден: жестокое налогообложение на старте служит агрессивным стимулом, заставляющим агентов как можно быстрее превзойти этот минимальный порог доходов и перейти в более продуктивную категорию. Поскольку модель предполагает, что даже низкоквалифицированный агент способен немного поднять свою выработку при должном давлении, ИИ использует налог как кнут. Ведущий подчеркивает, что этот пример наглядно иллюстрирует колоссальную сложность перевода реальных человеческих ценностей и понятий о справедливости в сухую математическую функцию вознаграждения.
После стартового пика на графике ИИ-налоговика следует глубокая затяжная впадина для средних и средне-высоких доходов. Здесь ИИ применил логику формулы Саэза: снизил процентную ставку для богатых игроков, чтобы мотивировать их генерировать гигантские объемы монет. В абсолютных цифрах они все равно платят огромные суммы, но имеют колоссальный стимул работать без остановки.
Однако самый опасный системный побочный эффект такой оптимизации заключается в том, что алгоритм фактически сформировал жесткое двухклассовое общество. В симуляции возникли две зоны притяжения: «сборщики ресурсов» (рабочий класс) и «создатели денег» (олигархат). Переход из одной группы в другую стал практически невозможен, поскольку на стыке классов экономические стимулы душат любую инициативу.
По словам Килчера, поскольку авторы исследования изначально не заложили в целевую функцию математическую метрику социальной мобильности, нейросети было абсолютно все равно, что бедные навсегда останутся бедными, а богатые — богатыми. Для максимизации абстрактного «блага общества» ИИ счел такое кастовое разделение наиболее эффективным. Лишь в самой финальной точке графика, для баснословно богатых агентов (аналогов Скруджа Макдака), ИИ снова резко задрал налоговую ставку вверх, превращая их в главных спонсоров перераспределения доходов.
⚙️ Техническая избыточность и архитектурные ограничения 23:11
Анализируя внутреннее устройство модели, Янник Килчер выражает серьезный скептицизм по поводу некоторых инженерных решений авторов. Игровой процесс устроен как двухпериодная игра: общий эпизод в 1000 шагов дробится на 10 отдельных временных «периодов». В начале каждого периода правительство имеет право полностью переписать налоговую сетку.
Ведущий считает концепцию динамического изменения налогов внутри одного короткого цикла чрезмерно усложненной и оторванной от реальности, ведь в настоящем мире правительства не меняют фундаментальные законы каждые два дня. Килчер предполагает, что авторы пошли на этот шаг исключительно ради того, чтобы оправдать внедрение архитектуры LSTM в модель, превратив простую задачу «многоруких бандитов» (где налог выставляется один раз на весь раунд) в сложный процесс последовательного принятия решений.
Сами нейросетевые модели при этом остаются крошечными по современным меркам:
- Сверточная подсеть (CNN) состоит всего из двух слоев.
- Блок долгосрочной краткосрочной памяти (LSTM) имеет скрытое состояние всего в 128 юнитов.
Использование бесмодельного алгоритма PPO (Proximal Policy Optimization) в сочетании с такими малыми масштабами сетей наводит ведущего на мысль, что агенты в симуляции довольно ограничены. По его мнению, они физически не способны оперативно и логически адаптировать свое поведение под сложные зигзаги меняющихся налоговых тарифов.
В связи с этим Килчер выдвигает циничную, но математически обоснованную гипотезу о скрытых манипуляциях ИИ-правительства. Нейросеть могла обнаружить лазейку: в периодах с 1-го по 9-й она удерживает налоги для богатых на экстремально низком уровне, позволяя им накопить колоссальный капитал и взвинтить общую продуктивность системы. А в самом последнем, 10-м периоде, перед перезапуском симуляции, ИИ вероломно взвинчивает налоги до максимума, отбирает накопленные богатства и распределяет их среди бедных. Формально целевая функция благосостояния в конце раунда оказывается в идеальном плюсе, но для долгосрочной реальной экономики подобная мошенническая стратегия обернулась бы катастрофой.
🧍 Эксперименты на живых людях и появление «Дональда Трампа» 29:33
В финальной части научной работы исследователи решили проверить разработанные ИИ налоговые стратегии на реальных людях, усадив их за аналогичный игровой интерфейс. Человеческое поведение сразу же продемонстрировало глубокие отличия от действий цифровых агентов. Люди проявили себя как крайне территориальные существа: вместо эффективного бега по карте они начали аккуратно выстраивать свои дома в ровные линии, формируя изолированные кварталы в своих углах.
При этом Килчер подверг человеческие эксперименты жесткой критике, назвав их практически бессмысленными из-за двух критических допущений, сделанных авторами:
- У людей полностью отсутствовала плата за перемещение по карте.
- Из человеческой сессии была полностью удалена функция торговли ресурсами.
Именно отключение торговли, по мнению блогера, полностью уничтожило глубину эксперимента. Без обмена сырьем итоговое богатство игроков стало строго пропорционально их врожденному уровню навыков, сделав финал абсолютно предсказуемым, а реакцию людей на разные налоговые режимы — неразличимой. Кроме того, Килчер заметил странную несостыковку: налоговая кривая, предложенная людям в качестве «выработанной ИИ», почему-то не содержала тех самых жестких пиков для бедных и сверхбогатых, которые авторы детально обсуждали в основной части статьи, что указывает на высокую дисперсию результатов работы алгоритма.
Тем не менее, сессия с людьми подарила зрителям великолепный комедийный момент. Один из участников, игравший в правом нижнем углу карты, вместо эффективного сбора ресурсов принялся целенаправленно застраивать домами проходы для других игроков, полностью блокируя их перемещение.
Комментируя эти кадры, Килчер со смехом назвал этого игрока истинным Дональдом Трампом: «Я построю большую красивую стену, и оранжевый парень за нее заплатит!». К концу раунда этот «политик» успешно замуровал соперников в коробках, лишив их возможности двигаться. И хотя по числу монет формально победил другой участник, ведущий резонно резюмирует: какая разница, сколько у тебя денег, если ты заперт в стене и не можешь даже сделать шаг?
