# Йеджин Чой: «Системы ИИ сейчас невероятно умны и шокирующе глупы»

Источник: https://www.youtube.com/watch?v=oIdnPeeSQnY
Канал: Bill Gates
Опубликовано: 16.11.2023

---

Йеджин Чой в выступлении на TED охарактеризовала современные системы искусственного интеллекта как «невероятно умные и шокирующе глупые» [1:05]. В беседе с Биллом Гейтсом она утверждает, что простое увеличение масштаба моделей не решит фундаментальные проблемы их надежности [15:55].

## 🧠 Проблема «черного ящика» и магия промптов
[[JUMP:0:00]]

Исследователи до сих пор не понимают, как именно кодируются знания внутри больших языковых моделей (LLM) [1:47]. По словам Йеджин Чой, понимание причин успехов или неудач ИИ остается на примитивном уровне. Взаимодействие с моделями превратилось в **prompt engineering** — своеобразное «черное искусство», где пользователи пытаются мотивировать систему [2:53]. 

Отношение к результатам работы ИИ разделило сообщество на два лагеря:

*   Сторонники «успешных случаев» считают, что если модель дала верный ответ один раз, значит, она обладает знанием, а ошибки — вина пользователя [3:30].
*   Критики фокусируются на «случаях провала», утверждая, что система вообще не способна к надежной работе [3:44].

Йеджин Чой отмечает, что обе позиции экстремальны. Она обнаружила, что производительность LLM растет, если добавить в инструкцию фразу «ты блестяще рассуждаешь и мыслишь очень глубоко» [3:05]. Однако даже GPT-4 совершает элементарные ошибки в логических задачах, например, при решении судоку [5:49].

## 📉 Ограничения масштабирования и преимущество малых моделей
[[JUMP:4:10]]

Билл Гейтс называет GPT-3 «генератором случайных предложений», который 30 лет назад показался бы забавной игрушкой, но не более [4:23]. GPT-4 продемонстрировала резкий скачок способностей, однако Йеджин Чой скептически относится к идее, что увеличение масштаба в 10 или 20 раз уберет все недостатки [4:50].

Альтернативой гигантским системам выступают специализированные модели умеренного размера. Билл Гейтс выразил заинтересованность в создании персонального **math tutor** (репетитора по математике) [8:16]. По мнению Йеджин Чой, малые модели могут превзойти GPT-4 в конкретных задачах, если их обучать на качественных учебниках, а не на случайных данных из интернета [9:23].

Ключевые отличия человеческого обучения от машинного:

*   Человек обладает малым объемом оперативной памяти и мгновенно абстрагирует информацию [7:35].
*   GPT-4 имеет огромную рабочую память, но полагается на поверхностные паттерны вместо понимания концепций [8:03].
*   ИИ обучается методом **brute force** (грубой силы), потребляя колоссальные объемы данных без глубокого осмысления [12:18].

## 🏛️ Кризис академических исследований
[[JUMP:9:50]]

Билл Гейтс указывает на опасную концентрацию ресурсов в руках нескольких технологических компаний [10:18]. Исторически большинство инноваций в информатике рождалось в университетах, но сейчас академическая среда лишена необходимых вычислительных мощностей.

Йеджин Чой считает отсутствие прозрачности в коммерческих моделях вредным для науки [10:31]. Она предлагает развивать открытые модели умеренного размера, которые ученые смогут исследовать и контролировать. Для прогресса ИИ необходимо не только обучение, но и механизмы **unlearning** — способности системы удалять неверные знания или исправлять ложные предпосылки по указанию пользователя [13:42].

## 🤖 Парадоксы Моравека и генеративного ИИ
[[JUMP:19:32]]

Билл Гейтс признался, что ожидал появления «синих воротничков» (роботов для физического труда) гораздо раньше, чем систем для написания текстов [19:32]. Реальность оказалась обратной: ИИ легко переписывает тексты в стиле политиков, но роботы до сих пор с трудом достают инструменты из коробок [19:46].

Йеджин Чой объясняет это через **Moravec’s paradox**: задачи, которые кажутся людям легкими (сенсорное восприятие), крайне сложны для ИИ, и наоборот [20:01]. Она также вводит понятие «парадокса генеративного ИИ»:

1.  Системы создают потрясающие изображения и тексты (генерация).
2.  При этом они не обладают глубоким пониманием содержания (понимание) [20:39].
3.  Например, DALL-E 3 рисует картины, но не осознает контекст объектов так, как это делает человек [21:05].

## 🕊️ Социальное влияние и поиск согласия
[[JUMP:29:18]]

Йеджин Чой выражает надежду, что в будущем ИИ поможет людям лучше понимать друг друга и самих себя [29:32]. Она считает, что многие конфликты вызваны неспособностью к эффективной коммуникации. 

Билл Гейтс разделяет это мнение, отмечая растущую поляризацию общества [30:00]. Он сравнивает ИИ с другими мощными технологиями прошлого — водородной бомбой и биотехнологиями. По его словам, если ИИ поможет снизить уровень конфликтов в мире, это станет его главным достижением [30:25].