# Еджин Чой: «Язык — лучшее средство для ИИ-рассуждений» Источник: https://www.youtube.com/watch?v=begPJQ1FlE0 Канал: The TWIML AI Podcast with Sam Charrington Опубликовано: 13.09.2021 --- ## Социальный здравый смысл: Еджин Чой о том, как научить ИИ понимать устройство человеческого мира [[JUMP:0:01]] Понимание того, как функционирует наш мир — от бытовых привычек до тонких социальных норм, — остается одной из самых сложных задач для современного искусственного интеллекта. В выпуске подкаста *The TWIML AI Podcast* исследователь в области ИИ и профессор Вашингтонского университета Еджин Чой (Yejin Choi) обсуждает, почему «здравый смысл» (common sense) долгое время считался тупиковым направлением и как интеграция нейросетевых моделей с символьными знаниями может изменить будущее технологий. ### 🧠 Проблема здравого смысла в ИИ [[JUMP:1:22]] Еджин Чой определяет здравый смысл как повседневные, практические знания, которыми большинство людей обладает для безопасного и разумного существования. Примером служит интуитивное понимание контекста: в целом допустимо держать дверцу шкафа открытой, но оставлять открытым холодильник — не самая лучшая идея, хотя в определенных обстоятельствах эти правила могут меняться. * **Исторический контекст:** В 1970-х и 1980-х годах здравый смысл был «единственной мечтой» в области ИИ, но попытки его формализовать провалились из-за сложности определения. * **Современный подход:** Благодаря развитию нейронных сетей и больших языковых моделей (LLM) интерес к теме возродился, так как они способны обучаться на колоссальных объемах данных. Гостья подчеркивает: когда мы просим современные модели вроде GPT-3 ответить на вопрос «сколько глаз у лошади», они могут ошибиться, ответив «три», просто потому, что люди редко обсуждают такие очевидные вещи в тексте. ### 🤖 Модель COMET: от символов к обобщению [[JUMP:7:03]] Для решения этих задач группа Еджин Чой разработала модель COMET (Common Sense Transformers). Она обучается на символьных графах знаний, но, в отличие от жестких алгоритмов прошлого, способна обобщать и рассуждать о ситуациях, с которыми никогда не сталкивалась напрямую. * **Механизм работы:** COMET использует «нейронную логическую декодировку», комбинируя глубокое обучение с логическими ограничениями. * **Генерализация:** В эксперименте модель, обученная на бытовых конфликтах, смогла успешно применить логику «отражения атаки» к интеллектуальному противостоянию в шахматах, проведя аналогию между физическим боем и игрой. * **Структура данных:** Граф знаний, используемый в исследованиях, содержит более 1,3 млн правил типа «если — то» на естественном языке, что позволяет модели «заполнять пробелы» в событиях, как это делают люди. По мнению Еджин Чой, именно естественный язык является лучшим средством для рассуждения, так как любые попытки перевести социальную или физическую логику в строгие математические формулы приводят к значительной потере смысла. ### ⚖️ Этика и социальные нормы [[JUMP:28:42]] Отдельное направление работы Чой — развитие социального здравого смысла. ИИ должен не просто «выдавать текст», но и понимать этические границы, чтобы в общении с человеком не быть токсичным или равнодушным. * **Social Chem 101:** Этот проект посвящен аннотированным правилам поведения, которые описывают моральные и этические нормы. * **Проблема неоднозначности:** Еджин Чой считает неоднозначность не багом, а важнейшим свойством нашего мира. Она утверждает, что вместо создания универсальной «правильной» морали ИИ должен понимать, что по многим вопросам люди не имеют единого мнения, и учитывать это распределение оценок. По словам гостьи, текущая проблема многих чат-ботов в том, что они часто подстраиваются под любые утверждения пользователя, даже если те являются неэтичными. Она убеждена: вместо того чтобы бесконечно увеличивать масштаб моделей, необходимо «учить» их, что правильно, а что нет, подобно тому, как мы учим детей. ### 🔭 Взгляд в будущее: за пределами масштабирования [[JUMP:38:24]] В своем выступлении на семинаре Stanford HAI Еджин Чой выступила с критикой чрезмерного упования на масштаб нейросетей. * **Проблема «гигантомании»:** Она отмечает, что мы не сможем достичь «луны» (общего искусственного интеллекта), просто делая «самое высокое здание в мире» на дюйм выше. * **Роль академии:** Еджин Чой считает, что инновации по-прежнему возможны в академической среде. Исследователям следует развивать новые алгоритмы рассуждений и методы интеграции знаний, а не только следовать за компаниями, обладающими вычислительными мощностями для обучения гигантских моделей. * **Новая парадигма обучения:** Будущее, по мнению гостьи, заключается в создании систем, способных учиться интерактивно, выдвигать гипотезы и задавать вопросы, когда они сталкиваются с непонятной информацией, вместо того чтобы быть вынужденными «поглощать» текст в пассивном режиме.