# Илья Сутскевер: «Сверхинтеллект будет обладать самосознанием и станет непредсказуемым» Источник: https://www.youtube.com/watch?v=YM_8mBnv-EI Канал: Wes Roth Опубликовано: 14.12.2024 --- Илья Сутскевер, один из самых влиятельных ученых в области искусственного интеллекта и сооснователь нового проекта Safe Superintelligence (SSI), выступил на конференции NeurIPS 2024. Спустя десять лет после публикации своей революционной статьи «Sequence to Sequence Learning with Neural Networks», он представил ретроспективу развития нейросетей и поделился видением будущего, в котором ИИ обретет самосознание, станет абсолютно непредсказуемым и выйдет за рамки простого обучения на текстах из интернета. ## 🕰️ Ретроспективный взгляд: от 10 слоев до мирового господства [[JUMP:01:31]] Выступление Ильи Сутскевера на NeurIPS 2024 (ранее известной как NIPS) было приурочено к получению награды «Test of Time» за работу 2014 года. Сутскевер отметил, насколько «невинным» было то время [01:57]. В 2014 году исследователи считали достижением возможность тренировать нейросети глубиной в 10 слоев [04:24]. Основная гипотеза глубокого обучения на тот момент, по словам Сутскевера, заключалась в следующем: если биологические нейроны работают медленно, то всё, что человек может сделать за долю секунды (интуитивная реакция), способна выполнить и 10-слойная искусственная нейросеть [03:19]. Ключевые принципы работы 2014 года, ставшие фундаментом современного ИИ: * Использование авторегрессионных моделей, предсказывающих следующий токен [02:50]. * Ставка на огромные наборы данных и крупномасштабные нейросети [03:05]. * Переход от архитектуры LSTM (которую Илья в шутку назвал «ResNet, развернутым на 90 градусов») к более эффективным методам параллелизации [05:46]. Сутскевер подчеркнул, что идея коннекционизма — веры в то, что искусственный нейрон в общих чертах подобен биологическому — дала ученым уверенность в возможности масштабирования [07:35]. По его мнению, это привело индустрию к эпохе предобучения (Pre-training), плодами которой стали модели уровня GPT-2 и GPT-3 [08:43]. ## ⛽ Конец эпохи «ископаемого топлива» данных [[JUMP:09:09]] Одним из самых резонансных утверждений Сутскевера стало пророчество о завершении эпохи классического предобучения. Он утверждает, что «предобучение в том виде, в котором мы его знаем, бесспорно закончится» [09:09]. Аргументы спикера строятся на дефиците ресурсов: 1. **Вычислительные мощности** продолжают расти благодаря новому «железу» и алгоритмам [09:23]. 2. **Данные** — это «ископаемое топливо» ИИ. У человечества есть только один интернет, и мы уже достигли «пика данных» (Peak Data) [09:37]. По мнению Сутскевера, индустрия сейчас находится в поиске того, что придет на смену простому скармливанию нейросетям текстов из сети. В качестве перспективных направлений он выделил: * **Агентичность:** переход от чат-ботов к системам, способным действовать самостоятельно. * **Синтетические данные:** создание обучающего материала самими машинами. * **Вычисления во время вывода (Inference time compute):** ярким примером чего является модель o1 от OpenAI [10:56]. ## 🧠 Биологические параллели и новая кривая масштабирования [[JUMP:11:21]] Сутскевер привел любопытную аналогию из биологии, вспомнив график зависимости массы мозга от массы тела у млекопитающих. Он заметил, что у гоминидов (предков человека) наклон этой кривой (экспонента масштабирования) резко отличается от остальных животных [12:56]. На основе этого Илья выдвинул гипотезу: в ИИ также возможен переход на «другую кривую». То, что мы масштабировали до сих пор — лишь первый способ, который нам удалось нащупать [13:38]. Ученый считает, что поле ИИ неизбежно найдет новые переменные для роста, которые не будут зависеть только от объема текстов в интернете. ## 🚀 Сверхинтеллект: самосознание и непредсказуемость [[JUMP:14:45]] Говоря о долгосрочной перспективе, Сутскевер ввел понятие Сверхинтеллекта (Superintelligence). По его мнению, он будет качественно отличаться от нынешних систем [14:45]. Ключевые характеристики Сверхинтеллекта по версии Сутскевера: * **Высокая агентичность:** системы станут реальными субъектами действия, а не просто продвинутыми автозаполнителями текста [15:23]. * **Рассуждение (Reasoning):** внедрение механизмов логического рассуждения сделает ИИ более мощным, но одновременно и менее предсказуемым [15:49]. Илья привел в пример шахматные ИИ, ходы которых часто непонятны даже лучшим гроссмейстерам-людям [16:27]. * **Самосознание (Self-awareness):** Сутскевер полагает, что будущие системы будут обладать самосознанием, так как это полезно для точности их моделей мира — ведь они сами являются частью этого мира [16:54]. По мнению гостя, сочетание этих факторов создаст системы с «радикально иными свойствами», чем те, к которым мы привыкли. При этом он признал, что предсказать будущее во всех деталях невозможно, и оставил вопрос о том, заменит ли ИИ людей или будет сосуществовать с ними, открытым для спекуляций [17:19]. ## ❓ Ответы на вопросы: галлюцинации и права ИИ [[JUMP:18:02]] В ходе сессии вопросов и ответов были затронуты прикладные и этические аспекты развития технологий. **Об «автокоррекции» галлюцинаций:** Отвечая на вопрос о том, сможет ли ИИ со временем сам распознавать свои ошибки, Сутскевер согласился, что это крайне вероятно [20:31]. Однако он поправил спрашивающего, отметив, что термин «автокоррект» слишком упрощает масштаб явления — способность модели рассуждать и исправлять свои логические выводы гораздо грандиознее простой проверки орфографии [21:00]. **О правах ИИ и сосуществовании:** Один из участников спросил о создании стимулов для того, чтобы человечество предоставило ИИ те же свободы, которыми обладает Homo Sapiens. Сутскевер ответил осторожно, заявив, что не чувствует себя вправе выступать экспертом в вопросах государственного управления или криптоэкономических структур [22:21]. По мнению Ильи, «не самым плохим финалом» было бы сосуществование, при котором ИИ просто хочет иметь права и мирно жить рядом с людьми [23:04]. **О способности к обобщению (Generalization):** Сутскевер отметил, что современные стандарты того, что считать «обобщением вне выборки» (out of distribution), за последние годы невероятно выросли [25:10]. Он полагает, что хотя люди всё ещё лучше справляются с переносом навыков на совершенно новые задачи, нейросети уже демонстрируют определенную степень этой способности, которую раньше считали невозможной [25:26].