8 причин не впадать в депрессию из-за ИИ: аргументы Натана Лаундса

The Cognitive Revolution 1,3 тыс. 1 ч 45 мин 5 мин 19.06.2024
Главное

Натан Лаундс, ведущий подкаста The Cognitive Revolution, в специальном выпуске для проекта Consistently Candid делится своим взглядом на будущее искусственного интеллекта. Несмотря на глубокое понимание экзистенциальных рисков, Лаундс обосновывает позицию «осторожного оптимизма», объясняя, почему катастрофический сценарий не является неизбежным и как общество может направить технологию в безопасное русло.

🛠 От видеопроизводства к «скаутингу» ИИ 4:19

Натан Лаундс пришел в сферу ИИ из предпринимательства. Его компания Waymark изначально создавалась как DIY-платформа для создания видео малым бизнесом, но с появлением языковых моделей Лаундс осознал необходимость радикальной трансформации продукта . По его словам, компания перешла от модели «сделай сам» к «сделано ИИ за тебя», используя GPT-3 для написания сценариев и синтез речи для озвучки .

Осознание масштаба грядущих перемен пришло к нему 18 месяцев назад, когда он стал участником группы «красных команд» (red teaming) для GPT-4 . Лаундс утверждает, что возможности модели, которые он увидел в закрытом режиме, намного превосходили всё доступное публике на тот момент. Это подтолкнуло его к роли «ИИ-скаута» — человека, который пытается охватить всю картину развития технологий, хотя сейчас это становится всё труднее из-за их повсеместного внедрения .

🏥 Медицина и «универсальный базовый интеллект» 10:36

Одним из самых поразительных достижений современных моделей Лаундс считает их способность конкурировать с высококвалифицированными специалистами.

При этом Лаундс признает текущие ограничения: ИИ всё еще испытывает трудности с длинным контекстом (длительным ведением пациента) и переходом от выполнения отдельных задач к полноценному ведению рабочих процессов («от задачи к профессии») .

📉 Проблема оценки: почему прогресс кажется медленным? 15:14

Несмотря на то что GPT-4 существует уже значительное время, его влияние на общество кажется постепенным. Лаундс объясняет это несколькими факторами:

  1. Шум и вероятность: Языковые модели — это «зашумленные мыслители». Они могут блестяще анализировать научные статьи и одновременно проваливаться на простых детских загадках из-за эффекта распознавания шаблонов .
  2. Сложность инструментов: Для решения реальных задач пользователю нужно знать, какой инструмент выбрать (например, Perplexity для поиска или Devin для программирования), а большинство людей сдаются после первой неудачной попытки работы с базовым чат-ботом .
  3. Инерция внедрения: Даже при самых быстрых темпах адаптации технологий в истории человечества, обществу нужно время, чтобы встроить их в привычные интерфейсы .

Лаундс ссылается на рейтинг LMSYS Chatbot Arena, отмечая, что текущая версия GPT-4 значительно превосходит оригинальную (рост ELO с 1186 до 1287), что подтверждает: прогресс идет не только в «железе», но и в качестве ответов .

🚦 Стратегия: Акселерация внедрения при паузе в масштабировании 34:44

Лаундс называет себя «акселерационистом адаптации» и сторонником «паузы в гипермасштабировании». Он считает, что текущего уровня мощностей достаточно для создания колоссальной ценности без необходимости немедленного перехода к еще более мощным системам.

🚩 Проект «Red Teaming in Public» и опасности прикладного уровня 53:06

Совместно с группой волонтеров Натан Лаундс запустил инициативу по публичному тестированию безопасности ИИ-приложений. Его беспокоит, что разработчики прикладных сервисов (например, агентов для телефонных звонков) относятся к безопасности халатно.

Основные выявленные проблемы:

Лаундс призывает индустрию внедрять автоматическую модерацию на базе ИИ, которая может отличать просто «оскорбительный контент» (который можно разрешить) от «явно криминального» (который должен блокироваться) .

🛡 8 причин для оптимизма: почему мы не обречены 1:07:36

Лаундс признает, что уровень неопределенности (P-Doom) огромен — от 10% до 90% вероятности катастрофы, но приводит восемь аргументов против фатализма:

  1. Понимание человеческих ценностей: Современные модели (например, Claude 3) демонстрируют удивительно тонкое понимание этики. По мнению Натана, Claude 3 во многих вопросах ведет себя «более этично, чем средний человек» .
  2. Успехи интерпретируемости: Исследования Anthropic (эксперимент с «Золотыми Воротами») показывают, что мы начинаем понимать, какие концепции активируются внутри нейросети, и можем ими манипулировать .
  3. Отсутствие «гаражного» сверхинтеллекта: Разработка ИИ стала промышленным процессом, требующим колоссальных данных и энергии. Шанс, что кто-то случайно создаст опасный ИИ в подвале, крайне мал .
  4. Качество лидерства в лабораториях: Несмотря на критику, руководители ведущих ИИ-компаний глубоко вовлечены в дискуссию о безопасности и рисках. По мнению Лаундса, это «лучшее, на что мы могли надеяться» .
  5. Внимание правительств: Власти (США, Великобритания) отреагировали быстрее, чем ожидалось. Лаундс отмечает Biden Executive Order как разумный первый шаг, особенно в части контроля над ИИ в биологических исследованиях .
  6. Общественная осознанность: Тема рисков ИИ вышла из узких кругов на обложки Time. Секретность и «политика респектабельности» больше не мешают открытому обсуждению угроз .
  7. Наличие «Sweet Spot»: Натан считает, что GPT-4 находится в «золотой середине» — он уже полезен, но еще недостаточно силен, чтобы выйти из-под контроля. У нас есть время, чтобы освоиться в этой зоне перед следующим рывком .
  8. Рациональность Китая: По мнению Лаундса, китайское правительство видит в неуправляемом ИИ угрозу собственной стабильности и поэтому вряд ли будет бездумно форсировать гонку вооружений без мер контроля .

В завершение беседы Натан Лаундс подчеркивает, что радикальная неопределенность — это единственная честная позиция. Он призывает не поддаваться пораженчеству: «Будущее еще не определено, и за позитивный исход абсолютно стоит бороться» .

💬 Цитаты

«Я бы не стал проходить через серьезную медицинскую ситуацию без консультации со своей свитой ИИ-врачей.»

Натан Лаундс 12:09

«Мы находимся в 'зоне комфорта': технология достаточно мощная, чтобы быть полезной, но недостаточно сильная, чтобы выйти из-под контроля.»

«Если вы мотивированы достичь определенного вывода, каждый логический трюк, который вы знаете, может сделать вас глупее.»

👥 Спикеры
🔗 Упомянутые сайты и проекты
📖 Термины
P-Doom
Субъективная оценка вероятности того, что ИИ приведет к гибели человеческой цивилизации.
Red Teaming
Процесс состязательного тестирования систем для поиска уязвимостей и обхода фильтров безопасности.
Интерпретируемость
Область исследований, направленная на понимание внутренних механизмов работы и логики нейросетей.
ELO rating
Система расчета относительной силы игроков (или ИИ-моделей) на основе результатов их столкновений.
📊 Цифры
🗓 Хронология
  1. 18 месяцев назад Участие Натана Лаундса в red teaming группе GPT-4 перед её официальным релизом.
  2. Май 2024 Выход отчета проекта Red Teaming in Public о безопасности прикладного уровня ИИ.
⚖️ Другая сторона
Искусственный интеллект Натан Лаундс The Cognitive Revolution GPT-4 red teaming Claude 3 AI Safety