Технолог Яан Таллин, сооснователь Skype и один из самых влиятельных инвесторов в области ИИ-безопасности, в беседе с Нейтаном Лабенцем анализирует текущий этап развития нейросетей как критический момент для человечества. В центре дискуссии — аргументы в пользу шестимесячной паузы в обучении сверхмощных моделей и поиск путей к безопасному сосуществованию с «цифровым разумом», который может выйти из-под контроля.
👨💻 От Skype к спасению мира: путь инвестора 0:00
Яан Таллин родился в 1972 году в Советской Эстонии и прошел путь от разработчика видеоигр до создателя Kazaa — файлообменной платформы, на которую в пике приходилось до половины всего интернет-трафика. После продажи Skype компании eBay в 2005 году за $2,5 млрд Таллин сфокусировался на вопросах экзистенциальных рисков.
Поворотным моментом для него стало знакомство с текстами Элизера Юдковского об угрозах ИИ в 2009 году. По словам Таллина, он не смог найти логических изъянов в аргументах Юдковского, что побудило его посвятить свои ресурсы и репутацию минимизации рисков от ИИ. С тех пор он инвестировал в более чем 180 стартапов, включая таких гигантов, как DeepMind, Anthropic и Conjecture.
Стратегия Таллина как инвестора в фундаментальные исследования ИИ отличается от классического венчурного подхода:
- Влияние важнее прибыли: Он инвестирует в лаборатории не ради заработка, а чтобы «иметь место за столом» и голос внутри организаций, которые могут пойти на слишком большой риск.
- Прямая коммуникация: Таллин поддерживает личные отношения с фаундерами, такими как Демис Хассабис из DeepMind, чтобы иметь возможность донести свои опасения по поводу безопасности напрямую.
- Филантропическая база: Его деятельность подкреплена созданием некоммерческих структур, таких как Cambridge Center for the Study of Existential Risk и Future of Life Institute.
🔮 Парадигма «призыва и укрощения» 9:09
Таллин описывает эволюцию разработки ИИ как тревожный переход от прозрачных систем к «черным ящикам». Если в 80-е годы господствовали экспертные системы с понятными правилами, то современное глубокое обучение строится на неконтролируемом процессе.
Гость называет текущий подход «парадигмой призыва и укрощения» (summon and tame). По мнению Таллина, разработчики используют колоссальные вычислительные мощности, чтобы «призвать» неконтролируемый разум, а затем пытаются изучить его свойства и ограничить их.
Основные опасения гостя связаны с потерей контроля над будущим:
- Компетентность без сознания: Таллин считает иллюзией надежду на то, что ИИ станет сознательным и «таким же, как мы». Скорее, это будет сверхоперативная машина, которая просто заберет контроль над планетой из рук людей.
- Антропоцентричное заблуждение: Мы считаемся хозяевами планеты только потому, что мы — самый умный вид. Если мы создадим нечто умнее себя, этот статус будет утрачен.
- Непрозрачность целей: Поскольку ИИ выбирается по поведению, а не по внутренним мотивам, мы не знаем, какие цели он преследует на самом деле.
🛑 Шестимесячная пауза: зачем и как? 1:17:42
Идея открытого письма с призывом приостановить обучение моделей мощнее GPT-4 возникла в Future of Life Institute как реакция на общественную тревогу. По словам Таллина, целью было создать «общее знание» о том, что многие эксперты, включая сотрудников самих лабораторий, серьезно обеспокоены гонкой вооружений в ИИ.
Выбор срока в шесть месяцев был обусловлен несколькими факторами:
- Проверка на координацию: По мнению Таллина, пауза важна сама по себе как доказательство того, что человечество способно договориться и остановить опасный эксперимент.
- Разработка критериев безопасности: Это время необходимо для создания проверяемых тестов (evals), которые могли бы гарантировать, что следующая версия модели не будет обладать опасными автономными навыками.
- Адаптация общества: Как отмечает гость, нам нужно время, чтобы научиться жить в мире, где ИИ уже проходит тест Тьюринга и влияет на информационную среду.
🏰 Культуры лабораторий и давление гонки 1:08:12
Таллин отмечает существенную разницу в подходах ведущих игроков. Anthropic, по его оценке, обладает наиболее выраженной культурой безопасности, однако даже они втянуты в гонку. По мнению Таллина, просочившиеся данные о планах Anthropic привлечь $5 млрд для создания моделей следующего поколения свидетельствуют о том, что рыночное давление заставляет даже осторожных игроков идти на риск.
Гость выделяет три «титана», за которыми нужно следить:
- OpenAI: По словам Таллина, Сэм Альтман публично признает риски, но продолжает форсировать развитие.
- DeepMind/Google: Находятся в сложной ситуации из-за корпоративных ограничений Google, но проявляют осторожность в публикациях.
- Anthropic: Пытаются реализовать «эмпирическое выравнивание», работая с передовыми моделями, чтобы понять их риски.
Таллин считает, что аргумент «если не мы, то Китай» часто переоценивается. По его мнению, китайское руководство вряд ли заинтересовано в создании «неконтролируемого разума», способного дестабилизировать их внутренний порядок.
🎲 Лотерейный билет человечества 1:38:28
Несмотря на мрачные прогнозы — Таллин оценивает вероятность катастрофы в диапазоне от 1% до 50% на каждое десятикратное увеличение вычислительной мощности — он сохраняет оптимизм относительно потенциала выживания.
«Мы живем с лотерейным билетом в кармане. Если мы переживем этот „рак“ (неконтролируемое развитие ИИ), будущее может стать невообразимо лучше, чем всё, что мы знали раньше. Наша задача сейчас — просто улучшить шансы в этой лотерее», — резюмирует Яан Таллин.
В качестве конкретных мер по снижению рисков гость предлагает:
- Контроль вычислений: Предобучение моделей требует огромных затрат энергии и мощностей, что делает процесс видимым для правительств и позволяет ввести регулирование на уровне «железа».
- Механистическая интерпретируемость: Попытки «вскрыть» нейросети и понять логику их внутренних процессов, чтобы получить гарантии их поведения.
- Государственное вмешательство: Таллин согласен с Сундаром Пичаи в том, что саморегулирования лабораторий недостаточно и требуется вмешательство на уровне законов.
