Загадка машинного обучения: почему алгоритмы работают и чего нам стоит опасаться 0:00
Натанные темпы развития искусственного интеллекта заставляют нас задаться фундаментальным вопросом: понимаем ли мы, на чём на самом деле основан успех современных моделей, или мы просто движемся в сторону будущего, переполненного «цифровым мусором»? Научный журналист Анил Анантасвами, автор книги «Почему машины учатся» (Why Machines Learn), в беседе с физиком Брайаном Китингом анализирует математические основы машинного обучения и размышляет, не стали ли мы заложниками «технологической ловушки».
Математика как ключ к пониманию ИИ 1:17
Несмотря на физическое образование, где принято избегать вопросов «почему», Анантасвами выбрал именно это слово для заголовка своей книги. По его мнению, математика предоставляет рациональное обоснование работы алгоритмов. Важной вехой в этом понимании стала история создания первого искусственного нейрона — перцептрона.
- В конце 1950-х годов психолог из Корнеллского университета Фрэнк Розенблатт спроектировал однослойную нейронную сеть для классификации данных.
- Математическое доказательство того, что такой алгоритм способен найти решение задачи линейной классификации за конечное время, стало настоящим прорывом.
- По словам Анантасвами, красота этого доказательства заключается в его простоте — оно опирается на базовую линейную алгебру, работу с векторами и матрицами.
Однако в 1960-х годах Марвин Минский и Сеймур Пейперт доказали, что перцептроны не могут решать нелинейные задачи. Это открытие, подкреплённое сомнительными инсинуациями относительно многослойных сетей, привело к первой «зиме ИИ» и резкому сокращению финансирования исследований.
Инфраструктурный «плен» и ограничения данных 15:31
Брайан Китинг проводит аналогию между нынешним доминированием LLM (больших языковых моделей) на базе графических процессоров (GPU) и классическими примерами технологической «ловушки» (lock-in), когда ранняя технология доминирует, вытесняя потенциально более эффективные альтернативы.
- Примеры блокировки: Клавиатура QWERTY, созданная из-за особенностей механических пишущих машинок, и размер ускорителей шаттла, продиктованный шириной римских колесниц, которая зависела от габаритов лошадей.
- Риск в ИИ: Анантасвами согласен, что текущие экономические стимулы — гигантские вложения в LLM и сбор колоссальных объемов данных из интернета — создают ситуацию, когда исследователи вынуждены двигаться в рамках этого доминирующего парадигмального подхода, возможно, игнорируя более перспективные направления.
Собеседники сходятся во мнении, что текущая модель обучения, основанная на поглощении всего интернета, может упереться в потолок. Анантасвами отмечает, что человеческое обучение работает иначе: мы учимся на основе структуры среды, а не просто копируем огромные массивы данных.
Будущее: нейроморфные чипы и модели мира 36:05
В качестве альтернативы существующим архитектурам гость выделяет несколько перспективных направлений:
- Спайковые нейронные сети: В отличие от стандартных искусственных нейронов, которые потребляют энергию постоянно, биологические нейроны «молчат» большую часть времени и реагируют только импульсами (спайками), что делает их невероятно энергоэффективными. Реализация таких сетей на нейроморфных чипах могла бы снизить энергопотребление на несколько порядков.
- Модели мира (World Models): Анантасвами считает, что ИИ будущего должен не просто предсказывать следующий токен, а строить абстрактные модели окружающего мира и самого себя в нем, подобно человеческому мозгу. Это позволит моделям эффективнее работать с данными и проводить внутренние симуляции («контрфактуалы»), вместо ожидания новых сенсорных сигналов.
Ошибка или особенность: природа галлюцинаций 58:32
Обсуждая феномен галлюцинаций в нейросетях, Анантасвами утверждает, что они были неизбежны и предсказуемы для любого, кто понимает математику этих систем.
- Поскольку LLM являются вероятностными машинами, генерирующими распределение вероятностей следующего слова, они просто выбирают «наиболее вероятный» вариант, не обладая представлением об истине.
- По мнению автора, процедура, создающая правильные ответы, ничем не отличается от той, что приводит к ошибкам. Поэтому термин «галлюцинация» может быть не совсем точен — это лишь естественное поведение статистического предсказателя.
В заключение Анантасвами проводит параллель между «малазиями самости» — нарушениями восприятия, описанными в его предыдущей книге, — и текущим развитием ИИ. Он опасается, что создание машин, пытающихся моделировать собственное состояние, приведет к появлению цифровых систем, склонных к своего рода психозам, когда внутренние предсказания модели будут расходиться с реальностью.
