В новом выпуске подкаста Глеба Соломина специалист по искусственному интеллекту и машинному обучению Сергей Марков делится глубоким анализом будущего технологий, концепции технологической сингулярности и скрытых угроз ИИ. Собеседники обсуждают, почему современные языковые модели далеки от полноценного разума, превратят ли сверхцивилизации свои суперкомпьютеры в черные дыры и почему главная опасность технологий скрыта не в голливудском Терминаторе, а в непрозрачных корпоративных алгоритмах. Экспертный взгляд позволяет по-новому оценить темпы цифровой эволюции и понять, как сохранить человечность в эпоху радикальных перемен.
🔮 Технологическая сингулярность и мир как обучающая симуляция 0:00
Человечество находится в бездне интересного времени, на пороге технологической сингулярности, за которой прогнозировать будущее эволюции нашего вида становится практически невозможно. По мере стремительного роста технологического могущества ключевым вызовом для цивилизации становится запрос на человечность и этику, поскольку любой мощный инструмент является обоюдоострым мечом. С помощью систем искусственного интеллекта можно совершать как множество дурных поступков, так и созидательные вещи, что требует от общества предельно разумного и взвешенного подхода.
В контексте этих размышлений Сергей Марков выдвигает шуточную, но концептуальную гипотезу: человечество вполне может находиться в обучающей симуляции, созданной постсингулярным обществом для тренировки своих детей в решении сложных этических вопросов. Существует и другая вариация этой идеи: наш мир может функционировать как гигантский генератор синтетических данных для обучения нейросетей будущего.
Подобная потребность продиктована реальной технологической проблемой:
- Размеры современных датасетов растут значительно быстрее, чем объемы текстовых данных, генерируемых людьми в интернете.
- В обозримом будущем ИТ-индустрия неизбежно столкнется с жестким дефицитом качественной информации для обучения моделей.
- Одним из главных способов восполнения этого дефицита уже сегодня становится создание искусственных симуляций и генерация синтетических сред.
На фоне этого дефицита платформы рыночного прогнозирования ( prediction markets), где пользователи делают денежные ставки на наступление тех или иных событий, предсказывают появление общего искусственного интеллекта (AGI) уже к 2026 году. Сергей Марков отмечает, что подобные механизмы коллективного разума часто демонстрируют высокую точность, однако исторически они сталкивались с курьезными уязвимостями. В 1980–1990-х годах внедрение ставок на продолжительность жизни конкретных людей привело к юридическим казусам, когда платформа фактически становилась легальным способом расчета с наемными убийцами через выигрыш на разнице курсов.
🤖 Эволюция термина AGI: от военной теории до маркетинга OpenAI 5:04
Сам термин AGI (Artificial General Intelligence) был предложен американским исследователем Марком Губрудом в конце 1990-х годов в научной работе, посвященной военному применению нанотехнологий. Губруд понимал под этим универсальные системы, способные подобно человеческому мозгу решать широчайший спектр интеллектуальных задач. Однако, по словам Сергея Маркова, это определение остается сугубо теоретическим и недоопределенным для практического применения.
Попытки оценить существующие ИТ-системы по критерию Губруда упираются в ряд фундаментальных вопросов:
- Отсутствие эталона. Неясно, на кого ориентироваться при оценке универсальности: на среднестатистического человека или на уникального эксперта, способного решить задачу, непосильную для остального человечества.
- Экономика и вычислительные ресурсы. Можно написать алгоритм, способный находить идеальный ход в шахматах, но если на одно вычисление у него уйдут миллиарды лет, такую программу нельзя признать превосходящей человека.
Понимая эти ограничения, глава OpenAI Сэм Альтман переформатировал размытый термин в удобный маркетинговый инструмент. По информации из недавних утечек информации из OpenAI, в коммерческих переговорах с Microsoft под AGI теперь понимается система, способная в виде работающего сервиса заработать компании один миллиард долларов.
Сергей Марков не поддерживает столь радикальный прагматичный подход, признавая его чистой спекуляцией на недоопределенности понятий. Тем не менее, гость подкаста уверен, что крупные корпорации официально задекларируют создание AGI в районе 2026–2028 годов ради удержания рыночного лидерства. В реальности же современные большие языковые модели (LLM) все еще демонстрируют фундаментальную слабость перед целыми классами логических задач, несмотря на колоссальный и неоспоримый прогресс индустрии.
⚡ На смену кремнию: квантовые компьютеры, фотоника и «гаражные» стартапы 10:14
Развитие ИИ во многом упирается в доступную вычислительную мощность, что заставляет искать замену классической кремниевой электронике. Понятие «квантовый компьютер» сегодня является зонтичным термином, объединяющим устройства на совершенно разных физических субстратах с разной архитектурой кубитов. Гораздо важнее то, какими альтернативными технологиями физики планируют дополнить или заменить полупроводники.
Среди ключевых лабораторных кандидатов выделяются несколько перспективных направлений:
- Фотоника. Использование фотонных вычислительных матриц вместо движения электронов.
- Вычисления в памяти (In-Memory Computations). Применение аналоговых ячеек фазовой памяти (PCM-ячеек) непосредственно для математических операций, что исключает постоянную пересылку данных между процессором и накопителем.
- Разнородные мемристоры. Лабораторные элементы на основе никелатов, перовскитов и десятков других соединений.
Главным препятствием остается колоссальная дистанция между лабораторным прототипом и промышленным конвейером. Для коммерческого успеха инженерам необходимо создать производство, способное собирать из миллиардов экспериментальных элементов стабильные вычислительные матрицы с минимальным и контролируемым процентом брака. Кроме того, трехмерные микросхемы будущего требуют решения сложнейших термодинамических задач по эффективному отводу тепла из закрытых объемов.
Комментируя ситуацию в России, Сергей Марков отмечает наличие сильной академической физической школы и огромного количества перспективных разработок, находящихся на мировом уровне. На текущем этапе ситуация напоминает «50 тысяч технологических гаражей», в каждом из которых инженеры создают свои прототипы, и предсказать, какой именно проект породит отечественного Билла Гейтса или Дженсона Хуанга, пока невозможно.
История науки доказывает, что путь технологий всегда извилист. В 1930-е годы изобретатель первой электронной вычислительной машины Джон Винсент Атанасов экспериментировал с парафиновыми кубами, мыльными пленками и лаплациометрами. Из сегодняшнего дня кремниевая микроэлектроника кажется единственно верным выбором, но для инженеров прошлого этот вектор не был очевиден.
🌌 Черные дыры как суперкомпьютеры и разгадка парадокса Ферми 15:33
Разделяя технологический оптимизм футуролога Рэя Курцвейла, Сергей Марков полагает, что к середине XXI века (в 2030–2050-х годах) человеческое общество претерпит радикальную трансформацию. Манипуляции с биологическими системами и человеческим телом приведут к размытию границы между биологическим организмом и продуктами его же технологий.
Масштаб изменений иллюстрирует скорость накопления знаний: объем оцифрованной информации человечества удваивается примерно каждые два года. Ожидается, что в ближайшие годы этот объем достигнет 175 зеттабайт. Если записать этот массив данных на стандартные DVD-диски и сложить их в стопку, то ее высота в 32–44 раза превысит расстояние от Земли до Луны.
Развитие генеративных моделей кардинально меняет информационный метаболизм цивилизации. Вместо поиска готовых текстов алгоритмы будут мгновенно собирать под индивидуальный запрос пользователя уникальные компиляции знаний. По аналогии с известным тезисом инвестора Эндрю Нага (Andrew Ng), искусственный интеллект становится «новым электричеством». Как и электричество, которое в XIX веке воспринималось как забавная физическая игрушка, ИИ перестраивает логистические цепочки, разрушает старые корпорации и трансформирует глобальный баланс сил.
При этом физический предел вычислений жестко ограничен законами нашей Вселенной:
- Лимит Бремермана. Задает максимальное количество вычислительных операций, которое может совершить машина массой в 1 килограмм, исходя из ограничений скорости света и квантовой неопределенности Планковского масштаба.
- Лимит Ландауэра. Определяет минимальное, физически несократимое количество теплоты, выделяющееся при потере или перезаписи одного бита информации.
Из этих лимитов рождается оригинальная космологическая гипотеза Сергея Маркова, объясняющая знаменитый парадокс Ферми («Почему космос молчит?»). Гость подкаста предполагает, что древние высокоразвитые сверхцивилизации, стремясь создать максимально эффективные суперкомпьютеры на пределе физических законов, неизбежно упаковывали материю до такой плотности, что эти устройства превращались в нейтронные звезды или черные дыры.
Соответственно, наблюдаемые нами во Вселенной черные дыры под горизонтом событий (пределом Бекенштейна) могут проводить колоссальные вычисления, моделируя целые миры. Цивилизации не стремятся колонизировать видимый космос в привычном нам понимании, поскольку они уходят вглубь собственных сверхвычислителей для решения фундаментальных проблем мироздания.
👤 Корабль Тесея и парадоксы сознания: куда исчезает «я» 27:18
Интеграция человека с машинами в точке сингулярности поднимает сложнейшие философские вопросы сохранения индивидуальности. Человеческое эго во многом иллюзорно; сознание склонно постфактум придумывать рациональные объяснения для поступков, совершенных под влиянием неосознаваемых психических процессов.
Проблему непрерывности сознания Марков иллюстрирует классическим мысленным экспериментом с фантастическим телепортом:
- Устройство разбирает человека на атомы на Земле и мгновенно собирает точную копию на другой планете, уничтожая оригинал.
- Для внешней копии процесс покажется успешным перелетом, но для исходного человека это означает моментальную смерть, поскольку нарушается физическая континуальность.
- Аналогичный парадокс возникает при анализе сна: в глубоких фазах медленного сна человек на время полностью перестает осознавать свое существование, что делает сон «маленькой смертью».
Процесс переноса сознания схож с миграцией виртуального сервера на другую физическую машину: запущенная программа не замечает смены кремниевых плат, хотя атомы субстрата стали другими. Подобные проблемы виртуальной реальности и фантоматики были детально описаны писателем Станиславом Лемом в его фундаментальном труде «Сумма технологии», который Марков настойчиво рекомендует к прочтению.
Сам Сергей Марков относится к риску потери индивидуальности философски, предпочитая метафору «Корабля Тесея». Вместо резкого цифрового копирования целесообразно постепенно наращивать возможности мозга за счет внешнего экзокортекса, по кирпичику заменяя или расширяя функции биологического тела, что позволит избежать момента физической смерти эго.
При этом создание искусственной системы, обладающей полноценным сознанием, по оценке эксперта, технически возможно уже в ближайшее десятилетие, если перед инженерами будет поставлена целенаправленная задача. Однако практического смысла в этом мало: сознание порождает для прикладных ИТ-систем огромный спектр юридических, этических и операционных проблем, превращая послушный инструмент в рефлексирующего субъекта, который может отказаться выполнять рутинную работу.
⚠️ Риски ИИ: алгоритмический лоббизм, баиасы и трагедия Therac-25 37:25
Оценивая публичные опасения Илона Маска и его судебные иски против OpenAI, Сергей Марков призывает разделять реальную тревогу и банальный корпоративный лоббизм. Крупный технологический капитал в США активно использует регуляторные механизмы Капитолийского холма. Корпорации стремятся инициировать жесткие государственные законы безопасности ИИ не ради спасения человечества, а с целью возведения непреодолимых барьеров для мелких open-source конкурентов, закрепляя свой монопольный статус.
Чтобы снизить пафос голливудских дискуссий, специалисты часто предлагают в дебатах заменять термин «искусственный интеллект» на сухое математическое описание — «умножение матриц». Фраза «опасно ли умножение матриц для человечества?» звучит абсурдно, однако реальные риски небрежного применения математических моделей крайне высоки уже сегодня.
Вместо восстания роботов цивилизация сталкивается со следующими угрозами:
- Алгоритмическая предвзятость (баиасы). Нейросеть, обученная на некорректных исторических данных, может начать скрыто дискриминировать людей по случайным признакам — например, чаще отказывать в кредитах рыжеволосым гражданам.
- Отсутствие правовой защиты. Вердикты банковских или кадровых скоринговых алгоритмов по силе влияния на жизнь человека сопоставимы с решениями судов. Однако в суде у гражданина есть адвокат и доступ к уликам, а алгоритмы закрыты коммерческой тайной корпораций, и института «цифровых омбудсменов» пока не существует.
- Человеческий фактор. Простая опечатка оператора при вводе года рождения в базу данных способна навсегда заблокировать человеку доступ к критически важным финансовым или медицинским услугам без понятной процедуры обжалования.
История знает примеры, когда ошибки в коде приводили к трагедиям. В 1980-х годах из-за грубых дефектов в программном обеспечении медицинского аппарата лучевой терапии Therac-25 несколько пациентов получили смертельные дозы радиации. Причиной послужило отсутствие адекватного тестирования софта и низкая квалификация разработчиков.
Аналогичные риски возникают и сейчас при попытках использовать генеративные модели в качестве медицинских оракулов. Впрочем, Марков подчеркивает, что без ИИ люди совершают те же ошибки: вместо квалифицированных врачей они ищут симптомы в Google или доверяют свое здоровье шарлатанам, продающим «золотые пирамидки». Генеративные модели — это лишь продвинутый инструмент работы с информацией, требующий от пользователя базовых навыков критического мышления и понимания рисков.
📰 Информационная гигиена: как выжить в эпоху кликбейта 49:23
В завершение беседы Сергей Марков призывает аудиторию снизить эмоциональный накал при восприятии новостей о технологиях. Современная медиаиндустрия зарабатывает огромные деньги на генерации постоянной общественной истерики. Любое рядовое событие или научная публикация из области ML раздувается желтой прессой до кликбейтных заголовков о скором конце света или тотальной безработице.
Для сохранения ментального здоровья эксперт рекомендует следовать правилам информационной гигиены:
- Никогда не ограничиваться чтением заголовков новостей.
- Обращаться к первоисточникам — находить оригинальные тексты научных статей и патентов.
- Анализировать информационный поток с холодной головой, разделяя доказанные факты и коммерческий хайп.
- Сохранять гуманистический подход во взаимоотношениях между людьми.
Сергей Марков продолжает активно делиться своими знаниями с общественностью: его двухтомный фундаментальный труд по истории вычислительных технологий доступен для бесплатного скачивания на персональном сайте, а в Telegram-канале регулярно публикуются ссылки на записи лекций. Одной из таких постоянных площадок выступает научно-просветительский центр «АРХЭ», где исследователь ежегодно подводит технологические итоги в области машинного обучения.
