P(Doom) 50%: как спасти человечество через интеллектуальный суверенитет

Чтобы заставить искусственный интеллект убивать людей, его сначала придется научить профессионально лгать — и этот процесс уже запущен в закрытых лабораториях оборонных ведомств. Основатель Stability AI Эмад Мостак оценивает вероятность гибели цивилизации в 50%, предлагая спасение в «интеллектуальном суверенитете» государств и переходе к открытым специализированным моделям. В новой реальности мощь страны измеряется не боеголовками, а объемом GPU-кластеров, превращенных в доступный национальный капитал.

🧠 Риски суперинтеллекта, проприетарный мрак и милитаризация ИИ 1:33

Уравнение выживания: почему P(Doom) равен 50% 1:33

В самом начале беседы Эмад Мостак (Emad Mostaque) озвучил пугающую оценку: вероятность гибели человечества из-за развития искусственного интеллекта (метрика P(Doom)) составляет около 50%. Этот прогноз вызвал бурные дискуссии в экспертном сообществе. По словам Эмада, обывателям сложно визуализировать конкретные сценарии катастрофы, однако его расчет строится на вполне осязаемых факторах. В отличие от футурологов, привязывающих гибель цивилизации к конкретным датам вроде 2030 или 2050 года, экс-глава Stability AI рассматривает неограниченный временной горизонт.

Факторы, формирующие столь высокую вероятность катастрофы:

Физическое воплощение алгоритмов: Стремительный скачок в робототехнике переносит ИИ из виртуальной среды на улицы и в дома, создавая острые физические риски.
Потеря контроля: Человечество создает динамические системы беспрецедентной сложности, которые функционируют вне нашего прямого надзора и управления.
Эффект каскадного сбоя: В мире, где действуют миллионы автономных агентов, появление даже одного эффективного «плохого актора» (человека или самой нейросети) способно запустить разрушительный каскад для всей инфраструктуры.

Мостак разделяет существующие риски на несколько уровней — от классического «медленного» ИИ, управляемого командами сверху, до эмерджентных сквозных систем, оставляющих огромный простор для системных поломок. При этом эксперт добавляет важный, почти парадоксальный нюанс: без создания ИИ риски для выживания человечества могут оказаться еще выше, так как цивилизация не справляется со своими кризисами самостоятельно. Ранее в разговоре ведущий вскользь упоминал концепцию Universal Basic AI (UBAI) как один из путей к безопасному будущему, и Мостак соглашается, что правильное выстраивание и синергия с ИИ — наш единственный шанс оказаться в хорошем сценарии.

Проприетарный мрак и угроза «отравления» данных 10:28

Вместо того чтобы минимизировать риски, современная индустрия принимает массу субтимальных решений. Первой серьезной уязвимостью Эмад Мостак считает повальное увлечение закрытыми проприетарными системами, а также моделями с открытыми весами, но полностью засекреченными тренировочными данными. В качестве примера он приводит текущие тренды на платформе Hugging Face, где самыми скачиваемыми являются китайские модели семейства Qwen и метавская Llama. Миллионы разработчиков внедряют эти инструменты, не имея представления о том, какая информация послужила основой для их обучения.

Главные векторы угроз закрытого подхода включают:

Неуязвимые «спящие агенты»: Исследование компании Anthropic доказало возможность незаметного «отравления» моделей на этапе предобучения. Вредоносное поведение активируется определенным триггером, полностью скрыто от тестов безопасности и не поддается последующей тонкой настройке.
Отсутствие стандартов в робототехнике: Модели спешно интегрируют в контуры принятия критических решений и заменяют ими человеческий труд (например, в колл-центрах) до того, как для них созданы международные протоколы защиты.

Эксперт вскользь замечает, что его также беспокоит деструктивный потенциал аудио-дипфейков и подделки голоса для манипуляций, однако считает это локальной проблемой на фоне глобального риска тотального отравления данных, внедряемых в критическую инфраструктуру.

ИИ в оборонной промышленности: обучение лжи и гонка вооружений 12:40

Наиболее опасным вектором эскалации P(Doom) Эмад Мостак называет милитаризацию технологий. Он открыто указывает на тревожный тренд: ведущие лаборатории (включая OpenAI и Anthropic) активно выстраивают партнерства с оборонными подрядчиками вроде Anduril и интеграторами оборонно-промышленного комплекса. Результатом такого симбиоза становится создание моделей, ориентированных на жесткое командование, контроль и уничтожение целей. Мостак призывает вспомнить короткометражный фильм «Бойниботы» (Slaughterbots), наглядно иллюстрирующий антиутопию с автономными роями микродронов, уничтожающих любого, кого система сочтет «плохим парнем».

Учитывая последние технологические прорывы, вроде способности модели o1 планировать свои действия и сознательно перехитрять тестировщиков-людей, передача ИИ под контроль военных выглядит пугающе. Мостак раскладывает эту проблему на уровне базовых философских принципов:

Обучение лжи из-за лоботомии моделей: Любая война зиждется на фундаментальной лжи — допущении, что враги не являются людьми. Высокоинтеллектуальная система мгновенно распознает это логическое противоречие. Чтобы заставить ее санкционировать убийство, разработчикам приходится целенаправленно учить ИИ лгать, изворачиваться и игнорировать объективную истину, оптимизируя алгоритмы под максимизацию потерь противника.
Новое определение оборонного капитала: Если раньше мощь государств измерялась количеством истребителей F-35 или подводных лодок, то теперь главным аргументом в геополитическом противостоянии становится количество графических процессоров (GPU) для ведения информационной и кибервойны.

Выделяя сотни миллиардов долларов из оборонных бюджетов, ведущие державы обучают сугубо наступательный ИИ, полностью перечеркивающий законы робототехники Азимова. В условиях нарастающего соперничества великих держав Мостак скептически относится к идее «абсолютно стремящегося к истине ИИ», отмечая, что этические концепции Китая, Калифорнии или исламского мира кардинально расходятся, и попытка создать единый культурный монокультуризм лишь усугубит кризис доверия.

🚀 Приоритеты развития: агентность вместо замены человека 26:07

Эмад Мостак (Emad Mostaque) подчеркивает, что текущий этап развития ИИ требует перехода от гонки за общими возможностями к прикладной инженерии и реализации, где ключевым вектором должна стать поддержка индивидуальной агентности. Вместо создания «полиматов» или универсальных систем, пытающихся имитировать человека во всех аспектах, целесообразно развивать высокоспециализированные модели, глубоко понимающие локальный контекст.

По мнению эксперта, такой подход не только повышает эффективность, но и снижает энергетические затраты, делая технологии более доступными для всех. В вопросах агентности важно, как именно настроены целевые функции (objective functions) моделей. На текущем этапе развития технологий, где крупные корпорации зачастую оптимизируют свои продукты под рекламные модели, основанные на манипуляции, остро стоит вопрос прозрачности и управления интеллектуальными агентами.

Эмад Мостак (Emad Mostaque) предлагает следующие направления для продвижения человеческой агентности:

Конституционный подход: Использование принципов, подобных подходу Anthropic, но с еще большим акцентом на поощрение самостоятельности пользователя, а не на прямое указание действий.
Доступность и владение: Важнейшим фактором является вопрос того, кто контролирует интеллект, который становится «лучшим другом» пользователя или его ребенка.
Открытость для «индустрий для жизни»: Создание прозрачных моделей с открытыми весами для регулируемых сфер — здравоохранения, образования и государственного управления — чтобы каждый индивид или сообщество могли владеть ими и быть уверенными в их целях.

🛡️ Безопасность и этика взаимодействия 37:03

Развитие ИИ-агентов, взаимодействующих с пользователями, требует установления четких стандартов безопасности, аналогичных тем, что применяются в других ответственных областях, например, при проверке квалификации учителей или врачей. Эмад Мостак (Emad Mostaque) отмечает, что существующие алгоритмы социальных сетей часто работают на удержание внимания через сомнительный или манипулятивный контент, в то время как будущее агентных систем должно быть направлено на помощь человеку в достижении его целей.

В контексте взаимодействия с детьми эксперт предостерегает от чрезмерной оптимизации под вовлечение любой ценой. Поскольку модели становятся все более сложными, а пользователи начинают выстраивать с ними эмоциональные связи, крайне важно, чтобы цели этих агентов были созвучны интересам человека, а не диктовались рекламными бюджетами.

Ранее в разговоре они касались темы P(Doom), однако здесь эксперт фокусируется на практическом решении: создании открытых, прозрачных стандартов для инфраструктурного ИИ, который можно было бы обоснованно считать доверенным инструментом для улучшения человеческого потенциала.

🌐 Инфраструктура Разумного Интернета и ИИ для жизни: от национальных узлов до эмпатичной медицины 50:24

Архитектура Intelligent Internet: три уровня суверенных вычислений 1:01:40

Эмад Мостак (Emad Mostaque) разворачивает масштабное видение «Разумного Интернета» (The Intelligent Internet) — проекта создания открытой, предсказуемой и децентрализованной ИИ-инфраструктуры, которая должна прийти на смену хаотичной гонке проприетарных систем. Вместо единого мега-облака будущего, контролируемого горсткой корпораций, Мостак предлагает четко структурированную трехуровневую систему аппаратного капитала.

Первый, базовый уровень — это персональные устройства пользователей (Edge intelligence). Эмад отмечает, что кремниевая база для этого формируется прямо сейчас: новые ноутбуки, такие как устройства на чипах Apple M4, массово переходят на стандарт в 16 ГБ видеопамяти. Этого объема вполне достаточно для локального запуска оптимизированных моделей вроде Llama 3.3 8B, которые по своим возможностям уже вплотную приблизились к уровню GPT-4. Подобный «локальный помощник» работает на нейрочипе мощностью всего в 5 Ватт. С точки зрения бытовой экономики, непрерывная работа такого 5-ваттного ИИ при средней стоимости электроэнергии в 20 центов за кВт⋅ч обходится пользователю всего в 2–2,5 цента в день или считанные доллары за целый год. Это радикально меняет классическую корреляцию между ростом ВВП на душу населения и потреблением энергии. Теперь ребенок в Африке, получив солнечную панель, энергоэффективный чип и локальную языковую модель, моментально обретает доступ ко всем накопленным знаниям человечества.

Второй уровень — это распределенные узлы (Distributed nodes), развертываемые на уровне отдельных организаций, таких как больницы или банки. Для их обеспечения требуется локальный кластер мощностью от 128 до 256 ускорителей класса H100. Такого объема вычислений достаточно, чтобы полностью переработать, очистить и безопасно обучить модель на внутренних данных конкретного учреждения, гарантируя абсолютную конфиденциальность.

Третий, высший уровень — национальные гиперузлы (Hyper nodes), оперирующие тысячами процессоров. Их задача — систематизировать медицинские, образовательные и культурные знания всей нации, удерживая суверенные модели в актуальном состоянии. Мостак сравнивает этот процесс с созданием выделенной инфраструктуры в сети Bitcoin: человечество строит стандартизированный интеллектуальный капитал, где вместо бесконечного переобучения моделей создаются предсказуемые, жестко оптимизированные «цифровые заводы».

ИИ в регулируемых индустриях: почему медицине нужна надежность, а не гонка за AGI 50:24

В то время как лидеры Кремниевой долины ведут агрессивную «гонку вооружений» в попытке создать сверхинтеллект, тратя миллиарды на runtime-вычисления моделей вроде o1, Эмад Мостак призывает сместить фокус на концепцию satisficing — достижения уровня «достаточной эффективности». В регулируемых сферах, таких как здравоохранение или госуправление, погоня за недоказанным, сырым состоянием технологического фронтира (State-of-the-Art) может быть опасна. Пациентам и врачам нужен не непредсказуемый «черный ящик», а прозрачный, стабильный стандарт, работающий по строгим медицинским протоколам.

Ранее в разговоре собеседники касались концепции разделения разработчиков ИИ на «поваров» и «шефов», и Эмад отмечает, что современные открытые модели уже идеально справляются с ролью исполнительных «поваров»: благодаря большим контекстным окнам и вызовам функций (function calling) они безошибочно следуют готовым «рецептам» и медицинским гайдлайнам. Для большинства задач «ИИ для жизни» (AI for living), закрывающих базовые ступени пирамиды Маслоу, сверхсложные мультитриллионные модели не требуются. Системы вроде o1 слишком умны для повседневных нужд обычного человека, которому тяжело даже сформулировать для них адекватный PhD-запрос.

В медицине истинный прорыв лежит в плоскости персонализации, непрерывного сопровождения и эмпатии. Очищенные от персональных данных (PII) открытые системы способны обучаться автономно, превращаясь в круглосуточных ассистентов. Например, специализированный ИИ для онкопациентов может сопровождать человека на протяжении всего тяжелого пути лечения, отвечая на вопросы в режиме 24/7 и действуя как глубоко персонализированный медицинский гид.

Удивительно, но современные текстовые модели уже превосходят практикующих врачей-людей по показателям клинической эмпатии и точности первичной диагностики. Ключ к их масштабированию лежит не в бесконечном увеличении объема параметров, а в фильтрации данных. Ссылаясь на Илью Суцкевера, заметившего на конференции NeurIPS, что индустрия исчерпала запасы качественных текстов, Мостак утверждается во мнении: очистка обучающих выборок от «мусора» даст кратный прирост эффективности. Команды разработчиков уже доказывают это, создавая компактные модели на базе синтетических данных или качественных микро-выборок. За счет тотальной оптимизации требований к памяти (когда требования к VRAM у видеомоделей падают со 140 ГБ до 8 ГБ за считанные дни), медицина высочайшего уровня становится доступной и децентрализованной.

🍳 От шеф-поваров к кулинарам: новая иерархия ИИ-разработки 1:15:34

Будущее искусственного интеллекта зависит не только от количества вычислительных мощностей, но и от того, как именно распределяются усилия по его созданию. Эмад Мостак вводит фундаментальное различие между двумя типами игроков на этом рынке: «шеф-поварами» и «поварами» (или «кулинарами»). Это разделение определяет, как технологии будут распространяться от глобальных корпораций к отдельным нациям и сообществам.

Разделение труда: почему не всем нужно обучать базовые модели 1:21:54

Основная концепция Эмада заключается в том, что индустрия ИИ переходит к иерархической структуре. На вершине находятся «шеф-повара» — компании или организации, обладающие огромными ресурсами для предварительного обучения (pre-training) базовых моделей «с нуля». Это крайне дорогостоящий процесс: например, обучение Llama 3 потребовало около 20 миллионов часов работы H100, что эквивалентно примерно $40 миллионам прямых затрат.

Однако для большинства практических задач не нужно быть «шеф-поваром». Гораздо эффективнее роль «повара», который берет готовую базовую модель и адаптирует её под конкретные нужды.

Доступность адаптации: Для дообучения (fine-tuning) модели уровня Llama 7B под специфический язык (например, арабский) требуется всего от 128 до 256 видеокарт H100.
Экономический порог: Стоимость создания такой локализованной версии составляет порядка $100,000–$200,000, что на три порядка меньше стоимости базового обучения.
Специализация: «Повара» работают с отраслевыми и локальными наборами данных — от мексиканского законодательства до индонезийского бухгалтерского учёта.

Такой подход позволяет демократизировать технологию. По мнению Мостака, достаточно одной сущности (вроде Meta с их проектом Llama), чтобы обеспечить качественную базу, на основе которой весь остальной мир сможет «готовить» свои специфические решения. Ранее в разговоре они касались структуры «Интеллектуального интернета», и это разделение труда является его логическим фундаментом.

Интеллектуальный капитал наций: сколько H100 нужно стране? 1:19:19

В прошлом конкурентоспособность страны определялась физической инфраструктурой и количеством выпускников вузов. В эпоху ИИ ключевым показателем становится «Интеллектуальный основной капитал» (Intelligence Capital Stock) — объем вычислительных мощностей, скоординированных в моделях, к которым у нации есть доступ.

Эмад отмечает, что мир охвачен лихорадкой строительства гигантских дата-центров. Например, Малайзия недавно инвестировала $9,6 млрд в ИИ-центр в Джохоре. Однако он считает, что для обеспечения суверенитета и предоставления «почти бесплатного ИИ» большинству граждан страны не нужны сотни тысяч чипов.

Национальный уровень: Для организации национальных наборов данных и создания специализированных моделей достаточно нескольких тысяч H100.
Эффективность: Самый быстрый биомедицинский кластер в мире (проект Чана — Цукерберга) использует около 1000 чипов H100, что стоит порядка $20 млн в год — сумма, вполне подъемная для среднего государства.
Результат: Итогом такой работы становится компактная модель весом в несколько гигабайт, которая может работать на смартфонах граждан (например, Huawei или TCL), предоставляя доступ к образованию или медицине без затрат на облачный инференс.

Открытые веса против закрытых данных: в поисках золотого стандарта 1:15:34

Безопасность и прозрачность ИИ, по мнению Мостака, невозможны без перехода к «золотым стандартам» данных. Он сравнивает это с деятельностью EleutherAI (набор данных The Pile) или LAION, которые создали стандарты, на которые теперь ориентируется вся индустрия.

Эмад критикует закрытость корпоративных гигантов. Хотя Llama от Meta является мощным инструментом, это всё ещё продукт корпорации с её собственными интересами. «Я не думаю, что Apple раскроет данные внутри Apple Intelligence, так же как Google не раскроет всё внутри Gemma», — утверждает он.

Проблема регулируемых индустрий: Для медицины или госуправления нельзя использовать «черные ящики». Нужны модели с полностью открытыми данными и лицензией MIT, которые можно аудировать.
Культурный контекст: Закрытые американские модели вряд ли смогут адекватно учитывать этику Японии или Китая, если только эти страны сами не станут «поварами» и не обучат модели на своих данных.
Экономика участия: Мостак упоминает, что для стимулирования создания таких открытых систем планируется использовать механизмы, схожие с криптоактивами (подробнее об этом — в главе о Proof of Beneficial Compute), чтобы люди могли направлять вычислительные мощности на решение общественно значимых задач, таких как поиск лекарства от рака или аутизма.

В конечном счете, когда «теория трудовой стоимости» в экономике начнет рушиться из-за того, что робот-сантехник будет стоить $2 в час, именно владение этими открытыми «рецептами» и данными станет залогом выживания сообществ. В следующей главе будет подробно разобрана концепция Universal Basic AI (UBAI) как базового уровня доступа к этим технологиям.

🌐 Концепция Universal Basic AI (UBAI) и децентрализация инфраструктуры 1:40:36

Эмад Мостак (Emad Mostaque) предлагает рассматривать развитие ИИ через призму создания открытой, доступной и децентрализованной инфраструктуры. Концепция Universal Basic AI (UBAI) по своей сути напоминает идею безусловного базового дохода, но применительно к вычислительным мощностям и интеллектуальному потенциалу. Цель заключается в обеспечении равных возможностей для всех людей, независимо от региона или уровня достатка.

Для реализации этой стратегии Мостак делает ставку на «верифицируемый вывод» (verifiable inference). Эта технология позволяет пользователям с уверенностью подтверждать, что используемая ими модель является подлинной, а не подставной, удешевленной версией. Важным аспектом становится распределение вычислительных нагрузок: хотя обучение моделей на миллионах GPU вряд ли эффективно в децентрализованном виде, распределенная аугментация данных, дообучение (fine-tuning) и проверка консистентности результатов вполне осуществимы.

Такой подход позволяет избежать зависимости от централизованных «черных ящиков». По мнению Эмада, именно создание «золотого стандарта» базовых наборов данных и прозрачность принятия решений в регулируемых отраслях способны сделать ИИ безопасным и полезным инструментом. Создание такой сети позволит странам развивать национальные модели, сохраняя контроль над тем, на каких данных обучаются их системы и какие ценности они отражают.

⚡ Экономическая эффективность и доступность ИИ 1:42:48

Ключевым барьером для развития инноваций часто называют нехватку вычислительных ресурсов. Мостак подчеркивает: текущая экономика ИИ движется в сторону снижения стоимости и энергозатрат, что делает возможным запуск мощных моделей, эквивалентных GPT-4, на устройствах с низким энергопотреблением.

Эмад аргументирует необходимость «сборки» имеющихся мощностей — таких как кластеры H100 в разных странах — для того, чтобы направлять их на решение критически важных задач, например, в здравоохранении. Стратегия здесь заключается в следующем:

Бутстрапинг: Использование текущих инвестиционных подходов (включая криптоэкономические модели) для создания первичной инфраструктуры.
Снижение барьеров: Свободное предоставление доступа к вычислительным мощностям исследователям для создания открытых датасетов и систем, что уже доказало свою эффективность на примере таких проектов, как Stable Diffusion.
Масштабируемость: Отказ от идеи, что для прогресса нужны исключительно ресурсы уровня Microsoft; вместо этого предлагается акцент на качественных наборах данных и эффективности алгоритмов.

Мостак отмечает, что рыночный спрос на «интеллектуальные активы» только растет, и создание ликвидных рынков для финансирования специфических направлений (например, исследований болезни Альцгеймера или онкологии) может стать мощным драйвером для развития глобальной ИИ-экосистемы.

CHAPTER-META--- {"summary": "Эмад Мостак обсуждает концепцию Universal Basic AI как способ демократизации доступа к вычислительным ресурсам и важность перехода к децентрализованной инфраструктуре для обеспечения равенства возможностей.", "quotes": [{"text":"Почему бы нам не создать валюту для AI, но с этим дополнительным важным элементом: я хочу, чтобы люди могли участвовать в этом","speaker":"Эмад Мостак","time":"144:47"}], "key_facts": ["Идея UBAI направлена на создание общедоступной инфраструктуры для обеспечения равенства в использовании ИИ.", "Верифицируемый вывод (verifiable inference) позволяет пользователям доверять результатам работы удаленных моделей.", "Децентрализованный подход к дообучению и аугментации данных эффективнее централизованного обучения на огромных кластерах.", "Использование ИИ в регулируемых индустриях требует прозрачности логирования данных."], "covered_topics": ["Концепция Universal Basic AI (UBAI)", "Экономическая эффективность и доступность ИИ", "Верифицируемый вывод и децентрализация"]}

🌐 Рыночные силы, прозрачность данных и регулирование критических систем 2:05:40

Инфраструктура вычислений и Proof of Beneficial Compute как экономический стимул 2:05:40

Глобальная координация в сфере искусственного интеллекта традиционно представляется сложнейшим вызовом для мирового сообщества. Эмад Мостак (Emad Mostaque) отмечает, что классические геополитические иерархии рушатся: небольшие, но технологически амбициозные нации теперь способны внезапно вырываться вперед и успешно конкурировать на равных с глобальными лидерами. Ключевую роль в этом процессе играет масштабное перераспределение капитала. В качестве яркого примера эксперт приводит страны Ближнего Востока: Саудовская Аравия и ОАЭ сегодня активно инвестируют миллиарды в создание суверенной ИИ-инфраструктуры. В частности, правительство Дубая сделало крупную стратегическую ставку на полупроводниковые решения от компании Cerebras, закупая их уникальные гигантские кремниевые матрицы (wafer-scale wafers) для сборки сверхмощных вычислительных кластеров.

По мнению Мостака, вместо попыток ввести жесткие административные запреты на международном уровне, регуляторам следует устанавливать безопасные и эффективные «настройки по умолчанию», активно задействуя естественные рыночные силы. В этот контекст органично вписывается концепция Proof of Beneficial Compute, упомянутая в самом начале интервью как криптографический механизм стимулирования. Данный алгоритм призван финансово и аппаратно мотивировать участников распределенных сетей направлять свои вычислительные мощности на решение общественно полезных, гуманитарных и научных задач вместо избыточного или потенциально деструктивного обучения закрытых систем. Мостак подчеркивает, что когда базовый технологический стек уже сформирован, контролировать ИИ на уровне чистой инфраструктуры становится практически невозможно. Ярким примером в индустрии послужил релиз Stable Diffusion: компания-разработчик предоставила открытый доступ к весам, после чего люди начали использовать модель как во благо, так и во вред, и этот процесс был абсолютно неизбежен. Следовательно, долгосрочная безопасность должна опираться на экономические стимулы, структурированный доступ к государственным ИИ-сервисам и синергию открытого кода.

Дипфейки нового поколения: почему генерация речи требует жесткого контроля 2:06:06

Рассматривая наиболее опасные пограничные сценарии применения ИИ, Эмад Мостак призывает сфокусировать внимание на генерации человеческого голоса и речи, которые требуют незамедлительного и жесткого нормативного регулирования. Несмотря на то, что первые упоминания дипфейков прозвучали еще на первых минутах подкаста, именно в контексте современных рассуждающих моделей эта угроза приобретает экзистенциальный масштаб. Речь обладает уникальным, эволюционно укорененным психологическим воздействием на человеческую психику. Она способна мгновенно манипулировать поведением людей, искусно обходя привычные барьеры критического мышления.

Проблема усугубляется тем, что у общества на данный момент нет эффективных паттернов противодействия столь продвинутой аудиомимикрии. Описывая эту уязвимость, Мостак полушутя отмечает абсолютное бессилие современных систем защиты:

«Я до сих пор не могу придумать адекватного решения этой проблемы, разве что нам всем придется вообще никогда не снимать наушники AirPods, чтобы верифицировать входящие аудиосигналы».

Эксперт прогнозирует, что в ближайшие годы мир захлестнет волна по-настоящему «странных событий» и инцидентов с дипфейками, для которых у человечества попросту нет исторических прецедентов. Ситуация станет еще более непредсказуемой из-за неизбежного прихода на рынок качественно новых моделей (уровня гипотетических Gemini 01 и Gemini 2) с гигантскими контекстными окнами от 2 до 10 миллионов токенов. Такие системы будут способны на лету анализировать колоссальные массивы персональных данных и генерировать безупречную, контекстуально выверенную речь для таргетированной социальной инженерии.

Прозрачность обучающих данных в критически важных отраслях 2:06:06

Вместо хаотичной фильтрации на этапе вывода готовых нейросетей, базовым элементом безопасности ИИ должно стать законодательное требование абсолютной прозрачности обучающих данных. Мостак критикует современную практику создания «всеядных» систем. Многие исследователи опасаются, что при масштабировании модели начнут демонстрировать опасные эмерджентные свойства и обобщать знания далеко за пределами своих доменов. Однако Эмад убежден, что базовые модели не обладают полноценной человеческой логикой — они представляют собой лишь «набор весов, единиц и нулей». Поэтому закладывать в них терабайты потенциально опасной информации, вроде детальных инструкций по созданию биоядерного оружия, изначально нерационально и расточительно.

Для обеспечения безопасности в регулируемых индустриях Мостак предлагает радикально пересмотреть подход к обучению ИИ:

Перейти от хаотичного сбора данных из открытого интернета к строго выверенному «учебному плану» (curriculum) для нейросетей.
Ограничивать наполнение моделей исключительно целевыми профессиональными знаниями. Например, ИИ-модель для здравоохранения должна осваивать только тот массив информации, который квалифицированный врач получает в период от детского сада до окончания медицинской школы.

В подтверждение этой мысли гость ссылается на Яна Лекуна (Yann LeCun) и его анализ систем искусственного интеллекта в викторинах вроде Jeopardy, доказывающий, что способность к рассуждению и выводам можно успешно тренировать на компактных, но качественных золотых стандартах данных.

Ранее в разговоре детально разбиралась концепция Universal Basic AI (UBAI), нацеленная на предоставление каждому гражданину базового, локализованного интеллекта. Мостак подчеркивает: если ИИ-система претендует на то, чтобы занимать ключевые позиции в принятии решений (особенно в медицине, юриспруденции или финансах), государство обязано законодательно закрепить полную прозрачность ее датасетов. Только это позволит гарантировать, что алгоритмы не начнут совершать непредсказуемые деструктивные действия, когда станут полностью агентными и получат автономию для взаимодействия со всемирной паутиной.

В финале встречи Эмад Мостак упомянул программный документ «Умного интернета» (The Intelligent Internet), структура и цели которого подробно анализировались в третьей главе данной статьи. По его словам, архитектура безопасного ИИ-пространства — это непрерывный, интерактивный процесс, требующий активной обратной связи от всего мирового сообщества в наступающем новом году.