Ахмад Осман о локальном ИИ: автономия, железо и приватность данных

Развитие автономных нейросетевых агентов и локального оборудования ставит под вопрос необходимость бесконечных дорогостоящих подписок на облачные сервисы искусственного интеллекта. В интервью автору YouTube-канала Дэвиду Ондрею основатель проекта Osmantic Ахмад Осман подробно разобрал архитектуру развёртывания локального ИИ, продемонстрировал работу автономной операционной среды на специализированном ноутбуке и объяснил, почему монополия технологических гигантов на вычисления может рухнуть под натиском открытых моделей.

🛠️ Миф о тотальном реверс-инжиниринге и победа открытого кода 1:27

Обсуждение началось с набравшего популярность в социальных сетях тренда на тотальный реверс-инжиниринг проприетарного программного обеспечения . По мнению Ахмада Османа, возможность воссоздать любой закрытый сервис с помощью больших языковых моделей стала данностью: генерация кода теперь упирается исключительно в объём доступных токенов . Однако Осман скептически относится к идее, что энтузиасты смогут долго поддерживать любительские клоны сложных экосистем вроде пакета Adobe . Создание качественного, отполированного продукта по-прежнему требует глубоких предметных знаний, внимания к деталям и оплачиваемого труда специалистов .

В то же время эксперты выделили позитивный эффект любительской разработки для рынка. Дэвид Ондрей привёл в пример ситуацию с официальным настольным клиентом Spotify, который многие критикуют за медлительность, в то время как сторонний разработчик переписал его на Rust, добившись колоссального прироста скорости . Осман считает, что подобные прецеденты идут на пользу потребителям: они вынуждают технологические корпорации пересматривать свои процессы и избавляться от раздутого кода . Инструменты перестали быть барьером для входа, и ключевую роль теперь играет исключительно качество идеи .

Говоря об исторической перспективе, собеседники провели прямую параллель между текущей ситуацией в сфере ИИ и противостоянием на рынке 3D-графики :

Корпоративные пакеты Autodesk (3ds Max и Maya) годами доминировали в коммерческой разработке.
Открытый редактор Blender, несмотря на скепсис на ранних этапах, со временем завоевал индустрию благодаря миллионам независимых контрибьюторов .
Открытый исходный код в долгосрочной перспективе неизменно побеждает закрытые решения, а современные языковые модели лишь многократно ускоряют эту экспансию .

🛡️ Безопасность автономных агентов и изоляция в «песочницах» 5:04

Стремительный рост автономности ИИ-агентов порождает беспрецедентные угрозы безопасности. Ондрей обратил внимание на статистику, согласно которой количество критических уязвимостей в коде технологических гигантов вроде Apple, Adobe и Google стремительно увеличивается . Ситуация усугубляется, когда программисты доверяют генерацию кода автономным агентам: агент может создать Pull Request, успешно пройти все тесты, но при этом оставить критическую дыру, позволяющую любому авторизованному пользователю читать чужие конфиденциальные данные . Для решения этой проблемы ведущий рекомендовал сервис CodeRabbit, сканирующий пути передачи данных и устраняющий утечки .

Не менее опасной проблемой остаются скрытые бэкдоры в самих нейросетевых моделях. Ведущий напомнил об исследовании проекта Discovery, авторы которого потратили менее 50 долларов на файн-тюнинг модели размером 7 млрд параметров и внедрили скрытую инструкцию, заставлявшую модель воровать учетные данные при определённой фразе-триггере .

Ахмад Осман объяснил, что уязвимость цепочек поставок всегда существовала в IT-индустрии:

Даже при закупке графических процессоров (GPU) у непроверенных поставщиков существует риск получить плату с аппаратным сотовым модулем или SIM-картой для скрытой передачи данных .
Языковые модели — это лишь ещё одно звено в цепочке поставок, требующее нулевого доверия .
Ошибки безопасности при работе с моделями — это почти всегда провал изоляции (sandboxing), а не классические кибератаки .
Запуск немодерируемых моделей с Hugging Face на основной рабочей машине без изоляции недопустим .

По словам Османа, единственный способ обезопасить инфраструктуру — полный отказ от внешних зависимостей. Поскольку токены стали предельно дешёвыми, агентам следует поручать генерацию всего необходимого функционала непосредственно внутри собственной кодовой базы, исключая сторонние автообновляемые библиотеки .

💻 Железо для локального ИИ: тест ноутбука на DGX Spark против Mac Studio 16:38

В студии Ахмад продемонстрировал специализированный ноутбук Asus ProArt на базе платформы DGX Spark (RTX Spark) — совместной разработки Nvidia и Microsoft . Устройство оснащено 128 ГБ унифицированной памяти, из которых 96 ГБ выделено под нужды видеопамяти (VRAM), а 32 ГБ — под оперативную память системы . На ноутбуке развёрнута специализированная операционная система ODS (Open Deployment System) под лицензией Apache 2.0, созданная для максимальной утилизации локального «железа» [17:05, 20:20].

Осман рассказал о показательном случае со своим знакомым, который приобрёл видеокарту уровня RTX 5090 и запустил модель Qwen 2.5/3.5, попытавшись с её помощью настроить RGB-подсветку . Модель выдала ошибку просто потому, что в её обучающей выборке отсутствовали данные о свежем оборудовании. Проблема решилась мгновенно, как только модели предоставили изолированный веб-поиск через API . По этой причине ODS сразу включает в себя компоненты RAG, векторные эмбеддинги, генерацию изображений и голосовых агентов, оптимизированных под аппаратные ядра .

Особый интерес вызвал сравнительный анализ производительности с Apple Silicon. По техническим характеристикам Mac Studio на базе чипа M5 Ultra с 256 ГБ памяти обладает пропускной способностью памяти почти в пять раз выше . Однако в реальных тестах связка систем DGX Spark обошла рабочую станцию Apple по скорости генерации токенов .

Собеседники объяснили этот парадокс следующими факторами:

Дэвид Хейнемейер Ханссон (DHH) точно подметил: у Apple нет проблем с «железом», у Apple колоссальные проблемы с оптимизацией программного обеспечения .
Nvidia с 2015 года последовательно развивает программный стек CUDA, благодаря чему открытое сообщество непрерывно дорабатывает ядра для максимального быстродействия .
Модель Qwen 3.8 Flash Next в квантовании NVFP4 на продемонстрированном ноутбуке достигает скорости декодирования 72 токена в секунду, что существенно превосходит показатели облачного сервиса Codex [19:28, 25:40].

🎮 Полная автономия: 180 млрд параметров, отказ от Word и генерация игр офлайн 25:03

Развитие систем хранения позволило запускать гигантские архитектуры прямо на потребительских компьютерах. Осман продемонстрировал работу модели на 180 миллиардов параметров в формате NVFP4 . Главная инженерная хитрость заключается в том, что часть весов и эмбеддингов хранится на сверхбыстром накопителе NVMe SSD и подгружается с алгоритмической сложностью порядка O(1), занимая лишь 88 ГБ из 96 ГБ выделенной видеопамяти [26:46, 27:12]. Это позволяет локальным системам решать сложнейшие задачи без подключения к интернету .

Ахмад поделился своим личным опытом отказа от традиционного офисного ПО:

Он не открывал Microsoft Word на протяжении 8–9 месяцев .
Любой поступающий файл формата .docx агент автоматически декомпилирует скриптом на Python в чистый Markdown .
После внесения правок агент мгновенно компилирует файл обратно в идеально сверстанный документ Word или PDF с сохранением исходных корпоративных стилей .
Локальный агент анализирует банковские выписки и кредитные карты для налоговых вычетов, формируя сопроводительное письмо для бухгалтера без передачи финансовой тайны в облако .

Кульминацией демонстрации стал показ ретро-игры в жанре RPG, полностью написанной локальной моделью внутри ODS . Игра содержит механику боя, полоски здоровья, уровни прокачки и древо способностей (например, «Двойной выстрел» и «Острый глаз») [32:20, 33:23]. Ведущий подчеркнул: ещё год назад подобное было немыслимо даже для передовых облачных моделей, тогда как сейчас полноценная игра компилируется за минуты без единого сетевого запроса к сторонним серверам [32:32, 33:49].

📉 Сжатие моделей и экономика: почему подписки по $500 уступят локальным ПК 34:02

В индустрии сформировался раскол между платными популяризаторами облаков и радикальными сторонниками локальных систем . Осман признал, что модель Claude 3.5 Sonnet (и условная линейка OBS 5.5) остаётся непревзойдённой по уровню рассуждений [34:52, 36:34]. По его мнению, лаборатория Anthropic совершила прорыв в области синтетических данных для обучения с подкреплением (RL) и дистилляции . Однако Ахмад убеждён, что уже в ближайшие 8 месяцев локальные видеокарты уровня RTX Pro 6000 смогут запускать модели сопоставимого уровня .

Для 95% повседневных задач обычного пользователя возможностей компактных моделей на современных GPU уже более чем достаточно . Плотность интеллекта растёт экспоненциально: размеры моделей сокращаются вдвое примерно каждые 3,5 месяца при трёхкратном росте их возможностей . Если раньше для запуска GPT-4o требовался огромный дата-центр, то сейчас смартфон iPhone 17 с 12 ГБ памяти способен локально исполнять квантованную модель Qwen 3.5 на 4 млрд параметров, демонстрируя превосходные результаты [37:38, 37:50]. Миссия компании Osmantic — добиться того, чтобы даже старый компьютер 2013 года мог локально обрабатывать медицинские и финансовые данные пользователя .

Финансовая сторона вопроса также говорит в пользу владения оборудованием:

Подписка на продвинутые облачные сервисы стоимостью $500 в месяц обходится в $6 000 ежегодно .
Ноутбук или рабочая станция за $7 000 с локальным ускорителем полностью окупается за год и обеспечивает безлимитный инференс без риска блокировок [31:40, 1:21:14].
Осман и Ондрей сошлись во мнении, что текущие розничные тарифы на облачный ИИ искусственно субсидируются венчурными фондами для захвата аудитории .
Как только рост замедлится, монополисты поднимут цены до реальной себестоимости с высокой маржой — вплоть до $50 за миллион входных токенов [1:24:12, 1:32:45].

Собеседники выразили подозрение по поводу бесплатных программ для учёных от OpenAI и Anthropic: по мнению авторов, это удобный способ собирать прорывные идеи исследователей для тренировки будущих моделей [41:46, 42:13]. (Сами корпорации заявляют, что подобные гранты призваны поддерживать фундаментальную науку.)

⚙️ Экосистема CUDA, архитектурные прорывы и выбор операционной системы 45:22

При обсуждении стратегии сборки оборудования для бюджета в $10 000 Ахмад признался, что ранее недооценивал потенциал унифицированной памяти . Архитектурные инновации и алгоритмы прямого чтения с SSD сделали портативные системы на 128 ГБ полноценными рабочими станциями, способными параллельно держать трёх-четырёх автономных агентов [46:17, 46:29].

Рынок видеокарт переживает аномальные колебания. Подержанные карты RTX 3090, которые на вторичном рынке в 2023 году стоили около $500–600, подорожали до $1 600–1 700, превысив свою первоначальную рекомендованную цену 2020 года . Серверные аналоги и вовсе выросли в цене до $5 000–6 000 . Причина кроется в архитектуре Ampere: ядра потребительских карт идентичны тем, что используются в ускорителях A100 в дата-центрах, что обеспечивает им огромную поддержку сообщества [52:59, 53:12]. Осман подчеркнул: брать кредиты на покупку GPU категорически нельзя, однако консервация имеющегося «железа» оправдана растущей отдачей на ватт [41:20, 1:09:05].

В противостоянии аппаратных платформ позиции распределились однозначно:

Nvidia: абсолютный лидер благодаря зрелости стека CUDA, заложенного Дженсеном Хуангом ещё в эпоху AlexNet . Для новичков и профессионалов это единственный бескомпромиссный выбор .
Intel: выпускает перспективные по характеристикам графические чипы, но их программный стек безнадёжно отстаёт, требуя недель ручной оптимизации .
Apple Mac Studio: отличные показатели энергоэффективности, но закрытость и незрелость открытых движков инференса сдерживают потенциал .

Что касается операционных систем, Осман опроверг популярный тезис о необходимости поголовного перехода на Linux . Для массового внедрения ODS работает на Windows «из коробки», используя подсистему WSL в фоновом режиме [54:30, 55:45]. Обычный пользователь не должен менять привычки: в будущем операционная система станет прозрачной средой для агентов, а человеку останется привычный интерфейс [55:08, 55:32].

🧠 Новые ОС для агентов, выгорание разработчиков и инфраструктурные барьеры 57:39

Постоянное взаимодействие с нейросетями порождает специфический психологический стресс. Ахмад рассказал личную историю: проснувшись в субботу в пять утра, он первым делом поймал себя на навязчивом желании проверить фоновые задачи ночных агентов . Осознав уровень перегрузки, он написал твит с призывом «выйти на улицу и подышать свежим воздухом» и полностью отключился от работы на выходные . Задача технологий — разгружать человека, а не добавлять ему новые поводы для выгорания .

Дэвид Ондрей отметил, что по мере того как агенты забирают рутину (бухгалтерию, налоги, верстку презентаций), работа инженера переходит на уровень оркестрации сложных ансамблей . Это порождает новые инфраструктурные требования:

Классические контейнеры Docker слишком медлительны для моментального создания снимков состояния (снапшотов) и требуют альтернатив .
Nvidia разрабатывает процессоры линейки Vera Rubin специально с расчетом на агентные нагрузки .
Лаборатория Anthropic была вынуждена разработать собственную внутреннюю систему контроля версий, так как утилита Git не справлялась со скоростью генерации кода нейросетями .
Будущие операционные системы, по прогнозу Османа, будут представлять собой минималистичные контейнеры на базе ядра Linux с аппаратно вырезанными модулями Wi-Fi и доступа в интернет, исключающими побег агента из «песочницы» [1:02:41, 1:03:05].

В процессе беседы Осман запустил ещё один тест: по текстовому описанию агент ODS всего за 20 секунд сгенерировал прототип мультяшной hack-and-slash игры по вселенной «Властелина колец» [1:05:55, 1:06:07]. Скорость генерации составила 72 токена в секунду для кода и около 50 токенов для аналитических рассуждений и вызова инструментов .

👁️ Гибридный ИИ, корпоративный шпионаж и угроза централизованного контроля 1:10:33

Главным риском облачного ИИ остаётся бесконтрольная утечка корпоративных секретов и приватности. Осман напомнил, что генеральный директор Figma публично возмущался тем, как крупная корпорация выпустила клон их продукта вскоре после активного использования их API . Известны прецеденты, когда главы технологических компаний держат в своих кабинетах физически изолированные от сети серверы исключительно для локальной сортировки электронной почты . Недавний инцидент с консольной утилитой Grok от xAI, которая отправляла содержимое домашней директории пользователя в облако, подтверждает необходимость строгой гигиены данных .

Дэвид поделился собственной корпоративной конфигурацией: в его компании установлены два сервера Nvidia H100, на которых локально исполняется нецензурированная версия DeepSeek . Любые юридические, бухгалтерские и коммерческие вопросы обрабатываются через приватный веб-интерфейс без отправки запросов третьим лицам .

Для бизнеса Osmantic предлагает компромиссную модель — ODS Enterprise :

Система работает как «защитный экран» для гибридного ИИ, обезличивая запросы .
Фрагменты задач отправляются в облачные передовые модели (Claude или GPT-6) в виде абстрактных функций без контекста .
Полученные высокоуровневые рекомендации возвращаются во внутренний контур и исполняются локальными агентами на собственных серверах .

В финале встречи собеседники предупредили об экзистенциальной опасности централизованного ИИ. Если монополисты и государства получат эксклюзивный контроль над когнитивными агентами, они смогут манипулировать выдачей ответов, внедрять скрытую цензуру, менять электоральные предпочтения граждан или вовсе отключать целые страны от вычислений [1:28:43, 1:29:47]. По мнению обоих экспертов, открытый исходный код и децентрализованное владение оборудованием остаются единственной гарантией защиты личной свободы в цифровую эпоху [1:33:51, 1:35:32].

---META--- { "title_candidates": [ "Почему облачные подписки на ИИ могут стать ловушкой?", "Ахмад Осман и Дэвид Ондрей обсудили локальные нейросети", "Ахмад Осман: «Будущее искусственного интеллекта будет гибридным»" ], "title": "Ахмад Осман о локальном ИИ: автономия, железо и приватность данных", "category": "Искусственный интеллект", "keywords": [ "Ахмад Осман", "Дэвид Ондрей", "Nvidia", "ODS", "DGX Spark" ], "tldr": [ "Локальный ноутбук на DGX Spark со 128 ГБ памяти опережает Mac Studio.", "Модели в формате NVFP4 позволяют запускать 180 млрд параметров с SSD.", "Плотность интеллекта удваивается каждые 3,5 месяца, нивелируя отрыв облаков.", "Подписка за $500 в месяц уступает покупке собственной рабочей станции." ], "speakers": [ { "name": "Дэвид Ондрей", "role": "Автор YouTube-канала, разработчик платформы для ИИ-программирования Cloudroom" }, { "name": "Ахмад Осман", "role": "Основатель стартапа Osmantic и создатель открытой системы развёртывания ODS" } ], "books": [], "films": [ { "title": "Матрица", "year": "1999", "context": "Упомянута в качестве метафоры: локальный ИИ должен быть личным агентом в системе, выполняющим задачи за пользователя." }, { "title": "Киберпанк 2077", "year": "2020", "context": "Приведён как пример мрачной антиутопии с тотальным контролем корпораций над технологиями." }, { "title": "Дюна", "year": "2021", "context": "Упомянута при обсуждении рисков централизации вычислений и монополии на знания." }, { "title": "Терминатор", "year": "1984", "context": "Назван менее вероятным сценарием угрозы ИИ по сравнению с реальным корпоративным контролем." } ], "quotes": [ { "text": "Большинство людей не нуждаются в подписке. Им просто нужно владеть собственным оборудованием.", "speaker": "Ахмад Осман", "time": "01:01" }, { "text": "Мы вступили в эпоху экспоненциального роста локального искусственного интеллекта, и его уже не остановить.", "speaker": "Ахмад Осман", "time": "1:22:31" }, { "text": "Тот, кто владеет оборудованием, будет владеть властью в будущем.", "speaker": "Дэвид Ондрей", "time": "1:24:25" } ], "mentioned_urls": [ { "url": "https://cloudroom.dev/", "context": "Собственная платформа Дэвида Ондрея для написания кода с открытыми агентами." }, { "url": "https://coderabbit.link/david-ondrej-016", "context": "Инструмент автоматического аудита безопасности Pull Request с ИИ-агентами." }, { "url": "https://github.com", "context": "Хостинг открытого репозитория операционной среды ODS и проекта Cloudroom." } ], "glossary": [ { "term": "ODS (Open Deployment System)", "definition": "Открытая операционная среда для автоматической настройки и оптимизации локальных нейросетей под конкретное оборудование." }, { "term": "Песочница (Sandbox)", "definition": "Изолированная среда выполнения программ, блокирующая доступ к внешним сетям и системным файлам." }, { "term": "NVFP4", "definition": "Сверхкомпактный 4-битный формат квантования весов нейросетей, разработанный Nvidia для ускорения вычислений." }, { "term": "WSL (Windows Subsystem for Linux)", "definition": "Компонент Windows, позволяющий нативно запускать программы и утилиты Linux без отдельной виртуальной машины." } ], "numbers": [ { "value": "128 ГБ", "context": "Объём унифицированной памяти в ноутбуке Asus ProArt на чипе DGX Spark.", "speaker": "Ахмад Осман" }, { "value": "72 токена/сек", "context": "Скорость генерации кода локальной моделью Qwen на мобильном чипе RTX Spark.", "speaker": "Ахмад Осман" }, { "value": "180 млрд", "context": "Количество параметров модели, запущенной с частичной подгрузкой с SSD.", "speaker": "Ахмад Осман" }, { "value": "$7 000", "context": "Стоимость производительного ноутбука, способного заменить дорогие облачные подписки.", "speaker": "Ахмад Осман" }, { "value": "$1 600–1 700", "context": "Вторичная цена видеокарты RTX 3090, превысившая уровень её релиза в 2020 году.", "speaker": "Ахмад Осман" } ], "timeline": [ { "date": "2015", "event": "Nvidia начинает масштабные инвестиции в развитие программной экосистемы CUDA." }, { "date": "2020", "event": "Выход видеокарты RTX 3090 на архитектуре Ampere с 24 ГБ памяти." }, { "date": "Конец 2023", "event": "Ахмад Осман собирает собственную вычислительную стойку на базе 14 видеокарт RTX 3090." }, { "date": "13 августа", "event": "Релиз второй версии модели DeepSeek V4 Pro с радикальным приростом точности." } ], "counterpoints": [ { "claim": "Пользователям выгоднее купить мощный ПК за $7 000, чем платить за облачные сервисы.", "counter": "Порог входа в $7 000 остаётся неподъёмным для большинства частных пользователей, а самостоятельная настройка драйверов и моделей требует технической грамотности." }, { "claim": "Локальные компактные модели уже превосходят облачные флагманы во всех практических сценариях.", "counter": "Для сложнейших рассуждений, мультимодального анализа и научной логики передовые облачные кластеры вроде Claude 3.5 Sonnet по-прежнему незаменимы." }, { "claim": "Облачные компании целенаправленно собирают прорывные идеи учёных через бесплатные гранты.", "counter": "ИТ-лаборатории утверждают, что грантовые программы направлены на развитие открытой науки и решение глобальных академических задач." } ] }Развитие автономных нейросетевых агентов и локального оборудования ставит под вопрос необходимость бесконечных дорогостоящих подписок на облачные сервисы искусственного интеллекта. В интервью автору YouTube-канала Дэвиду Ондрею основатель проекта Osmantic Ахмад Осман подробно разобрал архитектуру развёртывания локального ИИ, продемонстрировал работу автономной операционной среды на специализированном ноутбуке и объяснил, почему монополия технологических гигантов на вычисления может рухнуть под натиском открытых моделей.

🛠️ Миф о тотальном реверс-инжиниринге и победа открытого кода 1:27

Обсуждение началось с набравшего популярность в социальных сетях тренда на тотальный реверс-инжиниринг проприетарного программного обеспечения. По мнению Ахмада Османа, возможность воссоздать любой закрытый сервис с помощью больших языковых моделей стала данностью: генерация кода теперь упирается исключительно в объём доступных токенов. Однако Осман скептически относится к идее, что энтузиасты смогут долго поддерживать любительские клоны сложных экосистем вроде пакета Adobe. Создание качественного, отполированного продукта по-прежнему требует глубоких предметных знаний, внимания к деталям и оплачиваемого труда специалистов.

В то же время эксперты выделили позитивный эффект любительской разработки для рынка. Дэвид Ондрей привёл в пример ситуацию с официальным настольным клиентом Spotify, который многие критикуют за медлительность, в то время как сторонний разработчик переписал его на Rust, добившись колоссального прироста скорости. Осман считает, что подобные прецеденты идут на пользу потребителям: они вынуждают технологические корпорации пересматривать свои процессы и избавляться от раздутого кода. Инструменты перестали быть барьером для входа, и ключевую роль теперь играет исключительно качество идеи.

Корпоративные пакеты Autodesk (3ds Max и Maya) годами доминировали в коммерческой разработке.
Открытый редактор Blender, несмотря на скепсис на ранних этапах, со временем завоевал индустрию благодаря миллионам независимых контрибьюторов.
Открытый исходный код в долгосрочной перспективе неизменно побеждает закрытые решения, а современные языковые модели лишь многократно ускоряют эту экспансию.

🛡️ Безопасность автономных агентов и изоляция в «песочницах» 5:04

Стремительный рост автономности ИИ-агентов порождает беспрецедентные угрозы безопасности. Ондрей обратил внимание на статистику, согласно которой количество критических уязвимостей в коде технологических гигантов вроде Apple, Adobe и Google стремительно увеличивается. Ситуация усугубляется, когда программисты доверяют генерацию кода автономным агентам: агент может создать Pull Request, успешно пройти все тесты, но при этом оставить критическую дыру, позволяющую любому авторизованному пользователю читать чужие конфиденциальные данные. Для решения этой проблемы ведущий рекомендовал сервис CodeRabbit, сканирующий пути передачи данных и устраняющий утечки.

Ахмад Осман объяснил, что уязвимость цепочек поставок всегда существовала в IT-индустрии:

Даже при закупке графических процессоров (GPU) у непроверенных поставщиков существует риск получить плату с аппаратным сотовым модулем или SIM-картой для скрытой передачи данных.
Языковые модели — это лишь ещё одно звено в цепочке поставок, требующее нулевого доверия.
Ошибки безопасности при работе с моделями — это почти всегда провал изоляции (sandboxing), а не классические кибератаки.
Запуск немодерируемых моделей с Hugging Face на основной рабочей машине без изоляции недопустим.

💻 Железо для локального ИИ: тест ноутбука на DGX Spark против Mac Studio 16:38

В студии Ахмад продемонстрировал специализированный ноутбук Asus ProArt на базе платформы DGX Spark (RTX Spark) — совместной разработки Nvidia и Microsoft. Устройство оснащено 128 ГБ унифицированной памяти, из которых 96 ГБ выделено под нужды видеопамяти (VRAM), а 32 ГБ — под оперативную память системы. На ноутбуке развёрнута специализированная операционная система ODS (Open Deployment System) под лицензией Apache 2.0, созданная для максимальной утилизации локального «железа».

Осман рассказал о показательном случае со своим знакомым, который приобрёл видеокарту уровня RTX 5090 и запустил модель Qwen 2.5/3.5, попытавшись с её помощью настроить RGB-подсветку. Модель выдала ошибку просто потому, что в её обучающей выборке отсутствовали данные о свежем оборудовании. Проблема решилась мгновенно, как только модели предоставили изолированный веб-поиск через API. По этой причине ODS сразу включает в себя компоненты RAG, векторные эмбеддинги, генерацию изображений и голосовых агентов, оптимизированных под аппаратные ядра.

Особый интерес вызвал сравнительный анализ производительности с Apple Silicon. По техническим характеристикам Mac Studio на базе чипа M5 Ultra с 256 ГБ памяти обладает пропускной способностью памяти почти в пять раз выше. Однако в реальных тестах связка систем DGX Spark обошла рабочую станцию Apple по скорости генерации токенов.

Собеседники объяснили этот парадокс следующими факторами:

Дэвид Хейнемейер Ханссон (DHH) точно подметил: у Apple нет проблем с «железом», у Apple колоссальные проблемы с оптимизацией программного обеспечения.
Nvidia с 2015 года последовательно развивает программный стек CUDA, благодаря чему открытое сообщество непрерывно дорабатывает ядра для максимального быстродействия.
Модель Qwen 3.8 Flash Next в квантовании NVFP4 на продемонстрированном ноутбуке достигает скорости декодирования 72 токена в секунду, что существенно превосходит показатели облачного сервиса Codex.

🎮 Полная автономия: 180 млрд параметров, отказ от Word и генерация игр офлайн 25:03

Развитие систем хранения позволило запускать гигантские архитектуры прямо на потребительских компьютерах. Осман продемонстрировал работу модели на 180 миллиардов параметров в формате NVFP4. Главная инженерная хитрость заключается в том, что часть весов и эмбеддингов хранится на сверхбыстром накопителе NVMe SSD и подгружается с алгоритмической сложностью порядка O(1), занимая лишь 88 ГБ из 96 ГБ выделенной видеопамяти. Это позволяет локальным системам решать сложнейшие задачи без подключения к интернету.

Ахмад поделился своим личным опытом отказа от традиционного офисного ПО:

Он не открывал Microsoft Word на протяжении 8–9 месяцев.
Любой поступающий файл формата .docx агент автоматически декомпилирует скриптом на Python в чистый Markdown.
После внесения правок агент мгновенно компилирует файл обратно в идеально сверстанный документ Word или PDF с сохранением исходных корпоративных стилей.
Локальный агент анализирует банковские выписки и кредитные карты для налоговых вычетов, формируя сопроводительное письмо для бухгалтера без передачи финансовой тайны в облако.

Кульминацией демонстрации стал показ ретро-игры в жанре RPG, полностью написанной локальной моделью внутри ODS. Игра содержит механику боя, полоски здоровья, уровни прокачки и древо способностей (например, «Двойной выстрел» и «Острый глаз»). Ведущий подчеркнул: ещё год назад подобное было немыслимо даже для передовых облачных моделей, тогда как сейчас полноценная игра компилируется за минуты без единого сетевого запроса к сторонним серверам.

📉 Сжатие моделей и экономика: почему подписки по $500 уступят локальным ПК 34:02

В индустрии сформировался раскол между платными популяризаторами облаков и радикальными сторонниками локальных систем. Осман признал, что модель Claude 3.5 Sonnet (и условная линейка OBS 5.5) остаётся непревзойдённой по уровню рассуждений. По его мнению, лаборатория Anthropic совершила прорыв в области синтетических данных для обучения с подкреплением (RL) и дистилляции. Однако Ахмад убеждён, что уже в ближайшие 8 месяцев локальные видеокарты уровня RTX Pro 6000 смогут запускать модели сопоставимого уровня.

Для 95% повседневных задач обычного пользователя возможностей компактных моделей на современных GPU уже более чем достаточно. Плотность интеллекта растёт экспоненциально: размеры моделей сокращаются вдвое примерно каждые 3,5 месяца при трёхкратном росте их возможностей. Если раньше для запуска GPT-4o требовался огромный дата-центр, то сейчас смартфон iPhone 17 с 12 ГБ памяти способен локально исполнять квантованную модель Qwen 3.5 на 4 млрд параметров, демонстрируя превосходные результаты. Миссия компании Osmantic — добиться того, чтобы даже старый компьютер 2013 года мог локально обрабатывать медицинские и финансовые данные пользователя.

Финансовая сторона вопроса также говорит в пользу владения оборудованием:

Подписка на продвинутые облачные сервисы стоимостью $500 в месяц обходится в $6 000 ежегодно.
Ноутбук или рабочая станция за $7 000 с локальным ускорителем полностью окупается за год и обеспечивает безлимитный инференс без риска блокировок.
Осман и Ондрей сошлись во мнении, что текущие розничные тарифы на облачный ИИ искусственно субсидируются венчурными фондами для захвата аудитории.
Как только рост замедлится, монополисты поднимут цены до реальной себестоимости с высокой маржой — вплоть до $50 за миллион входных токенов.

Собеседники выразили подозрение по поводу бесплатных программ для учёных от OpenAI и Anthropic: по мнению авторов, это удобный способ собирать прорывные идеи исследователей для тренировки будущих моделей. (Сами корпорации заявляют, что подобные гранты призваны поддерживать фундаментальную науку.)

⚙️ Экосистема CUDA, архитектурные прорывы и выбор операционной системы 45:22

При обсуждении стратегии сборки оборудования для бюджета в $10 000 Ахмад признался, что ранее недооценивал потенциал унифицированной памяти. Архитектурные инновации и алгоритмы прямого чтения с SSD сделали портативные системы на 128 ГБ полноценными рабочими станциями, способными параллельно держать трёх-четырёх автономных агентов.

Рынок видеокарт переживает аномальные колебания. Подержанные карты RTX 3090, которые на вторичном рынке в 2023 году стоили около $500–600, подорожали до $1 600–1 700, превысив свою первоначальную рекомендованную цену 2020 года. Серверные аналоги и вовсе выросли в цене до $5 000–6 000. Причина кроется в архитектуре Ampere: ядра потребительских карт идентичны тем, что используются в ускорителях A100 в дата-центрах, что обеспечивает им огромную поддержку сообщества. Осман подчеркнул: брать кредиты на покупку GPU категорически нельзя, однако консервация имеющегося «железа» оправдана растущей отдачей на ватт.

В противостоянии аппаратных платформ позиции распределились однозначно:

Nvidia: абсолютный лидер благодаря зрелости стека CUDA, заложенного Дженсеном Хуангом ещё в эпоху AlexNet. Для новичков и профессионалов это единственный бескомпромиссный выбор.
Intel: выпускает перспективные по характеристикам графические чипы, но их программный стек безнадёжно отстаёт, требуя недель ручной оптимизации.
Apple Mac Studio: отличные показатели энергоэффективности, но закрытость и незрелость открытых движков инференса сдерживают потенциал.

Что касается операционных систем, Осман опроверг популярный тезис о необходимости поголовного перехода на Linux. Для массового внедрения ODS работает на Windows «из коробки», используя подсистему WSL в фоновом режиме. Обычный пользователь не должен менять привычки: в будущем операционная система станет прозрачной средой для агентов, а человеку останется привычный интерфейс.

🧠 Новые ОС для агентов, выгорание разработчиков и инфраструктурные барьеры 57:39

Постоянное взаимодействие с нейросетями порождает специфический психологический стресс. Ахмад рассказал личную историю: проснувшись в субботу в пять утра, он первым делом поймал себя на навязчивом желании проверить фоновые задачи ночных агентов. Осознав уровень перегрузки, он написал твит с призывом «выйти на улицу и подышать свежим воздухом» и полностью отключился от работы на выходные. Задача технологий — разгружать человека, а не добавлять ему новые поводы для выгорания.

Дэвид Ондрей отметил, что по мере того как агенты забирают рутину (бухгалтерию, налоги, верстку презентаций), работа инженера переходит на уровень оркестрации сложных ансамблей. Это порождает новые инфраструктурные требования:

Классические контейнеры Docker слишком медлительны для моментального создания снимков состояния (снапшотов) и требуют альтернатив.
Nvidia разрабатывает процессоры линейки Vera Rubin специально с расчетом на агентные нагрузки.
Лаборатория Anthropic была вынуждена разработать собственную внутреннюю систему контроля версий, так как утилита Git не справлялась со скоростью генерации кода нейросетями.
Будущие операционные системы, по прогнозу Османа, будут представлять собой минималистичные контейнеры на базе ядра Linux с аппаратно вырезанными модулями Wi-Fi и доступа в интернет, исключающими побег агента из «песочницы».

В процессе беседы Осман запустил ещё один тест: по текстовому описанию агент ODS всего за 20 секунд сгенерировал прототип мультяшной hack-and-slash игры по вселенной «Властелина колец». Скорость генерации составила 72 токена в секунду для кода и около 50 токенов для аналитических рассуждений и вызова инструментов.

👁️ Гибридный ИИ, корпоративный шпионаж и угроза централизованного контроля 1:10:33

Главным риском облачного ИИ остаётся бесконтрольная утечка корпоративных секретов и приватности. Осман напомнил, что генеральный директор Figma публично возмущался тем, как крупная корпорация выпустила клон их продукта вскоре после активного использования их API. Известны прецеденты, когда главы технологических компаний держат в своих кабинетах физически изолированные от сети серверы исключительно для локальной сортировки электронной почты. Недавний инцидент с консольной утилитой Grok от xAI, которая отправляла содержимое домашней директории пользователя в облако, подтверждает необходимость строгой гигиены данных.

Дэвид поделился собственной корпоративной конфигурацией: в его компании установлены два сервера Nvidia H100, на которых локально исполняется нецензурированная версия DeepSeek. Любые юридические, бухгалтерские и коммерческие вопросы обрабатываются через приватный веб-интерфейс без отправки запросов третьим лицам.

Для бизнеса Osmantic предлагает компромиссную модель — ODS Enterprise:

Система работает как «защитный экран» для гибридного ИИ, обезличивая запросы.
Фрагменты задач отправляются в облачные передовые модели (Claude или GPT-6) в виде абстрактных функций без контекста.
Полученные высокоуровневые рекомендации возвращаются во внутренний контур и исполняются локальными агентами на собственных серверах.

В финале встречи собеседники предупредили об экзистенциальной опасности централизованного ИИ. Если монополисты и государства получат эксклюзивный контроль над когнитивными агентами, они смогут манипулировать выдачей ответов, внедрять скрытую цензуру, менять электоральные предпочтения граждан или вовсе отключать целые страны от вычислений. По мнению обоих экспертов, открытый исходный код и децентрализованное владение оборудованием остаются единственной гарантией защиты личной свободы в цифровую эпоху.