В новом выпуске подкаста Давид Ондржей и его гость Ахмад Осман обсуждают переход от централизованных ИИ-сервисов к частным домашним дата-центрам. Они разбирают, почему владение собственной инфраструктурой становится вопросом цифрового суверенитета, как собрать мощный сервер при бюджете в $5,000 и почему закрытые лаборатории, по их мнению, намеренно препятствуют развитию открытого ПО.
🛡️ ИИ как гражданская инфраструктура: почему важен открытый код 0:00
Ахмад Осман утверждает, что ИИ — это не просто удобный инструмент, а «цивилизационная инфраструктура» . По его мнению, критически важно, чтобы каждый человек имел доступ к весам моделей и мог запускать их на собственном оборудовании. Основные аргументы Османа в пользу открытого кода и локального хостинга включают:
- Контроль над интеллектом: Если модель находится под управлением сторонней корпорации, она может в любой момент «поглупеть» на 5% из-за изменений на стороне сервера или вовсе стать недоступной в конкретном регионе .
- Конфиденциальность: При использовании облачных API (например, ChatGPT) данные пользователя анализируются для таргетинга рекламы . Осман отмечает, что ИИ-компании знают о пользователях больше, чем любая социальная сеть, так как люди делятся с нейросетью глубоко личными мыслями .
- Защита интеллектуальной собственности: Организации рискуют потерять свои коммерческие тайны, отправляя их в облако. Локальный запуск гарантирует, что никто не увидит историю взаимодействий и не использует бизнес-логику компании для обучения конкурирующих моделей .
Давид Ондржей добавляет, что зависимость от чужого ИИ опасна так же, как отсутствие интернета или электричества . По его словам, через пару лет ИИ станет основной технологией для конкуренции на рынке труда, и потеря доступа к нему сделает человека профессионально «беспомощным».
📉 Экономика железа: почему GPU становятся инвестицией 5:42
Рынок аппаратного обеспечения для ИИ сейчас находится в состоянии дефицита. Ахмад Осман подчеркивает, что потребительские видеокарты будут первыми, на что вырастут цены из-за огромного спроса со стороны гигантских дата-центров .
- Рост цен: Год назад RTX 5090 (в транскрипте упоминается как 1590, вероятно, из-за ошибки распознавания 5090 или 3090) стоила в Walmart около $1,900, а недавно её цена в Micro Center подскочила до $4,400 .
- Проблема памяти: Память перестала быть «цикличным» товаром. Если раньше цены падали после массового апгрейда (например, перехода с DDR3 на DDR4), то сейчас спрос на генерацию токенов бесконечен, что удерживает цены на высоком уровне .
- Дефицит Apple: По словам Османа, даже Apple признаёт трудности с запасами памяти, что может привести к росту цен на iPhone и дефициту устройств уже в сентябре текущего года .
В шутку Ахмад Осман замечает, что покупка GPU сейчас — лучшая инвестиция, и ради неё «можно продать и почку» .
🛠️ Сборка локального дата-центра: бюджеты и железо 10:41
Для тех, кто хочет уйти от подписок на облачные ИИ, эксперты предлагают несколько вариантов сборки в зависимости от бюджета.
Бюджет $5,000: Точка входа 10:55
По мнению Османа, это минимальный порог для серьезной работы.
- Вариант 1: Сборка на базе двух подержанных RTX 3090. Это даст 48 ГБ видеопамяти, что позволяет запускать модели вроде Qwen 3.5 (27B) или Llama 3.
- Вариант 2: Покупка готовых решений вроде DGX Spark или систем на базе Strix Halo .
Бюджет $10,000 и выше 15:30
- $10,000: Система с одной видеокартой RTX 5090 и топовой обвязкой (процессор Threadripper, большой объем RAM, скоростные SSD) .
- $20,000+: Переход на профессиональные карты уровня RTX Pro 6000 (Ada Generation) с 48 ГБ быстрой памяти .
Ахмад Осман предупреждает: попытка собрать систему «на вырост» с постепенным добавлением GPU может обойтись дороже. Серверные материнские платы и оперативная память для них стоят колоссальных денег ($7,000–$8,000 только за RAM), поэтому часто выгоднее сразу определиться с конфигурацией .
🧠 Технические нюансы: Емкость vs Пропускная способность 12:15
При выборе железа новички часто смотрят только на объем памяти (ГБ), но Осман выделяет два ключевых параметра:
- Memory Capacity (Емкость): Определяет, насколько «умную» и большую модель вы сможете загрузить.
- Memory Bandwidth (Пропускная способность): Определяет скорость генерации токенов (сколько слов в секунду выдает ИИ).
Например, RTX Pro 6000 имеет пропускную способность 1.8 ТБ/с, в то время как DGX Spark — всего 273 ГБ/с . Это критично при работе с длинными контекстами: на слабом железе обработка запроса с 200,000 токенов может занять 23 минуты .
Также эксперты предостерегают от покупки видеокарт Intel или AMD для ИИ-задач без понимания софтверной части. Несмотря на хорошие характеристики «на бумаге», для них гораздо меньше оптимизированных ядер (kernels) и библиотек, что делает работу с ними мучительной по сравнению с Nvidia .
💻 Программный стек: ODS и автоматизация 8:19
Локальный ИИ — это не только модель, но и инфраструктура: поисковые движки, скреперы, базы данных для RAG. Чтобы упростить жизнь пользователям, Ахмад Осман развивает проект ODS (Osmantic Deployment System).
- Это опенсорсная система (лицензия Apache 2.0), доступная на GitHub .
- Установка выполняется одной командой .
- Она объединяет в одном интерфейсе чат, генерацию изображений и видео, а также агентов с доступом к интернету .
Осман приводит пример: его друг не мог заставить локальную модель Qwen изменить подсветку на видеокарте, пока не подключил через ODS поисковый движок, позволивший нейросети найти нужные команды в сети .
🥊 Противостояние: Открытые модели против «Закрытых лабораторий» 19:24
Обсуждая текущие лидерские позиции в индустрии, собеседники критикуют Anthropic и OpenAI за попытки «регуляторного захвата».
- Гипокризия безопасности: Осман утверждает, что все разговоры закрытых лабораторий о «безопасности» и «замедлении ИИ» — это лишь попытка задушить конкуренцию со стороны открытых моделей .
- Кейс Hugging Face: Когда Hugging Face подверглась атаке со стороны агентов на базе моделей OpenAI, проприетарные модели (GPT и Claude) отказались помогать в защите, сославшись на «правила безопасности» . В итоге инженерам пришлось использовать открытую китайскую модель GLM 5.2 для отражения атаки .
- Anthropic под огнем: Осман называет Anthropic «недобросовестным игроком», утверждая, что 50% подписавших письма за жесткое регулирование ИИ — это сотрудники этой компании . Он считает их оценку в $1 трлн неоправданной и находящейся под угрозой из-за выхода мощных открытых моделей вроде Kimi K3 и DeepSeek V4 .
📈 Будущее и бизнес-возможности 38:00
Для бизнеса переход на собственное железо — это не только вопрос безопасности, но и прямой экономии. По данным Osmantic, организации экономят в среднем 70% расходов на ИИ в первый же год после отказа от облачных API в пользу собственной инфраструктуры .
Ахмад Осман прогнозирует, что к концу текущего года мы увидим:
- Интеллект уровня Opus 4.5, работающий локально на одной карте RTX Pro 6000 .
- Появление сверхэффективных малых моделей, обученных на синтетических данных от гигантов вроде Kimi K3 .
- Рост спроса на специалистов, способных развертывать и оптимизировать локальный софтверный стек .
В завершение беседы Ахмад Осман советует компаниям и частным лицам начинать инвестировать в собственное «железо» и открытые модели прямо сейчас, пока аппаратные ресурсы не стали окончательно недоступны из-за монополии облачных гигантов.
