В современной гонке за создание сильного искусственного интеллекта (AGI) фокус сместился с простого сбора данных из интернета на создание высокоспециализированных сред обучения. Генеральный директор Labelbox Ману Шарма в подкасте The Cognitive Revolution описывает текущее состояние индустрии как «эпоху фабрик данных», где ежегодные бюджеты ведущих лабораторий на пост-обучение (post-training) превышают миллиард долларов.
🌪️ Хаос и реорганизация в индустрии данных 0:00
Индустрия ИИ переживает период значительной трансформации, вызванный недавними крупными сделками, такими как соглашение Meta с Scale AI на сумму 15 миллиардов долларов . Переход ключевых фигур, включая бывшего CEO Scale Алекса Ванга в Meta для руководства командой супер-интеллекта, создал волну неопределенности и новых возможностей в секторе . По словам Ману Шармы, сейчас мир наблюдает «максимальную скорость инноваций в день», которую когда-либо видело человечество .
Ману Шарма выделяет три столпа, необходимых для создания фронтирных моделей:
- Вычислительные мощности (Compute): огромные капитальные вложения в инфраструктуру .
- Талант: исследователи, знающие архитектуры нейронных сетей .
- Данные: переход к режиму, где основной упор делается на пост-обучение .
Если на этапе предварительного обучения (pre-training) модель поглощает паттерны из всего интернета, то пост-обучение превращает «базовую модель» в полезного помощника . Ману Шарма утверждает, что каждая западная фронтирная лаборатория ИИ сейчас тратит более 1 миллиарда долларов в год исключительно на данные для пост-обучения .
🧬 Эволюция пост-обучения: от разметки к «гимназиям» 7:14
Подходы к созданию данных прошли несколько ключевых этапов развития:
- Supervised Learning (SFT): Люди размечали изображения и видео, заставляя модели подражать человеческим тегам .
- RLHF (Reinforcement Learning from Human Feedback): Специализированные наборы данных для обучения моделей взаимодействию с работниками интеллектуального труда .
- RL из верифицируемых вознаграждений: Текущая парадигма, в которой модели развивают навыки в специализированных средах .
Ману Шарма называет эти среды «тренажерными залами» (Gyms), где модели обучаются методом проб, ошибок и автоматизированной обратной связи . Наиболее активно этот метод применяется в программировании (coding) и математике, так как результат там легко верифицировать — работает код или нет, правильный ли численный ответ .
По мнению гостя, рассуждение (reasoning) теперь рассматривается как «эмерджентное свойство», возникающее в процессе обучения с подкреплением (RL), а не просто результат прямого подражания человеческим цепочкам мыслей .
🧑я Кадры нового поколения: AI-тренеры с зарплатой в $250 000 10:45
Современный рынок данных отошел от концепции «цифровых потогонных цехов» с низкоквалифицированным трудом. Сегодня Labelbox работает с сетью экспертов из 70 стран, включая физиков, математиков и программистов олимпийского уровня .
Ключевые факты о рынке труда AI-тренеров:
- Доходы: Топ-контрибьюторы на платформе Labelbox зарабатывают более 250 000 долларов в год .
- Сложность задач: Эксперты не просто ставят галочки, а создают среды обучения, пишут верификаторы и решают задачи с «длинным горизонтом» .
- Отбор: Labelbox проводит более 2 000 интервью в день с помощью собственной ИИ-системы Zara .
Ману Шарма отмечает, что ИИ-интервьюер Zara имеет средний рейтинг удовлетворенности 4.6–4.7 из 5 . Кандидатам нравится, что система проявляет бесконечное терпение и способна обсуждать нюансы их докторских диссертаций на уровне, недоступном обычному рекрутеру . Однако наблюдается и «человеческая изобретательность» в попытках обмана: кандидаты иногда используют продвинутый голосовой режим ChatGPT, чтобы два ИИ разговаривали друг с другом во время интервью .
🛠️ Тонкая настройка (Fine-tuning) против контекстной инженерии 46:11
В корпоративном секторе Ману Шарма наблюдает отказ от традиционного fine-tuning (дообучения весов модели) в пользу «контекстной инженерии» (context engineering) .
Аргументы в пользу контекстной инженерии (RAG и промпт-инжиниринг):
- Эффективность: Базовые модели (например, Gemini или Claude) уже обладают мощными способностями к рассуждению, которые превосходят узкоспециализированные модели .
- Динамичность: Fine-tuning «замораживает» инвестиции в конкретную версию модели, тогда как контекстная инженерия позволяет легко переключаться на новые, более мощные базовые модели, выходящие каждые несколько недель .
- Стоимость: Дообучение часто используется только для оптимизации затрат (дистилляция знаний из большой модели в маленькую) или когда требуются уникальные суждения, отсутствующие в базе .
Ману Шарма приводит пример: модель Gemini 1.5 Pro по многим медицинским тестам превосходит Med-PaLM 2 — модель, специально обученную только на медицинских данных . Это доказывает, что общие способности к рассуждению критически важны даже в узких профессиональных областях.
🌍 Суверенный ИИ и глобальные перспективы 1:13:35
Обсуждая вопрос «суверенного ИИ» для таких стран, как Бразилия или Индия, Ману Шарма советует правительствам не инвестировать в технологии ради технологий, а идти от обратного — от конкретных целей и клиентского опыта .
Его рекомендации для государств:
- Определить высокоценные сценарии использования (налоги, здравоохранение, государственные услуги) .
- Использовать частные фронтирные или открытые модели как базу .
- Инвестировать в сбор уникальных национальных данных (язык, культурные особенности, локальное законодательство), чтобы адаптировать эти модели под нужды граждан .
Ману Шарма приводит аналогию из своего опыта в Planet Labs: Бразилии не обязательно запускать собственные спутники, чтобы следить за вырубкой лесов — достаточно покупать данные и инсайты у компаний, которые уже сканируют всю Землю ежедневно . Аналогично, странам стоит сосредоточиться на слое приложений и данных, а не на попытке перегнать OpenAI в вычислительных мощностях.
🔮 Будущее: Плато или Взлет? 1:36:53
На вопрос о том, ждет ли нас плато в развитии ИИ или стремительный взлет (fast takeoff), Ману Шарма отвечает, что мы уже находимся в фазе ускорения . Однако ключевым фактором дальнейшего прогресса станет передача моделям концепции «качества» и «вкуса» .
Ссылаясь на книгу «Дзен и искусство ухода за мотоциклом», Шарма подчеркивает, что люди часто узнают качество, когда видят его, но не могут его формализовать . Задача Labelbox и всей индустрии данных на ближайшие годы — найти способы передать это интуитивное человеческое понимание превосходства алгоритмам, что станет ключом к созданию по-настоящему надежных и полезных ИИ-агентов .
Инвестиционные метрики и факты:
- Labelbox: Последний раунд финансирования составил $110 млн (начало 2022 года) .
- Сделка Meta/Scale AI: Оценивается в $15 млрд .
- Расходы на данные: Фронтирные лаборатории тратят >$1 млрд в год каждая .
- Операционные показатели: Labelbox проводит >2000 ИИ-интервью в сутки .
