Материал портала The Information о замедлении прогресса в разработке нейросетей вызвал бурную дискуссию в Кремниевой долине. Пока СМИ пишут о «стене», в которую уперлись языковые модели, главы технологических гигантов и ведущие ученые спорят о том, закончила ли свою работу «закон масштабирования» (Scaling Laws) или индустрия просто переходит к новым методам обучения.
🧱 Тупик или передышка: почему говорят о замедлении ИИ 0:00
Издание The Information опубликовало серию материалов, утверждающих, что прогресс ИИ начинает пробуксовывать . Журналисты ссылаются на сотрудников OpenAI, которые тестировали новую модель Orion (следующий крупный релиз после GPT-4). По их словам, прирост качества в Orion оказался значительно меньше, чем скачок между GPT-3 и GPT-4 . Хотя модель лучше справляется с языковыми задачами, она может не превзойти предшественников в таких областях, как программирование .
Это ставит под сомнение так называемые «законы масштабирования» — фундаментальную уверенность отрасли в том, что увеличение объема данных, вычислительных мощностей и времени обучения неизменно ведет к пропорциональному росту интеллекта системы .
Ведущий канала Уэс Рот выделяет три позиции в этом споре:
- Пессимисты (Гэри Маркус): Утверждают, что глубокое обучение достигло предела.
- Реалисты/Скептики (The Information): Считают, что «легкие победы» закончились и теперь прогресс потребует принципиально новых подходов.
- Оптимисты (Сэм Альтман): Отрицают наличие каких-либо барьеров.
🗣️ «Стены нет»: реакция Сэма Альтмана и Яна Лекуна 1:47
Генеральный директор OpenAI Сэм Альтман (Sam Altman) лаконично ответил на слухи в соцсетях: «Стены нет» . Уэс Рот отмечает, что даже бывшие сотрудники OpenAI, ушедшие из-за опасений по поводу безопасности, не подтверждают замедление. Напротив, они считают, что технология развивается слишком быстро, и природное «плато» в разработке дало бы человечеству необходимое время на решение вопросов выравнивания (alignment) .
Ян Лекун (Yann LeCun), главный ученый Meta по ИИ, также жестко раскритиковал идею о «тупике» . По мнению Лекуна:
- Глубокое обучение не достигло предела и останется фундаментом будущих систем .
- Критика deep learning — это «арьергардное сражение», которое критики уже проиграли .
- При этом сам Лекун скептически относится к тому, что одни лишь LLM (большие языковые модели) приведут нас к AGI (общему искусственному интеллекту) .
📉 Кейс Гэри Маркуса: пророк или хейтер? 2:39
Главным апологетом идеи «стены» остается Гэри Маркус. Он утверждает, что отчеты о снижении доходности от масштабирования подтверждают его прогнозы 2022 года . Однако Уэс Рот приводит список достижений ИИ, произошедших именно после того, как Маркус впервые заявил о тупике:
- AlphaProteo: Генерирует новые белки для борьбы с раком и вирусами .
- AlphaProof: Набрала баллы на уровне серебряного призера Международной математической олимпиады (IMO), решив сложнейшие задачи с доказательствами .
- Eureka (NVIDIA): ИИ обучил роборуку виртуозному вращению ручки, создав функции вознаграждения, которые на 52% эффективнее написанных людьми-экспертами .
Особенно интересно, что в сложных задачах идеи ИИ (например, в системе Eureka) становятся «инопланетными» — они сильно отклоняются от человеческой логики, но работают при этом лучше .
🧠 Тест ARC-AGI: последний бастион человеческого превосходства 11:08
Поскольку стандартные бенчмарки (тесты) для ИИ быстро «насыщаются» (модели достигают 100% точности за счет запоминания данных), индустрия обратилась к ARC-AGI . Этот тест, созданный Франсуа Шолле (François Chollet), проверяет способность к абстрактному мышлению на задачах, которые просты для человека, но сложны для машин .
Ключевые факты о ARC-AGI:
- Порог AGI: Считается, что достижение 85% точности будет эквивалентно уровню человеческого интеллекта .
- Текущие рекорды: На платформе Kaggle лучшие команды достигают около 55.5% .
- Новые методы: Исследование MIT показало эффективность «обучения во время тестирования» (test-time training), позволив достичь 61.9%, что близко к среднему человеческому результату .
Сэм Альтман намекнул, что OpenAI, возможно, уже решили эту задачу . На вопрос в соцсетях о том, верят ли пользователи, что ARC-AGI пройден, Альтман ответил загадочным вопросом: «В глубине души вы верите, что мы решили это или нет?» .
🚀 Новая стратегия: вычисления во время работы (Inference Compute) 16:01
Вместо того чтобы просто увеличивать масштаб пре-тренинга (обучения на гигантских массивах данных), исследователи Google и OpenAI переключаются на другие методы :
- Hyperparameter tuning: Тонкая настройка параметров того, как модель учится .
- Test-time compute: Моделям дают больше времени «подумать» перед выдачей ответа. Увеличение вычислительных затрат в момент инференса (вывода), а не только при обучении, дает колоссальный прирост в логических задачах .
Уэс Рот резюмирует: хотя традиционное масштабирование может замедляться, новые архитектурные решения и методы обработки данных позволяют обходить «стену», о которой говорят СМИ.
