Будущее ИИ-исследований: от белков до «игрового» программирования 0:00
Недавняя встреча YC Paper Club, организованная Y Combinator, собрала ведущих исследователей и основателей стартапов для обсуждения пяти прорывных работ, меняющих ландшафт искусственного интеллекта. Франсуа Шобар, модератор встречи, задал тон дискуссии, поставив под сомнение вероятность того, что человечество сможет достичь AGI, основываясь исключительно на «субпространстве» человеческих данных.
Участники встречи:
- Яса Байг — исследователь в области BioAI.
- Люк Бэйли — специалист по пост-тренировке LLM через механизмы самоигры (self-play).
- Арнаб Майти — исследователь, занимающийся потоковыми RAG-системами.
- Роберт Джордж — эксперт по формальной верификации в математике и науке.
- Лукенс Ортвейн — основатель, применяющий стратегии RTS-игр в разработке ПО.
🧬 ИИ в биологии: за пределами AlphaFold 5:47
Яса Байг представил работу исследователей из Biohub, которая ставит под сомнение роль «ручного» проектирования в биологических моделях. Основная идея заключается в том, что «горький урок» (bitter lesson) Ричарда Саттона — превосходство общих методов масштабирования над специализированными — применим и к протеомике.
- Масштабирование данных: Модель ESM Cambrian показала, что отсутствие плато при увеличении параметров обусловлено гигантским объемом метагеномных данных — до 2,8 млрд последовательностей, собранных из окружающей среды, а не только из лабораторных культур.
- Отказ от MSA: В отличие от AlphaFold 3, требующего создания множественных выравниваний последовательностей (MSA), модель ESM fold 2 работает с одиночными последовательностями, достигая сопоставимых результатов в сложных задачах дизайна антител.
- Интерпретируемость: Авторы обнаружили, что латентное пространство модели без дополнительного контроля самоорганизуется в иерархию биологических концептов: от отдельных аминокислот до функциональных доменов. Это напоминает «карту Google» для белков, позволяющую находить эволюционные связи «бесплатно» как побочный продукт обучения.
🎮 Самоигра (Self-Play) для LLM 25:38
Люк Бэйли описал проблему «плато» в обучении языковых моделей с помощью обучения с подкреплением (RL). Классический метод, при котором модель пытается решить всё более сложные задачи, часто приводит к генерации «мусорных» данных — запутанных, но бесполезных математических задач.
- SGS (Self-guided self-play): Новый подход Бэйли вводит «гида» — третий компонент модели, который оценивает, является ли предложенная задача связанной и полезной, а не просто сложной.
- Результаты: Использование метода самонаправляемой самоигры позволило модели с 7 млрд параметров достичь производительности, сопоставимой с более крупными моделями, хотя до 100% решения задач путь ещё далёк.
🔊 Потоковый RAG для голосовых агентов 37:51
Арнаб Майти затронул критическую проблему latency в голосовых ИИ-агентах. Обычные RAG-системы (генерация с поиском) работают слишком медленно для естественного диалога.
- Fixed Interval Streaming RAG: Метод подразумевает запуск поиска по блокам аудио прямо во время речи пользователя.
- Оптимизация: Вместо запуска полного пайплайна на каждом этапе, система сравнивает промежуточные результаты с финальными, чтобы понять, достаточно ли контекста для ответа. Согласно данным, этот подход сокращает задержку ответа на 0,5–1,5 секунды без потери точности.
✅ Формальная верификация: Lean для науки 47:40
Роберт Джордж аргументировал, что мы входим в эру «верифицированного интеллекта». Инструменты, такие как Lean, позволяют превратить математику и код в систему, где каждый шаг логически доказан и не может быть «подделан».
- Verifiable Coding: Джордж призывает разработчиков переходить от «простого кодинга» к верифицируемому. Это крайне важно для минимизации багов в критически важных системах.
- Torch Lean: Автор представил фреймворк для написания нейросетей непосредственно в Lean, что позволяет математически доказывать свойства моделей — например, эквивалентность Flash Attention стандартному механизму внимания.
🚀 Программирование как стратегия (RTS) 58:52
Лукенс Ортвейн предложил радикально иной подход к управлению ИИ-агентами, сравнив его с игрой в StarCraft или Warcraft.
- Макро-менеджмент: Вместо полировки одной функции (micro), основатель советует параллельно запускать десятки агентов (macro), даже если они делают ошибки, которые можно исправить позже.
- Звуковые сигналы: Ортвейн использует аудио-сигналы из RTS-игр для мониторинга состояния своих ИИ-агентов. Это позволяет мгновенно реагировать на критические сбои, не отвлекаясь на чтение логов.
- Результаты: Внедрение этой «игровой» философии в компании позволило увеличить количество PR (Pull Requests) на инженера на 60% за один месяц.
