# OpenAI Codex: революция в разработке или продвинутая поисковая машина по GitHub? Источник: https://www.youtube.com/watch?v=1CG_I3vMHn4 Канал: Machine Learning Street Talk Опубликовано: 01.09.2021 --- OpenAI Codex вызвал волну восторженных отзывов в сети, однако за виральными роликами скрывается сложная реальность: от 90% ошибок при генерации до споров о том, является ли это настоящим интеллектом или просто продвинутой поисковой машиной. В рамках дискуссии на канале Machine Learning Street Talk эксперты Янник Килчер, Коннор Лихи и Валид Саба разобрали технические возможности и фундаментальные ограничения новой модели. ## 🕹️ Испытание в «песочнице»: первые впечатления и подводные камни [[JUMP:00:00]] Первое знакомство с OpenAI Codex часто вызывает восторженную реакцию, сравнимую с детским азартом [0:00]. В ходе демонстрации участники пытались создавать простые игры и интерфейсы с помощью текстовых команд. Однако ведущий Machine Learning Street Talk отмечает критическую проблему — «предвзятость выбора» (selection bias) в видеороликах о Codex [1:04]. По словам ведущего, около 90% времени при работе с моделью уходит на исправление ошибок, которые остаются за кадром в большинстве демонстраций [1:04]. В процессе тестирования были получены следующие результаты: * **Создание сетки 12x12:** Модель успешно сгенерировала шахматную доску после уточнения промпта [2:31]. * **Интеграция объектов:** Codex смог добавить изображение покемона в ячейку и реализовать его перемещение с помощью клавиш со стрелками, что участники назвали «невероятным» [2:57]. * **Проблемы с логикой:** При попытке реализовать ускорение персонажа или сложные столкновения модель часто выдавала неработающий код или игнорировала команды [5:11]. * **Финансовые данные:** Попытка написать скрипт для предсказания цены биткоина с помощью SVM (метод опорных векторов) привела к созданию стандартного шаблона, который никак не учитывал специфику данных [9:48]. Ведущий подчеркивает, что Codex генерирует код, подходящий скорее для «одноразового использования», и пока не способен помочь в написании ПО корпоративного уровня [0:37]. ## 🛠️ Мнение Коннора Лихи: Копилот как инструмент для «рутинной работы» [[JUMP:18:50]] Коннор Лихи охарактеризовал Codex как «ожидаемый», но впечатляющий прогресс по сравнению с GPT-3 [19:04]. Он отметил, что GPT-3 изначально имела крайне неэффективный токенизатор для кода (например, каждый пробел в отступе мог считаться отдельным токеном), поэтому создание специализированной модели было логичным шагом [19:30]. Ключевые тезисы Коннора Лихи: * **Эффективность GitHub Copilot:** По мнению Лихи, этот продукт уже полезен, так как позволяет автоматизировать скучные части разработки, ускоряя работу программиста примерно на 20% [20:08]. * **Замена «код-манки»:** Лихи полагает, что модель не заменит гениальных разработчиков на Haskell, но значительно повысит продуктивность рядовых программистов, занимающихся написанием шаблонного (boilerplate) кода на JavaScript [21:53]. * **Экстраполяция будущего:** Лихи утверждает, что в будущем создание приложений и стартапов будет возможно через простое общение с компьютером на естественном языке [22:46]. Лихи также высказал спорную мысль: «Достаточно сложная интерполяция или достаточно сложное запоминание неотличимы от интеллекта» [28:09]. Он считает, что многие критики используют слово «просто» (например, «просто запоминание»), чтобы обесценить возможности нейросетей, хотя люди часто ведут себя аналогично моделям [27:55]. ## ⚖️ Янник Килчер о необходимости контроля и «судебном» программировании [[JUMP:35:47]] Янник Килчер считает, что Codex пока не готов к полноценному использованию в том виде, в котором его рекламируют [35:47]. По его мнению, пользователь всё ещё должен уметь программировать, чтобы: 1. Читать и проверять сгенерированный код на наличие ошибок [36:13]. 2. Переформулировать запросы, когда модель не понимает контекст (например, зацикливание функции проверки столкновения шаров) [36:53]. 3. Вносить правки вручную [36:13]. Янник Килчер выделяет сильные стороны модели: * **Автоматизация SQL:** Codex отлично справляется с созданием SQL-запросов для заданных моделей данных, понимая даже связи по внешним ключам (foreign keys) [37:44]. * **Удаление рутины:** Около 90% кода на Java (геттеры, сеттеры) может быть автоматизировано [38:10]. Килчер сравнил Codex с беспилотными автомобилями: со временем мы можем привыкнуть к тому, что машины совершают меньше ошибок, чем люди, даже если их промахи иногда будут выглядеть нелепо [41:58]. ## 🔍 Валид Саба: Информационный поиск против абстрактного мышления [[JUMP:43:31]] Валид Саба выразил восхищение техническим достижением OpenAI, назвав сопряжение естественного языка с кодом «очень крутым» [51:03]. Однако он строго разделяет внешнюю эффектность и реальный ИИ. Основные выводы Валида Сабы: * **Это не генерация, а извлечение:** По утверждению Сабы, Codex — это «массивная машина для поиска информации» (IR machine), которая «переварила» миллиарды строк кода из GitHub [50:13]. * **Отсутствие новизны:** Саба считает, что если попросить модель написать принципиально новый алгоритм, который ещё не встречался в репозиториях, она потерпит неудачу [46:20]. * **Когнитивный диссонанс:** Саба полагает, что Codex впечатляет как поисковик, но как система ИИ, способная к абстрактным рассуждениям, он «даже не стучится в дверь» [48:07]. Саба видит будущее этой технологии в образовании: Codex может генерировать «скелеты» кода или примеры для новичков и студентов [52:31]. Однако «автоматическое программирование» в полном смысле слова, по мнению учёного, всё ещё остаётся мечтой [50:41]. ## 🏁 Резюме: Инструмент для чистого листа [[JUMP:50:55]] Участники дискуссии сошлись на том, что на текущем этапе Codex наиболее полезен в режиме «старта с нуля» (blank slate), когда нужно быстро набросать структуру проекта [51:08]. Использование модели в контексте жизненного цикла разработки крупного ПО на существующей кодовой базе пока видится затруднительным. По мнению ведущего, несмотря на магические моменты «вау-эффекта», реальность такова, что инструмент пока не экономит время опытного инженера, так как требует постоянной проверки и отладки [14:11].