Тест ARC: Новый взгляд на измерение интеллекта ИИ 0:00
В завершающей части серии видео, посвященной статье Франсуа Шолле «Об измерении интеллекта» (On the Measure of Intelligence), Янник Килхер разбирает ARC Challenge (Abstraction and Reasoning Corpus). Этот набор данных, созданный Шолле, представляет собой попытку создать эталонный тест для оценки способностей ИИ, который был бы максимально приближен к принципам человеческого мышления, опираясь на интуитивные знания, а не на зазубривание огромных объемов информации.
Механика и архитектура задач ARC 1:06
ARC Challenge радикально отличается от стандартных задач машинного обучения, таких как ImageNet или классические NLP-бенчмарки. Суть теста заключается в следующем:
- Формат: Каждая задача состоит из нескольких «демонстрационных» пар (входные и выходные сетки) и одного «тестового» примера, где выходная сетка скрыта.
- Сложность: Входные и выходные сетки могут иметь размер от 1x1 до 30x30 пикселей.
- Ограниченность данных: В среднем на одну задачу приходится всего три демонстрационных примера. Это исключает возможность использования методов глубокого обучения, требующих миллионов размеченных изображений.
- Динамика: Набор данных содержит 1000 уникальных задач: 400 обучающих, 400 публичных тестовых и 200 секретных, используемых в рамках соревнований на Kaggle.
По словам Янника Килхера, человек интуитивно считывает закономерности (например, симметрию, заполнение пустот или достройку фигур) даже после одного-двух примеров. Машине же, чтобы добиться успеха, необходимо не просто сопоставить пиксели, а понять логику трансформации.
Врожденные когнитивные приориты 10:48
Франсуа Шолле настаивает, что для справедливого сравнения машин с людьми необходимо явно описать «человеческие приориты» (human priors) — базовые знания о мире, которые человек получает через эволюцию или ранний жизненный опыт. Основные приориты, заложенные в ARC:
- Объектность (Objectness): Понимание того, что объекты существуют, обладают границами (цветом) и могут сохранять свойства.
- Геометрия и топология: Базовые навыки работы с линиями, симметрией, поворотами, отражениями и масштабированием.
- Целеполагание (Goal-directedness): Способность интерпретировать действия как движение к цели (например, объект «стремится» достичь препятствия или обойти его).
- Числа и счёт: Базовая способность сопоставлять количество объектов или элементов.
Кильхер отмечает, что создание системы, способной «вычислить» эти правила из малого количества данных, — задача крайне сложная, фактически эквивалентная созданию полноценного сильного ИИ (AGI).
Подход к решению: путь к AGI? 22:38
Франсуа Шолле предлагает решать ARC через разработку предметно-ориентированного языка (DSL), способного формально описывать все возможные задачи, опираясь на вышеупомянутые когнитивные приориты.
Процесс решения, согласно Шолле, выглядит так:
- Использование DSL для генерации множества программ-кандидатов, которые превращают входные сетки в выходные.
- Выбор наиболее подходящего решения на основе критериев простоты или вероятности программы.
- Применение выбранной программы к тестовому примеру.
Янник Килхер считает этот подход амбициозным, но «излишне оптимистичным». С его точки зрения, попытка формализовать человеческие знания — это «задача уровня построения AGI». Он предполагает, что эффективным методом может стать дообучение моделей типа GPT-3 на специально сгенерированных наборах данных, в которых программно прописаны правила «объектности» и поведения, имитирующие логику Шолле.
Критика и перспективы 29:22
Дискуссия завершается скептическим замечанием об «эффекте ИИ» (AI Effect): когда задача кажется интеллектуальной, но как только машина учится её решать, люди начинают говорить, что это «просто взлом» или «хитрый алгоритм», а не настоящий интеллект.
Тем не менее, оба эксперта согласны: ARC Challenge — это качественный шаг вперёд, так как он контролирует уровень «опыта» (количество данных) и «приоритов» (базовых знаний), делая сравнение возможностей человека и машины более научным и честным.
