В этом выпуске подкаста Machine Learning Street Talk ведущий обсуждает с исследователем Александром Мэттиком глубокие вопросы машинного обучения: от природы нейронных сетей и проблемы их экстраполяции до поиска «интересности» в научном поиске. Основное внимание уделяется дихотомии между дискретными и непрерывными структурами, а также применимости логического вывода в современных моделях искусственного интеллекта.
🧠 Природа нейронных сетей: сплайны против абстракций 0:53
Александр Мэттик, студент Университета Фридриха — Александра (FAU), рассматривает нейронные сети через призму теории сплайнов. По его мнению, нейронные сети не обучаются «абстракциям» в привычном человеческом понимании. Вместо этого они занимают пространство «нарезанием» (slicing and dicing) на множество регионов с помощью гиперплоскостей.
- Доминантность ReLU: Согласно теории сплайнов, активационная функция ReLU превращает нейронную сеть в сложную комбинацию линейных функций. Вся магия генерализации кроется в переключении этих линейных блоков, а не в «плавных кривых», на которые часто возлагают надежды.
- Проблема экстраполяции: Мэттик полагает, что нейронные сети работают хорошо в пределах обучающей выборки, но при попытке выйти за их границы (экстраполяция) структура «разваливается», так как модель не владеет концептуальными правилами, а лишь использует «сотовые» структуры в пространстве.
- Отсутствие «объектности»: Ведущий отмечает, что, в отличие от человека, нейронные сети легко обмануть (например, добавив один «радужный» пиксель), что ставит под сомнение наличие в них истинной объектной абстракции.
⚖️ Непрерывное и дискретное: дилемма ИИ 12:18
Одной из ключевых тем беседы стало различие между непрерывными методами (нейронные сети) и дискретным логическим выводом.
- Непрерывность против логики: Мэттик утверждает, что нейронные сети по своей природе непрерывны, что делает их плохо приспособленными к жестким логическим правилам. Дискретные объекты не допускают «малых изменений» (эпсилон-возмущений), в то время как нейронные сети процветают именно на возможности плавного перемещения в пространстве параметров.
- Теорема о всеобщей аппроксимации: Мэттик критикует «коннекционистов», которые используют эту теорему как аргумент того, что между дискретным и непрерывным нет разницы. Он подчеркивает, что практическая работа с конечным числом данных и нейронов кардинально отличается от теоретического предела «бесконечности».
🔍 Поиск «интересности» и научный метод 19:00
Дискуссия коснулась концепции Кеннета Стэнли о поиске «интересности» (interestingness) и сравнения жизни с навигацией в лабиринте.
- Наука против инженерии: Мэттик проводит параллель с цитатой Клода Шеннона: мы знаем прошлое, но не можем его изменить; мы контролируем будущее, но ничего о нем не знаем. Ученые используют контролируемые эксперименты для получения знаний, тогда как инженеры используют знания для получения контроля над будущим.
- Поиск без цели: Хотя идея «поиска без цели» кажется интригующей, Мэттик указывает на сложность выбора метрик для оптимизации. Он признает, что создание программных систем (например, для автоматического доказательства теорем) требует баланса между обучением на неудачах и предотвращением «бессмысленного поиска» в неверном направлении.
🛠 Практическое применение: синтез программ 43:22
В завершение стороны обсудили будущее дискретного синтеза программ, например, для нужд платформы проверки кода.
- Риск «змеиного масла»: Мэттик предостерегает от поспешных заявлений о победе в области синтеза программ. Он напоминает о 20-летних попытках внедрения метасистем (например, гомотопической теории типов), которые сталкиваются с проблемой «постоянно сдвигающихся целей».
- Ограниченная победа: Реальный успех возможен в узких задачах, таких как поиск утечек памяти или race conditions (например, с помощью инструмента Infer от Facebook). Попытки же «автоматизировать всё подряд» неизбежно упираются в экспоненциальный рост сложности.
