Современные алгоритмы сжатия данных способны упаковать произвольный текст до показателя менее одного бита на символ, обращая в реальность парадоксальные выводы теории информации Клода Шеннона. В заключительной части своей трилогии автор канала 3Blue1Brown демонстрирует, как совмещение статистических языковых моделей и арифметического кодирования превращает предсказание следующего символа в эффективный архиватор. На этом фундаменте ведущий разбирает фундаментальный философский и математический тезис: почему способность к эффективному сжатию информации может служить строгим эквивалентом интеллекта.
🗜️ Парадокс Клода Шеннона: как упаковать абзац текста в один бит 0:00
Существует открытая денежная премия Hutter Prize, учреждённая исследователем Маркусом Хуттером для любого, кто сможет превзойти текущий рекорд сжатия одного гигабайта Википедии . В основе абсолютно всех победных решений этого соревнования лежит единый фундаментальный математический принцип, применимый не только к тексту, но и к изображениям, аудио и видео .
Любой процесс сжатия без потерь представляет собой пару взаимосвязанных программ:
- кодировщик у отправителя, преобразующий исходные данные в минимально возможную цепочку нулей и единиц ;
- декодировщик у получателя, восстанавливающий по этой цепочке точную копию оригинала .
В 1940-х годах Клод Шеннон доказал, что оптимальное число битов для кодирования сообщения приблизительно равно отрицательному логарифму по основанию два от вероятности появления этого сообщения: $-\log_2(p)$ . Автор видео отмечает, что эту величину было бы нагляднее обозначать как логарифм по основанию $1/2$ от вероятности: каждое деление вероятности пополам увеличивает объём информации ровно на один бит .
С математической точки зрения эта формула кажется логичной, однако её практические следствия долгое время выглядели абсурдно . Если взять хорошо известный предсказуемый фрагмент текста — например, преамбулу Конституции США, — то после первых слов («We the People of the United States…») человек, знакомый с историческими документами, может с огромной уверенностью предсказать всё последующее продолжение .
Если вероятность появления именно этих символов оценивается, к примеру, в 50%, то по формуле Шеннона информационная ёмкость всего оставшегося фрагмента составляет всего один бит . Даже если оценить шанс как один к тысяче, это всё равно составит лишь около 10 бит информации .
Стандартные методы кодирования с такой задачей не справляются:
- кодировка ASCII тратит на подобный фрагмент более 2500 бит ;
- классическое кодирование Хаффмана, сопоставляющее частым символам более короткие битовые последовательности, снижает объём лишь до примерно 1500 бит .
Главный недостаток алгоритма Хаффмана заключается в том, что он присваивает каждому символу фиксированный код и совершенно не учитывает контекст . Однако в современную эпоху появился инструмент, специально обученный выдавать распределение вероятностей следующего символа на основе предшествующего контекста, — языковые модели .
Если снабдить и отправителя, и получателя копиями одной и той же языковой модели, процесс передачи радикально меняется . Качество итоговой компрессии начинает напрямую зависеть от прогностической силы используемой нейросети .
🔢 Текст как вещественное число: геометрия арифметического кодирования 6:27
Суть рассматриваемого метода состоит в том, чтобы закодировать произвольный массив текста в одно чрезвычайно точное вещественное число, лежащее в диапазоне от 0 до 1 .
Для наглядности ведущий разбирает модель, работающую посимвольно со стандартным алфавитом из 26 латинских букв . Пространство возможных исходов визуализируется в виде единичного отрезка $[0, 1]$, где каждая буква занимает интервал, пропорциональный вероятности её появления в начале текста . Например, частая начальная буква «T» получает широкий отрезок, буква «P» — вчетверо меньший, а редкая «Q» — крошечную полоску .
Процесс кодирования конкретного слова, такого как «math», разворачивается послойно:
- На пустом входе модель выдаёт распределение для первой буквы; выбирается интервал, соответствующий символу «m» .
- Контекст «m» подаётся в нейросеть, и отрезок буквы «m» внутри делится на субинтервалы согласно новому распределению, где преобладают гласные (вероятность «a» составляет около 38%, «e» — 16%) .
- Ширина подынтервала «ma» равна произведению безусловной вероятности «m» на условную вероятность «a» при условии «m», что соответствует правилу умножения вероятностей .
- Шаг повторяется для префикса «mat», а затем для всей цепочки «math», сжимая целевую область до узкого подотрезка .
Любая точка внутри финального интервала однозначно задаёт исходное слово, если декодировщик знает число шагов .
Единичный отрезок [0, 1]
|---------------------[======== m ========]---------------------|
|--[== a ==]--------|
|-[= t =]|
|[-h-]| <-- целевой интервал слова "math"
Чтобы расшифровать сообщение, получатель запускает идентичную модель на пустом контексте, определяет, в границы какой буквы попадает присланное число, подаёт угаданную букву на вход и пошагово восстанавливает весь текст . Для исключения необходимости отдельно передавать длину сообщения можно ввести в словарь специальный токен конца последовательности, однако явное указание длины делает базовые вычисления более наглядными .
Интересный визуальный эффект: если сгенерировать случайное число на отрезке $[0, 1]$ и декодировать его, на выходе почти всегда получаются осмысленные фразы на естественном языке . Это происходит потому, что модель отводит вероятным конструкциям подавляющую долю длины отрезка .
📏 Достижим ли предел Шеннона и почему повезло слову «mathematics» 16:57
Для практической передачи вещественное число переводится в двоичную дробь. Каждый новый бит делит текущий интервал пополам: первый бит указывает на левую или правую половину отрезка $[0, 1]$, второй — на четверть, третий — на одну восьмую . Чтобы надежно попасть в целевой интервал шириной $p$ без риска промахнуться мимо его границ, шаг дискретизации $2^{-k}$ должен быть строго меньше ширины интервала:
$$2^{-k} \le p \implies k \ge -\log_2(p)$$
Таким образом, округление величины $-\log_2(p)$ до ближайшего целого вверх гарантирует успешное попадание в отрезок . Этот результат в точности повторяет шенноновскую меру информации, превращая теоретическую концепцию Шеннона в работающий вычислительный инструмент .
В реальных тестах алгоритм порой демонстрирует поразительные результаты за счёт удачного расположения границ двоичных дробей :
- Слово «math» потребовало 10 бит точности, что дало среднюю плотность 2,5 бита на символ .
- При продолжении до слова «mathematics» суффикс оказался настолько предсказуем для модели, что границы интервала почти не сужались .
- То же самое 10-битное число идеально попало и в интервал слова «mathematics», снизив удельную стоимость до 0,91 бита на символ .
- Теоретическая ширина интервала для «mathematics» составляла $2^{-18}$ (требовалось около 18 бит), но из-за удачного совпадения алгоритм обошёлся всего десятью .
Подобные аномалии не нарушают теорему Шеннона, поскольку его предел сформулирован для математического ожидания (среднего значения), а редкие случаи везения компенсируются необходимостью округления вверх на других примерах .
Кроме того, полученное число битов отражает энтропию не относительно истинного распределения естественного языка, а лишь относительно распределения вероятностей конкретной модели .
🧠 Переосмысление предобучения нейросетей: минимизация длины архива 20:26
Связь между сжатием и теорией вероятностей позволяет взглянуть на процесс предварительного обучения нейросетей под новым углом. Полная вероятность текста $P$ равна произведению условных вероятностей каждого следующего токена. Отрицательный логарифм этого произведения раскрывается как сумма штрафов:
$$-\log_2(P) = \sum_{i} -\log_2(p_i)$$
В классическом машинном обучении эта величина, усреднённая по массиву обучающих данных, называется кросс-энтропией и воспринимается просто как одна из возможных функций потерь для обучения предиктора следующего токена .
Однако через призму арифметического кодирования цель обучения выглядит иначе:
- В стандартной трактовке оптимизация кросс-энтропии воспринимается как произвольное инженерное решение .
- В парадигме сжатия цель предельно прозрачна — физически минимизировать итоговое число битов, в которое архивируется обучающая выборка .
Эффективность сжатия напрямую иллюстрирует масштаб модели. При кодировании исторической фразы о зарождении математической строгости в древнегреческой геометрии миниатюрная демонстрационная модель NanoGPT на 3,7 млн параметров потребовала 254 бита (около 2 бит на символ) . В свою очередь, открытая модель Qwen на 500 млн параметров сжала то же предложение с показателем менее одного бита на символ, потратив на предсказуемые слова «Euclid's Elements» всего 5 бит .
Ещё более радикальный контраст заметен на тексте преамбулы Конституции США: после вводной фразы модель Qwen закодировала весь оставшийся абзац всего за 10 бит . На фоне алгоритма Хаффмана это дало выигрыш на два порядка величины .
⚙️ Арифметические коды на практике: от формул 1970-х до моделей Qwen 22:41
Прямолинейная реализация деления отрезка быстро сталкивается с непреодолимым вычислительным барьером: для длинного текста требуются вещественные числа с миллионами знаков после запятой .
Теоретические основы метода были заложены Питером Элайасом около 1960 года в неопубликованных трудах . На практике алгоритм стал применим лишь в 1976 году, когда Йорма Риссанен и Ричард Паско независимо разработали механизм перенормировки интервалов . На каждом шаге текущий подынтервал масштабируется обратно до длины единицы, а старшие биты двоичной дроби, переставшие изменяться, непрерывно сбрасываются в выходной поток, что получило название арифметического кодирования .
В 2013 году польский математик Ярек Дуда предложил альтернативное решение — асимметричные числовые системы (ANS) . Вместо работы с границами вещественных чисел ANS кодирует всю информацию в одно растущее целое число, обеспечивая кратно более высокую скорость работы .
💡 «Сжатие — это интеллект»: три аргумента в защиту смелой гипотезы 27:29
Финальная часть трилогии посвящена анализу тезиса «Сжатие — это интеллект». Подобно тому как Исаак Ньютон в своё время редуцировал бытовое понимание «энергии» до строгой физической величины $\text{кг}\cdot\text{м}^2/\text{с}^2$, попытка связать интеллект с алгоритмическим сжатием неизбежно отсекает эмоциональные оттенки, но взамен даёт продуктивную теоретическую базу .
Ведущий выделяет три фундаментальные грани интеллекта, которые строго формализуются через компрессию:
1. Симметрия сжатия и предсказания
Арифметическое кодирование доказывает, что любой эффективный предсказатель автоматически превращается в архиватор . Верно и обратное: имея «чёрный ящик» сжатия, можно оценить вероятность следующей строки. Для этого замеряется разница длин архива $\delta$ с добавлением этой строки и без неё; тогда вероятность оценивается как $2^{-\delta}$ .
Этот принцип напрямую согласуется с современной нейробиологической теорией предиктивного кодирования (predictive processing), согласно которой человеческий мозг непрерывно генерирует нисходящие прогнозы сенсорных сигналов, а органы чувств передают наверх не всю картину мира, а лишь дельту ошибки прогноза .
2. Принцип простоты и размер декодера
Истинное понимание феномена заключается в умении свести сложную систему к минимальному числу базовых законов, а не в заучивании гигантской таблицы фактов .
Если модель содержит триллионы параметров и просто запомнила текст Конституции, её сложно назвать интеллектуальной. Именно поэтому регламент премии Hutter Prize суммирует размер сжатого архива с размером самой программы-декодировщика . Если две модели сжимают терабайт данных одинаково хорошо, но первая весит 100 мегабайт, а вторая — 100 гигабайт, то по формуле Колмогорова и Хуттера первая модель демонстрирует несравнимо более высокий уровень интеллекта .
3. Скорость адаптации к новому контексту
Признаком гибкого ума традиционно считается способность быстро осваивать незнакомые предметные области . На первый взгляд, статическое сжатие этого не отражает, однако алгоритм можно модифицировать в режим динамического дообучения на лету (prequential coding) :
- по мере чтения каждого нового токена кодировщик делает шаг обратного распространения ошибки (backpropagation) и подстраивает веса нейросети под текущий текст ;
- декодировщик выполняет точно такие же детерминированные шаги адаптации на стороне приёма ;
- нейросеть можно даже инициализировать псевдослучайными числами с единым сидом на обоих концах, не передавая веса заранее .
В такой схеме итоговый коэффициент сжатия напрямую измеряет темп обучения модели: чем быстрее система находит скрытые закономерности в незнакомом контексте (например, адаптируясь после Википедии к слогу Шекспира), тем меньше битов потребуется для кодирования .
Подводя итог трилогии, автор видео отмечает: хотя знак строгого равенства между сжатием и человеческим сознанием ставить нельзя, вычислительная компрессия данных закрывает гораздо больше критериев разумности, чем может показаться при поверхностном взгляде на утилитарную задачу уменьшения размера файлов .