«Сжатие — это интеллект»: математика языковых моделей и предел Шеннона

3Blue1Brown 231 тыс. 37 мин 9 мин 17.11.2026
Главное

Современные алгоритмы сжатия данных способны упаковать произвольный текст до показателя менее одного бита на символ, обращая в реальность парадоксальные выводы теории информации Клода Шеннона. В заключительной части своей трилогии автор канала 3Blue1Brown демонстрирует, как совмещение статистических языковых моделей и арифметического кодирования превращает предсказание следующего символа в эффективный архиватор. На этом фундаменте ведущий разбирает фундаментальный философский и математический тезис: почему способность к эффективному сжатию информации может служить строгим эквивалентом интеллекта.

🗜️ Парадокс Клода Шеннона: как упаковать абзац текста в один бит 0:00

Существует открытая денежная премия Hutter Prize, учреждённая исследователем Маркусом Хуттером для любого, кто сможет превзойти текущий рекорд сжатия одного гигабайта Википедии . В основе абсолютно всех победных решений этого соревнования лежит единый фундаментальный математический принцип, применимый не только к тексту, но и к изображениям, аудио и видео .

Любой процесс сжатия без потерь представляет собой пару взаимосвязанных программ:

В 1940-х годах Клод Шеннон доказал, что оптимальное число битов для кодирования сообщения приблизительно равно отрицательному логарифму по основанию два от вероятности появления этого сообщения: $-\log_2(p)$ . Автор видео отмечает, что эту величину было бы нагляднее обозначать как логарифм по основанию $1/2$ от вероятности: каждое деление вероятности пополам увеличивает объём информации ровно на один бит .

С математической точки зрения эта формула кажется логичной, однако её практические следствия долгое время выглядели абсурдно . Если взять хорошо известный предсказуемый фрагмент текста — например, преамбулу Конституции США, — то после первых слов («We the People of the United States…») человек, знакомый с историческими документами, может с огромной уверенностью предсказать всё последующее продолжение .

Если вероятность появления именно этих символов оценивается, к примеру, в 50%, то по формуле Шеннона информационная ёмкость всего оставшегося фрагмента составляет всего один бит . Даже если оценить шанс как один к тысяче, это всё равно составит лишь около 10 бит информации .

Стандартные методы кодирования с такой задачей не справляются:

Главный недостаток алгоритма Хаффмана заключается в том, что он присваивает каждому символу фиксированный код и совершенно не учитывает контекст . Однако в современную эпоху появился инструмент, специально обученный выдавать распределение вероятностей следующего символа на основе предшествующего контекста, — языковые модели .

Если снабдить и отправителя, и получателя копиями одной и той же языковой модели, процесс передачи радикально меняется . Качество итоговой компрессии начинает напрямую зависеть от прогностической силы используемой нейросети .

🔢 Текст как вещественное число: геометрия арифметического кодирования 6:27

Суть рассматриваемого метода состоит в том, чтобы закодировать произвольный массив текста в одно чрезвычайно точное вещественное число, лежащее в диапазоне от 0 до 1 .

Для наглядности ведущий разбирает модель, работающую посимвольно со стандартным алфавитом из 26 латинских букв . Пространство возможных исходов визуализируется в виде единичного отрезка $[0, 1]$, где каждая буква занимает интервал, пропорциональный вероятности её появления в начале текста . Например, частая начальная буква «T» получает широкий отрезок, буква «P» — вчетверо меньший, а редкая «Q» — крошечную полоску .

Процесс кодирования конкретного слова, такого как «math», разворачивается послойно:

  1. На пустом входе модель выдаёт распределение для первой буквы; выбирается интервал, соответствующий символу «m» .
  2. Контекст «m» подаётся в нейросеть, и отрезок буквы «m» внутри делится на субинтервалы согласно новому распределению, где преобладают гласные (вероятность «a» составляет около 38%, «e» — 16%) .
  3. Ширина подынтервала «ma» равна произведению безусловной вероятности «m» на условную вероятность «a» при условии «m», что соответствует правилу умножения вероятностей .
  4. Шаг повторяется для префикса «mat», а затем для всей цепочки «math», сжимая целевую область до узкого подотрезка .

Любая точка внутри финального интервала однозначно задаёт исходное слово, если декодировщик знает число шагов .

Единичный отрезок [0, 1]
|---------------------[======== m ========]---------------------|
                      |--[== a ==]--------|
                         |-[= t =]|
                           |[-h-]|  <-- целевой интервал слова "math"

Чтобы расшифровать сообщение, получатель запускает идентичную модель на пустом контексте, определяет, в границы какой буквы попадает присланное число, подаёт угаданную букву на вход и пошагово восстанавливает весь текст . Для исключения необходимости отдельно передавать длину сообщения можно ввести в словарь специальный токен конца последовательности, однако явное указание длины делает базовые вычисления более наглядными .

Интересный визуальный эффект: если сгенерировать случайное число на отрезке $[0, 1]$ и декодировать его, на выходе почти всегда получаются осмысленные фразы на естественном языке . Это происходит потому, что модель отводит вероятным конструкциям подавляющую долю длины отрезка .

📏 Достижим ли предел Шеннона и почему повезло слову «mathematics» 16:57

Для практической передачи вещественное число переводится в двоичную дробь. Каждый новый бит делит текущий интервал пополам: первый бит указывает на левую или правую половину отрезка $[0, 1]$, второй — на четверть, третий — на одну восьмую . Чтобы надежно попасть в целевой интервал шириной $p$ без риска промахнуться мимо его границ, шаг дискретизации $2^{-k}$ должен быть строго меньше ширины интервала:

$$2^{-k} \le p \implies k \ge -\log_2(p)$$

Таким образом, округление величины $-\log_2(p)$ до ближайшего целого вверх гарантирует успешное попадание в отрезок . Этот результат в точности повторяет шенноновскую меру информации, превращая теоретическую концепцию Шеннона в работающий вычислительный инструмент .

В реальных тестах алгоритм порой демонстрирует поразительные результаты за счёт удачного расположения границ двоичных дробей :

Подобные аномалии не нарушают теорему Шеннона, поскольку его предел сформулирован для математического ожидания (среднего значения), а редкие случаи везения компенсируются необходимостью округления вверх на других примерах .

Кроме того, полученное число битов отражает энтропию не относительно истинного распределения естественного языка, а лишь относительно распределения вероятностей конкретной модели .

🧠 Переосмысление предобучения нейросетей: минимизация длины архива 20:26

Связь между сжатием и теорией вероятностей позволяет взглянуть на процесс предварительного обучения нейросетей под новым углом. Полная вероятность текста $P$ равна произведению условных вероятностей каждого следующего токена. Отрицательный логарифм этого произведения раскрывается как сумма штрафов:

$$-\log_2(P) = \sum_{i} -\log_2(p_i)$$

В классическом машинном обучении эта величина, усреднённая по массиву обучающих данных, называется кросс-энтропией и воспринимается просто как одна из возможных функций потерь для обучения предиктора следующего токена .

Однако через призму арифметического кодирования цель обучения выглядит иначе:

Эффективность сжатия напрямую иллюстрирует масштаб модели. При кодировании исторической фразы о зарождении математической строгости в древнегреческой геометрии миниатюрная демонстрационная модель NanoGPT на 3,7 млн параметров потребовала 254 бита (около 2 бит на символ) . В свою очередь, открытая модель Qwen на 500 млн параметров сжала то же предложение с показателем менее одного бита на символ, потратив на предсказуемые слова «Euclid's Elements» всего 5 бит .

Ещё более радикальный контраст заметен на тексте преамбулы Конституции США: после вводной фразы модель Qwen закодировала весь оставшийся абзац всего за 10 бит . На фоне алгоритма Хаффмана это дало выигрыш на два порядка величины .

⚙️ Арифметические коды на практике: от формул 1970-х до моделей Qwen 22:41

Прямолинейная реализация деления отрезка быстро сталкивается с непреодолимым вычислительным барьером: для длинного текста требуются вещественные числа с миллионами знаков после запятой .

Теоретические основы метода были заложены Питером Элайасом около 1960 года в неопубликованных трудах . На практике алгоритм стал применим лишь в 1976 году, когда Йорма Риссанен и Ричард Паско независимо разработали механизм перенормировки интервалов . На каждом шаге текущий подынтервал масштабируется обратно до длины единицы, а старшие биты двоичной дроби, переставшие изменяться, непрерывно сбрасываются в выходной поток, что получило название арифметического кодирования .

В 2013 году польский математик Ярек Дуда предложил альтернативное решение — асимметричные числовые системы (ANS) . Вместо работы с границами вещественных чисел ANS кодирует всю информацию в одно растущее целое число, обеспечивая кратно более высокую скорость работы .

💡 «Сжатие — это интеллект»: три аргумента в защиту смелой гипотезы 27:29

Финальная часть трилогии посвящена анализу тезиса «Сжатие — это интеллект». Подобно тому как Исаак Ньютон в своё время редуцировал бытовое понимание «энергии» до строгой физической величины $\text{кг}\cdot\text{м}^2/\text{с}^2$, попытка связать интеллект с алгоритмическим сжатием неизбежно отсекает эмоциональные оттенки, но взамен даёт продуктивную теоретическую базу .

Ведущий выделяет три фундаментальные грани интеллекта, которые строго формализуются через компрессию:

1. Симметрия сжатия и предсказания

Арифметическое кодирование доказывает, что любой эффективный предсказатель автоматически превращается в архиватор . Верно и обратное: имея «чёрный ящик» сжатия, можно оценить вероятность следующей строки. Для этого замеряется разница длин архива $\delta$ с добавлением этой строки и без неё; тогда вероятность оценивается как $2^{-\delta}$ .

Этот принцип напрямую согласуется с современной нейробиологической теорией предиктивного кодирования (predictive processing), согласно которой человеческий мозг непрерывно генерирует нисходящие прогнозы сенсорных сигналов, а органы чувств передают наверх не всю картину мира, а лишь дельту ошибки прогноза .

2. Принцип простоты и размер декодера

Истинное понимание феномена заключается в умении свести сложную систему к минимальному числу базовых законов, а не в заучивании гигантской таблицы фактов .

Если модель содержит триллионы параметров и просто запомнила текст Конституции, её сложно назвать интеллектуальной. Именно поэтому регламент премии Hutter Prize суммирует размер сжатого архива с размером самой программы-декодировщика . Если две модели сжимают терабайт данных одинаково хорошо, но первая весит 100 мегабайт, а вторая — 100 гигабайт, то по формуле Колмогорова и Хуттера первая модель демонстрирует несравнимо более высокий уровень интеллекта .

3. Скорость адаптации к новому контексту

Признаком гибкого ума традиционно считается способность быстро осваивать незнакомые предметные области . На первый взгляд, статическое сжатие этого не отражает, однако алгоритм можно модифицировать в режим динамического дообучения на лету (prequential coding) :

В такой схеме итоговый коэффициент сжатия напрямую измеряет темп обучения модели: чем быстрее система находит скрытые закономерности в незнакомом контексте (например, адаптируясь после Википедии к слогу Шекспира), тем меньше битов потребуется для кодирования .

Подводя итог трилогии, автор видео отмечает: хотя знак строгого равенства между сжатием и человеческим сознанием ставить нельзя, вычислительная компрессия данных закрывает гораздо больше критериев разумности, чем может показаться при поверхностном взгляде на утилитарную задачу уменьшения размера файлов .

💬 Цитаты

«Каждый раз, когда вероятность делится пополам, информационное содержание увеличивается ровно на один бит.»

Автор канала 3Blue1Brown 02:13

«Через призму этого алгоритма целью предобучения является не предсказание само по себе, а создание наилучшего компрессора текста.»

Автор канала 3Blue1Brown 22:13

«Сжатие и предсказание — это две стороны одной медали, а предсказание куда более очевидно связано с интеллектом.»

Автор канала 3Blue1Brown 29:07
👥 Спикер
🔗 Упомянутые сайты и проекты
📖 Термины
Арифметическое кодирование
Метод сжатия данных без потерь, представляющий всё сообщение в виде одного вещественного числа на интервале от нуля до единицы.
Hutter Prize
Денежная премия за рекордное сжатие первого гигабайта Википедии, где в размер архива включается размер программы-распаковщика.
Кросс-энтропия
Функция потерь в машинном обучении, измеряющая расхождение между предсказанным распределением вероятностей и истинным распределением.
Асимметричные числовые системы (ANS)
Современный класс энтропийных кодировщиков, объединяющий степень сжатия арифметического кода со скоростью алгоритма Хаффмана.
Предиктивное кодирование
Нейробиологическая гипотеза о том, что мозг транслирует сверху вниз прогнозы сенсорных данных, а снизу вверх передаёт лишь ошибки предсказания.
📊 Цифры
🗓 Хронология
  1. 1948 Клод Шеннон формулирует основы теории информации и фундаментальный предел сжатия данных через энтропию источника.
  2. 1960 Питер Элайас описывает теоретический принцип сопоставления сообщений интервалам вещественных чисел.
  3. 1976 Йорма Риссанен и Ричард Паско независимо создают практическую версию арифметического кодирования с непрерывной перенормировкой.
  4. 2013 Ярек Дуда публикует концепцию асимметричных числовых систем (ANS), устраняющих вычислительные узкие места арифметических кодов.
⚖️ Другая сторона
Искусственный интеллект 3Blue1Brown Клод Шеннон арифметическое кодирование Hutter Prize теория информации