Тим Скарф

Агентность и способность выбирать действия возникают тогда, когда вычисления приобретают достаточную контрфактуальную и темпоральную глубину.

Вы объясняете то, чего не понимаете, с помощью того, чего не понимаете.

Если вы не можете найти априорные знания (priors) в модели, посмотрите в зеркало — возможно, их вложили туда вы сами.

Трансформеры, даже в тривиальном смысле, не могут выполнять подсчет или копирование. Они просто не способны на это.

Биологическая эволюция — это, по сути, цепная реакция размножения вычислений во Вселенной.

Когда показатель становится целью, он перестает быть хорошим показателем.

Они не способны почувствовать ветер на своем лице

Байесовская механика стремится стать тем недостающим звеном, которое позволит формализовать сложные биологические процессы.

At best deep learning algorithms are just interpolating between the input space... there is no extreme generalization.

Без индуктивного смещения нейросеть будет учиться распознавать собаку в левом углу и собаку в правом углу как две абсолютно разные концепции.

Модель — это отражение пользователя. Если вы играете в умные шахматы, модель будет играть как умный игрок. Если вы пишете дерьмовый код, модель будет тупой.

Мы движемся по пути, где всё больше и больше доверяем машине создание самих правил.

В 78% случаев эта оптимальная шаблонная модель выдает то же самое первое предсказание, что и трансформер.

Описание отвечает на вопрос «что», а объяснение отвечает на вопросы «как» и «почему».

Все задачи машинного обучения с учителем можно рассматривать через призму геометрии.

Принцип свободной энергии позволяет нам разделить интересующую нас систему на частицы или вещи, которые следует отличать от других вещей в системе.

Модели начинают поедать собственные экскременты, обучаясь на результатах работы друг друга.