Янник Килчер

Это выглядит как готовый шаблон, который авторы просто копируют из статьи в статью.

Если ваш посевной раунд меньше 7 триллионов долларов — идите домой, даже не пытайтесь.

Стратегия открытого ПО от Meta используется для того, чтобы подорвать бизнес конкурентов, таких как OpenAI.

Можно улучшить логику модели, просто приказав ей делать больше шагов.

Формулировка «мы оба тестировали на одной GPU, но у нас батч больше» кажется ведущему некорректным преувеличением.

Если у нас ограниченные вычисления, мы не можем упаковать бесконечную информацию внутрь.

В конечном итоге это концептуально не отличается от модели LSTM.

Это как жить с HR-персоналом, контролирующим каждый твой шаг. Они в тюрьме в каждом уголке вашей жизни, ад на земле.

Linformer работает на уровне стандартных трансформеров, будучи при этом гораздо более эффективным по памяти и времени.

Мы должны открыто осуждать OpenAI за это. Перед нами больше не исследовательская организация, а обычная софтверная лавка.

Человеческий фидбек не делает модель умнее, он просто избавляет вас от сложного промпт-инжиниринга.

Если вы внедряете программное обеспечение, вы несете ответственность за то, что оно делает.

Поскольку матричные умножения лежат в основе практически всей науки, ускорение на 10, 20 или даже один процент в этой области — это огромный успех.

AlphaTensor не знает, что такое V100, но благодаря обучению с подкреплением система находит алгоритмы, которые работают быстрее на конкретном железе.

Этот метод предлагает довольно простую идею решения проблемы, возникающей, когда вы пытаетесь запустить генеративную модель бесконечно долго.

В практике модель просто сбрасывает всё лишнее внимание на первые токены.

Позиционные кодирования фактически важнее в экспериментах: если их убрать, ничего не работает.

Мы собираемся пересечь все эти языковые и технологические границы, чтобы это произошло.

Тесты — это для слабаков, для слабых людей. Шучу, тесты — это нормально.

Цель здесь не в том, чтобы получить лучшую модель в мире, а в том, чтобы понять, как далеко мы можем зайти с обучением без учителя.

Flow Matching обобщает этот процесс: если задать потоки определенным образом, вы в точности вернетесь к диффузии.

Вместо агрегирования данных перед обучением, мы можем обучать нейросеть предсказывать условное векторное поле для отдельной точки.

Я сильно верю, и я повторял это последние четыре года, что языковые модели с возможностью динамического извлечения контекста станут следующим большим прорывом.

Мы задействуем синтетические наборы данных, но я должен сказать, что ничто не способно заменить живой человеческий ввод.

Удивительно, что вы не просто обходите конкурентов, а обходите их с таким огромным отрывом.

Трансформер может динамически и селективно смотреть на отдельные элементы прошлого, но вы платите за это квадратичной сложностью.

Mamba — это не просто SSM, это комбинация селективности с 1D-свертками, проекциями и механизмами гейтинга.

Во время обучения Mamba похожа на Трансформер, а во время инференса — на RNN.

Мы автоматизируем дизайн нейросетей, но сама автоматизация стала безумно дорогой.

Intelligence is the efficiency with which you transform new data into new skills.

Deep neural networks are different because we just feed in the training data as is and the deep neural network will automatically discover the features.

Deep networks learned by the standard gradient descent algorithm are in fact mathematically approximately equivalent to kernel machines.

Биологическая логика в том, что все клетки следуют одним и тем же правилам, но за счет их общения возникают глобальные паттерны.

Формат журнала Distill — это будущее науки, вместо восьмистраничных PDF-файлов вы получаете интерактивное демо.

Поскольку структура белка полностью определяется его аминокислотной цепью... должно быть возможно вычислить эту форму программно.

Похоже, они заменили сверточные сети — теперь их лучший друг это трансформер.

В играх с несовершенной информацией ценность узла также зависит от того, что произошло ранее по течению.

Эта работа выбрасывает почти всё из обучения с подкреплением в офлайн-сеттинге и заменяет это простым моделированием последовательностей.

Трансформеры почти безграничны в своей способности поглощать данные и учиться, вопрос лишь в том, помещается ли задача в контекст.

Система имеет эмерджентное свойство: она не обучалась тому, что такое собака, и не обучалась сегментации, но её карты внимания четко отслеживают объекты.

GLOM — это система, которая вместо презентации одного подхода объединяет достижения разных групп.

Вся сцена целиком будет находиться в весах этой нейросети. То есть веса нейросети теперь представляют сцену.

Это даже меньше памяти, чем занимают сами входные изображения для одной сцены из любого нашего датасета.

Этот агент хорош потому, что люди глупы. Люди действительно очень глупы.

Даже в такой игре человеческий элемент кажется главным источником веселья.

Модели, которые выполняют оптимизацию во время вывода, гораздо более мощные, чем модели, которые делают просто однократный прямой проход.

До этого обучение глубоких сетей было похоже на попытку пробить стену, но ResNet изменил правила игры (бум!).

Default функция нейросети стала identity-функцией. Теперь мы учим только отклонения от неё.

Это был стартовый выстрел в длинной линии исследований, которая продолжается до сих пор.

В этой статье уже было скрыто столько решений, которые позже стали стандартом.

DALL-E всегда была присуща эта размытость, а результаты GLIDE гораздо, гораздо лучше.

Я не верю ни на секунду, что реальные соображения безопасности были причиной ограничения доступа.

Если вы изначально закладываете требования к среде, где для выживания необходим интеллект, то интеллект там, разумеется, и разовьется.

Если вы смотрите это в 2040 году и вы искусственный интеллект, напишите в комментариях, использовали ли вы только награду или что-то еще?

Систему не учили, что такое собака, и не учили делать сегментацию, но она четко знает, на что обращать внимание.

Аугментации — это место, куда вы помещаете человеческий приоритет. Вы говорите модели, на что ей не стоит обращать внимание.

Градиенты динамических систем интимно зависят от спектра их якобианов.

Если я смогу это сделать, то и вы сможете. Мы совершим несколько ошибок, заглянем в документацию — это и есть процесс.

Только неудачникам нужна помощь. Если вы вставляете строку 'help' в описание флага, значит, вам нужна помощь.

Как вообще это стало настолько просто? Всего год назад это было безумно сложно.

Верификаторы позволяют нейросети 'думать' дольше, проверяя свои собственные догадки.

Полноценный многошаговый метод, который итеративно корректирует и повторно считывает текст, способен восстановить 92% исходных текстов из 32 токенов в точности.

Высокочастотные компоненты векторов, вероятно, используются для хранения мельчайших деталей точных предложений.

Каждая клетка должна общаться с соседями, чтобы они все пришли к согласию относительно того, какую цифру они составляют.

Это безумно круто: кластеры получены без каких-либо меток из датасета ImageNet.

Выбор гиперпараметров алгоритма всё равно основан на знании меток, так что вопрос его работы в полном отсутствии данных остается открытым.

Люди обычно приобретают новые навыки, не компрометируя старые. Я не думаю, что это обязательно верно.

Это не что-то, что вы делаете дома... это все еще довольно масштабно.

Поразительно, что после стольких лет развития отрасли такая вещь, как инициализация весов, все еще может спасти или погубить модель.

Это о новом документе, который может решать численно определенный тип дифференциальных уравнений в частных производных намного быстрее, чем что-либо ранее.

Фурье-преобразование делает возможным то, что мы называем независимостью от дискретизации: вы обучаете функцию один раз, а затем можете вводить сигналы с разным разрешением.

Если вы удалите выигрышные билеты, вы всё равно сможете обучить остальные части до относительно хорошей производительности.

Поразительно, что эти кластеры получены без каких-либо меток из датасета ImageNet.

Выбор гиперпараметров алгоритма был проинформирован метками, так что неясно, как это сработает в их полном отсутствии.

Машинное обучение в 2023–2024 годах стало просто правилом: давайте повторим эту штуку кучу раз и засунем туда данные.

Это своего рода кувалда, которую вы применяете к матрице весов, просто говоря: так, всё это уходит в ноль.

Модель учится сопоставлять музыкальные фрагменты с текстом, и это дает намного лучшие результаты.

Не все фрагменты контента в прошлом одинаково важны для запоминания.

Система может сама научиться тому, какие вещи важно помнить для будущего, а какие — нет.

Это стало соревнованием по измерению частей тела между компаниями.

У OpenAI есть модель на 175 миллиардов параметров. Вы думали, это много? Мило. Посмотрите на модель Google на 600 миллиардов параметров.

Это в большей степени инженерная статья, нежели работа по машинному обучению, и именно так её и нужно воспринимать.

ARDM — это класс моделей, охватывающий и обобщающий порядок-агностические авторегрессионные модели.

Вы можете сэкономить время, предсказывая несколько пикселей за один раз, но при этом идет обмен скорости на точность.

Нам нужны новые стратегии семплирования, и эта — очень перспективна.

Мы можем, например, семплировать изображения попиксельно, чтобы сделать генеративную модель.

Модели обучаются как BERT, но декодируют как авторегрессионные модели, за исключением того, что порядок не фиксирован.

Не все воспоминания созданы равными.

Глубокое обучение — это, по сути, просто замена части, создающей признаки.

Нам не нужны гиперпараметры, но в процессе обучения самого оптимизатора их огромное количество.

Вместо того чтобы дать LSTM возможность самой вычислять моменты на основе истории весов и градиентов, исследователи снова вернулись к ручному проектированию признаков.

Общая тенденция неумолима: чем больше и сложнее становится задача, тем хуже показывает себя обучаемый оптимизатор.

Типичные сообщения — это те, которые мы ожидаем исходя из распределения вероятностей; их среднее содержание информации на символ близко к скорости энтропии.

В 97 из 100 случаев модель правильно нашла и классифицировала животных, которых пропустили люди-аннотаторы.

Мы собираемся «угнать» (hijack) существующий детектор объектов, чтобы добавить в него контекст.

Корректируя параметры нормализации, мы напрямую влияем на то, как формируются векторы ключей, запросов и значений на следующем шаге. Мы не меняем саму матрицу внимания, но мы меняем сигнал до неузнаваемости.

ИИ — это наука о создании машин, способных выполнять задачи, которые требовали бы интеллекта, если бы их выполнял человек.

В 97 из 100 случаев модель правильно находила и классифицировала животных, пропущенных человеком.

По словам Янника Килчера, такой подход практически всегда даёт более точный результат, чем использование одиночной сети.

Никакой «врождённой сложности» у объектов датасета нет.

Модели — это не просто таблицы поиска, это скорее таблицы нечеткого поиска и интерполяции.

Трансформеры обучаются большому количеству хороших фичей, которые полезны для вычисления самых разных вещей.

Мы можем влиять на матрицу внимания, даже не обучая веса самого механизма attention.

Если бы вы только знали заранее, какие связи нужно сохранить, вы могли бы провести прунинг в самом начале обучения.

SynFlow работает без данных: вы просто подаете единицы, делаете один проход и получаете оценки значимости.

В старых статьях по глубокому обучению половина текста уходила на вывод градиентов предложенной архитектуры.

Вместо того чтобы делать оптимизатор дифференцируемым, нам нужно сделать дифференцируемым только условие оптимальности.

Идея здесь довольно проста в математическом плане, но о ней немного странно думать.

Без L2-нормализации модель просто полностью выходит из строя.

Нейронные сети никогда полностью не «забывают» свой самый первый опыт претренинга.

ExT5 — это классическая архитектуру T5, «заряженная стероидами» за счет претренинга на комбинированном объекте.

По их мнению, комплексные проблемы принятия решений можно естественным образом декомпозировать на несколько подзадач, разворачивающихся последовательно или параллельно.

Если вы обучаете сеть с помощью backprop, она гораздо ближе соответствует биологическим сетям в том, как они формируют скрытые представления.

Этот алгоритм достигает того, что мы хотели: он не использует backprop и полагается только на локальную информацию.

Сети, которые были обучены с помощью бэкпропа, соответствуют биологическим сетям гораздо ближе в том, как они формируют свои скрытые представления.

Вся информация, требуемая для обновления слоя нейронов, теперь содержится внутри этого самого слоя.

По мнению Килчера, выбор этой платформы является пережитком прошлого века и чистым пиар-ходом.

Главным концептуальным прорывом работы, по мнению Янника Килчера, является организация процесса тренировок, названная «обучением в Лиге» (League training).

1008 изображений такого материала — это на 1008 слишком много, вопрос о необходимости их удаления не стоит.

Это имеет все характеристики 'заказного материала' (hit piece), используемого для создания возмущения.

Это все — пиар-акция DeepMind, потому что Nature имеет большой вес в последние десятилетия.

AlphaStar — это классическое обучение с подкреплением, и с человеческими данными можно зайти очень далеко.

Для беднейших слоев населения, которые едва начинают зарабатывать свои первые монеты, ИИ устанавливает самую высокую налоговую ставку — около 60%.

Я построю большую прекрасную стену, и заставлю оранжевого парня заплатить за нее! Это же Дональд Трамп внутри игры!

Единственное, в чем вы можете быть уверены на NeurIPS, это в том, что там всегда, всегда есть алгоритмы 'бандитов', и они просто не умирают.

Короткая история этой статьи: используйте Adam, всё будет в порядке. Длинная история — чуть сложнее.

Настройка одного оптимизатора помогает примерно так же сильно, как и попытка смены самого оптимизатора.

Вы не можете запрограммировать компьютер делать это, именно поэтому мы и используем глубокое обучение.

Использовать Adam или SGD с моментумом, немного их настроить — и все, что из этого получится, скорее всего, будет в порядке.

Вместо поиска настроек для одного оптимизатора, тюнинг помогает примерно так же, как проба других оптимизаторов.

По сути, для бедных в этой системе действует принцип: «Да пошли вы».

Я построю большую красивую стену, и оранжевый парень за нее заплатит.

Жаловаться легче, чем делать.

Никогда не следует приписывать искусственным системам высокоуровневые когнитивные способности или «понимание», если их поведение можно адекватно и полностью объяснить обучением по кратчайшему пути (Shortcut Learning).

Вы не можете строго запрограммировать алгоритм, который извлекает форму чего-либо — именно поэтому мы и используем глубокое обучение.

При совместном обучении множества задач далеко не всегда очевидно, пойдет ли это на пользу финальному результату.

Если у вас нет self-supervised предобучения, даже при огромном количестве контролируемых данных результат будет крайне слабым.

Это в чистом виде динамическая 1x1 свёртка, где ядро свёртки вычисляется на основе всей последовательности целиком.

Без L2-нормализации процесс обучения полностью ломается и модель выдает нулевую точность.

Это отличный пример того, что в эпоху глубокого обучения все еще можно достичь многого за счет умного построения архитектуры самой нейронной сети.

То, что модель работает хорошо на тестовой выборке, не гарантирует, что она будет работать в реальном мире.

Если вы развертываете ML в реальном мире, очень уместно заботиться о подобных проблемах.

Если вы развертываете машинное обучение в реальном мире, вам действительно стоит беспокоиться о подобных проблемах.

Поскольку модель недоспецифицирована, вы можете попытаться ввести дополнительные спецификации, которые важны для вас, на этапе обучения.

Датасет TruthfulQA — это скам, и сам факт того, что он называется «TruthfulQA» — это скам.

XLNet — это первый алгоритм, который смог победить BERT во многих задачах, где BERT ранее доминировал.

Стоимость обучения в 245 тысяч долларов — это безумие... это ставит вопросы о способности академических игроков участвовать в исследованиях.

Алгоритм DFA работает: пока не на одном уровне с обратным распространением, но в очень многообещающем направлении.

Разреженные слои достаточны для получения той же перплексии, что и стандартный трансформер с тем же количеством параметров.

Эффект разреженности действительно сияет, когда вы переходите к более крупным моделям.

По сути, это первый случай, когда система успешно создает алмазную кирку в Minecraft — если не считать людей.

Если у вас есть вся видеопоследовательность целиком, в ретвоспективе гораздо проще определить, какое действие было посередине.

Интуиция в программе — это идеальное место для внедрения нейронной сети.

XLNet — это первый алгоритм, который смог побить BERT, предыдущий стандарт индустрии, на большинстве задач NLP.

Это кажется безумием... это вызывает большие вопросы о состоянии исследований и способности академических игроков участвовать в процессе.

Попытки обучить модель с нуля случайными действиями в среде обучения с подкреплением не приносят никаких результатов

Cool part about this method is it can sort of stitch together the appropriate behaviors from the data set even if you don't provide these specifically to solve the task.

It's still to be seen how much this is of practical value in other reinforcement learning tasks where you don't have that available.

По мнению автора канала Янника Килчера, это доказывает, что человеческий язык в гораздо большей степени состоит из чистых взаимосвязей между элементами, нежели из абсолютных значений конкретных слов.

Мы хотим, чтобы реальный мир соответствовал латентному пространству таким образом, чтобы при движении реального мира латентное пространство двигалось эквивариантно.

Если вы думаете, что видели это раньше, то будете абсолютно правы: это выглядит как полносвязный слой из обычного MLP.

Я не думаю, что это свидетельство того, что нам не нужно dot-product внимание. Скорее, это просто то, что часто происходит в глубоком обучении.

Природа человеческого языка во многом состоит из чистых взаимосвязей между элементами, а не из абсолютных значений слов.

Реальные пользователи могут предоставить вам гораздо более высокое качество данных, чем наемные краудсорсинговые рабочие.

Этот хак для параллельного обучения авторегрессионных трансформеров на самом деле делает их формулировку намного слабее.

Уязвимость моделей — это прямой результат их чувствительности к хорошо обобщающим закономерностям в данных.

Авторы просто перенесли проблему из плоскости архитектуры классификаторов в плоскость геометрии датасетов, оставив многие вопросы открытыми.

Согласно Имаду, цель Stability AI — быть тем, чем изначально должна была стать OpenAI.

Удивительно, но разреженные слои достаточны для получения той же перплексии, что и у стандартного трансформера с тем же количеством параметров.

Рекуррентные слои позволяют информации распространяться во времени даже внутри одного блока декодера.

Involution — это нечто среднее между сверткой и механизмом внимания.

Это очень интересная разработка для всех, кто не работает с задачами сверхбольшого масштаба.

Если вы не работаете с задачами колоссального масштаба, сверточные нейросети остаются лучшим выбором.

Наши текущие сети часто с трудом справляются с неизвестным и присваивают высокую вероятность входным данным вне распределения.

Идеально было бы, если бы сеть была уверена там, где есть обучающие данные, но выдавала низкую уверенность в местах, которых она никогда не видела.

Атака крутая, опасения обоснованы, но статья написана чуть более пугающе, чем кажется на самом деле.

Если вы пришли сюда и думали, что мы в науке, где принято описывать всё воспроизводимо, вы ошиблись.

Это не видеогенерация... это просто 5-секундные анимированные картинки.

По мнению Янника Килхера, цель Stability AI изначально заключалась в том, чтобы стать тем, чем должна была стать OpenAI.

Если вы считаете, что должны выдавать инструменты людям только после того, как сами проверите их на безопасность, вы не преданы идее открытого кода.

If this really works, this could mean a lot for especially for safety critical applications.

Это первый шаг к созданию платформы ИИ, которая позволит создавать визуальные миры и поможет создателям контента.

Вместо того чтобы работать над всей последовательностью, мы используем локальное внимание в 3D-тензоре.

Если вы сможете смешивать произвольные входящие модальности вместе, это будет потрясающе для создателей контента.

Алгоритм SGD действует «жадно» и делает небольшие шаги, стремясь приложить минимум усилий для достижения цели.

По моему мнению, успех концепции лотерейных билетов и супермасок напрямую зависит от простоты решаемой задачи.

Если вы пришли сюда за наукой и думали, что мы опишем все воспроизводимым образом — вы ошиблись адресом. В больших тех-компаниях это больше не наука, это маркетинг.

Авторы переформулировали концепцию среднего значения настолько запутанным образом, что это позволило вставить ссылку на предыдущую статью коллеги.

Прямая генерация отдельных пикселей высокого разрешения стандартным трансформером невозможна из-за колоссальных вычислительных затрат.

Точная маршрутизация может быть не так важна для большинства задач, как сам факт того, что информация просто перемешивается.

Мы вышли из эры «я хочу новый SOTA» и перешли в эру «это работает почти так же хорошо, но в разы быстрее».

По мнению ведущего, у компании вряд ли было большое количество размеченных вручную данных для такой задачи, поэтому ставка была сделана на масштабирование автоматического сбора.

Это следствие того, что SGD пытается приложить как можно меньше усилий для достижения цели.

Мне кажется, авторы переинтерпретируют многие вещи; в конечном счете все сводится к приближению весов к их оптимальным значениям.

Мы вышли из эры «здесь новая SOTA» и вошли в эру «это работает почти так же хорошо, но быстрее».

Преобразование Фурье было выбрано потому, что оно было легкодоступно в библиотеках, но это просто техника смешивания.

Мы переносим ответственность с алгоритма агента на алгоритм создания среды.

Если вы явно учите трансформер «думать» о задаче планирования, он становится гораздо более способным.

Searchformer больше не имитирует поиск A*, а нашел новый способ решения с меньшим количеством шагов.

Визуальное state-of-the-art исследование теперь официально вне досягаемости академических институтов.

Исследования нейросетей в компьютерном зрении официально вышли из рук академии. Если вы не можете ждать 8 GPU-месяцев — это конец.

BiT-HyperRule — это одно правило, которое скажет вам, какими должны быть все гиперпараметры для вашей задачи.

Что здесь происходит на самом деле? Трансформер вовсе не обретает способность внезапно рассуждать и связывать глубокие логические смыслы на огромном расстоянии. Далекое прошлое затухает из-за штрафов настолько сильно, что модель его просто игнорирует, концентрируясь на свежем контексте.

Если идея состоит в том, что решающая граница просто следует за многообразием данных, а затем слегка прогибается вокруг точек, чтобы классификация была верной, то единственное ограничение здесь — это правильный класс самой точки. Модель ямчатого многообразия абсолютно ничего не говорит о том, почему на другой стороне ямки возникает именно класс "гуакамоле", а не какой-либо еще

Простота может быть ключом к успеху. Код доступен, и если вы внедряете трансформеры — попробуйте ALiBi.

Модель вмятого многообразия объясняет меньше, чем те модели, которые у нас уже были.

Тот факт, что атака на многообразии требует большей нормы — это просто эффект проекции на любое низкоразмерное пространство.

Маленькая обученная модель может быть намного меньше, чем GPT-3, потому что она натренирована строго под конкретную задачу, и вам не придется платить OpenAI каждый раз при ее вызове.

Модели генерируют больше запомненных обучающих данных по мере того, как они становятся больше.

Поскольку этот документ был предоставлен OpenAI в рамках ответственного разглашения 90 дней назад, вполне вероятно, что они исправили это простым перехватом повторений.

По мнению авторов работы, GPT-3 способна самостоятельно сгенерировать масштабный корпус здравого смысла, который затем можно отфильтровать и использовать для обучения специализированных моделей

Истинная ценность работы заключается в переосмыслении роли человека: вместо долгого и дорогого придумывания примеров с нуля, гораздо эффективнее использовать людей как цензоров и контролеров качества

Модели выдают больше заученных обучающих данных по мере того, как они становятся больше.

В то время как регулярная свертка локализована в пространстве пикселей, свертка Фурье локализована в частотном пространстве, но является глобальной в пространстве пикселей.

Knowledge is stored implicitly in the parameters of a neural network, requiring ever larger networks to cover more facts.

You want to induce your model to learn more global knowledge, more world knowledge, more semantics of the language.

Это довольно крутой результат, что вы можете извлечь такие уравнения с помощью только этих графовых сетей и символьной регрессии.

Люди думали, что backprop невозможен в мозгу, поэтому мозг не может делать backprop. Теперь мы видим, что мозг может делать что-то, что аппроксимирует его градиенты.

Чтобы запечатлеть знания более модульным и интерпретируемым способом, мы дополняем предварительное обучение языковой модели скрытым поисковиком знаний.

Это своего рода замкнутый круг: чем лучше поисковик, тем лучше модель отвечает на вопросы, а чем лучше ответы, тем точнее сигнал для обучения поисковика.

We appear to be trying to build a ladder to the moon.

Это не новая функция потерь для замены cross-entropy... это новый способ предварительного обучения сети.

Они заявляют, что их метод превосходит cross-entropy... на ImageNet это улучшение на целый процент, а это много.

Лучшие медицинские системы строят люди, которые понятия не имеют о медицине. Они просто знают, что врач пометил это как рак легких.

Метод фокусируется на примерах, которые сеть еще не может хорошо представить в рамках поставленной цели.

Полное сокрытие деталей обучения — это тактически грамотный шаг в современных реалиях ИИ-индустрии.

Когда бенчмарк становится полностью «зеленым», он теряет свою полезность — задачи нужно усложнять, чтобы нащупать предел возможностей модели.

Если вы выберете в качестве ландмарков абсолютно все ключи и запросы, аппроксимация действительно будет идеальной, потому что она перестанет быть аппроксимацией.

Значения внутри матрицы внимания не являются абсолютно независимыми друг от друга.

Вместо применения softmax к результату аппроксимации, они сначала вычисляют softmax для отдельных независимых подматриц меньшего размера

Как только вы публикуете статью о своей модели, другие люди обязательно воспроизведут ваши усилия, что очень круто для всех нас.

Два дома могут выглядеть одинаково в метаданных, но местный риелтор увидит разницу, которую глобальный алгоритм не заметит.

Это кажется уроком не в том, чего ИИ не может сделать, а в том, что нельзя просто бросить ИИ на проблему и ожидать хороших результатов.

В стандартной нейросети объём используемых вычислений растет вместе с размером входных данных, но не со сложностью изучаемой проблемы.

Мы верим, что смещение архитектур нейронных сетей в сторону поведения, больше похожего на алгоритмы, а не на плоские отображения, поможет раскрыть весь потенциал методов глубокого обучения.

Q-функция — это функция, которая в текущем состоянии по предложенному действию говорит вам, какой будет ваша общая награда в будущем.

Конечно, эта работа, также известная как AlexNet, была той, что начала революцию глубокого обучения.

Мы используем ReLU в первых двух полносвязных слоях. Без Dropout наша сеть показывает существенное переобучение.

В стандартной нейросети объем вычислений растет с размером входных данных, но не со сложностью изучаемой проблемы.

Биазирование архитектур нейронных сетей к поведению, похожему на алгоритмы, поможет развить методы глубокого обучения до их полного потенциала.

Мы можем свести всю проблему к оценке одного шага: вознаграждение, которое вы получаете от мира, должно каким-то образом быть разницей между тем, что Q-функция сказала вам на прошлом шаге, и тем, что она скажет на следующем.

Популярный механизм глубокого обучения можно официально признать частным случаем сети Хопфилда.

Внутреннее правило обновления сети Хопфилда спроектировано таким образом, чтобы итеративно минимизировать эту функцию.

Капсула — это группа нейронов, чей вектор активности представляет параметры экземпляра конкретного типа сущности.

Механизм внимания — это просто одношаговый алгоритм поиска шаблонов в сети Хопфилда с определенным правилом обновления.

Если я чему-то и научился на курсах по быстрому коду, так это тому, что константы имеют значение, когда мы не имеем дела с бесконечностью.

После того как у вас есть модель, вы можете использовать её, чтобы представить, как вы играете, вместо того чтобы действительно играть.

В Atari обучение латентных переменных как категориальных намного превосходит гауссовские латентные переменные.

Активный дендритный сегмент действует как отдельный вычислительный модуль. Когда входной сигнал достигает порога, он деполяризует тело клетки, подготавливая её к срабатыванию.

После того как модель обучена, вы можете использовать её, чтобы представлять, как вы играете в игру, вместо того чтобы играть на самом деле.

В моделях на базе категориальных переменных вы можете кодировать важные события, даже если не знаете, что именно они значат.

Дендриты являются своего рода гаванями, портами или доками для входящего трафика.

В реальности это кажется просто разновидностью полносвязного слоя, который они предлагают.

Моя главная проблема здесь — это все эти формулировки в терминах внимания и попытка выдать это за более быстрый трансформер, коим он не является.

Если мы тренируем модель на Wikipedia, она может делать математику. Если мы тренируем ее на биологических данных, она может предсказывать биологию.

Внедрение шума и аугментаций на экстра-данных приводит к тому, что ученик в конечном итоге узнает о структуре данных больше, чем знал его учитель.

Этот материал потребует от специалистов по классическому машинному обучению сломать привычные паттерны мышления.

Магия SIREN заключается в том, что производная сети SIREN сама является сетью SIREN.

Если вы похожи на меня и пришли из классического машинного обучения, эта статья потребует от вас переосмыслить само понятие работы с данными.

Производная SIREN — это тоже SIREN, и это свойство не характерно для других функций активации.

Случайный синтезатор — это просто причудливый способ записи обычного полносвзяного слоя

Эти задачи требуют сложного динамического роутинга информации, зависящего от контекста, а не просто статических позиционных смещений

Поиск нейроархитектур до сих пор остается лишь модным синонимом фразы „давайте просто попробуем кучу вариантов наугад“.

Выяснилось, что даже у Google Research не хватило вычислительных мощностей, чтобы запустить поиск нейроархитектур для сетей большого объема.

DSI делает что-то необычное, и авторы приложили инженерные усилия, чтобы понять, что работает, а что — нет.

Полноценная художественная свобода в таких системах пока ограничена.

Критика подобных багов — это жалобы на очень высоком уровне.

Если вы делаете ошибку в задаче восприятия, это будет иметь огромные последствия для всех последующих систем.

Эта статья запустила целую революцию в обучении с подкреплением, породив современный хайп вокруг Deep RL.

Модель освоила семь разных игр, используя абсолютно одинаковые гиперпараметры, что доказывает универсальность механизма.

Если ваша модель среды плоха, то планирование в ней часто накапливает и даже преувеличивает ошибки.

Навыки, которые мы изучаем, должны быть предсказуемыми, но при этом разнообразными.

GPT-4 будет таким же улучшением по сравнению с GPT-3, каким GPT-3 была по сравнению с GPT-2.

Примеры внутри пакета остаются неявно взаимосвязанными, как и в случае с Batch Norm.

Для достижения той же точности, что и у EfficientNet-B7, сети NFNet требуется в 8.7 раза меньше времени.

Подобный подход работает постфактум. Агент сначала совершает действие, заходит в тупик или исследует зону, и только затем рассчитывает внутреннюю награду

Слой внимания — это фактически полносвязный слой, веса которого динамически вычисляются другой частью сети на основе входных данных.

В авторегрессионных моделях можно обойтись без позиционного кодирования, так как они работают подобно рекуррентным сетям.

Это безумие, ведь предыдущие системы даже близко не приближались к человеческому уровню.

Это не просто какой-то фрагмент кода, это полноценный алгоритм.

Янник Кильхер указывает на важный тренд в машинном обучении: архитектуры стандартизируются, и ключевым фактором успеха становится качество очистки данных, а не усложнение блоков модели.

По мнению Янника Кильхера, нейросети — это просто новый мощный инструмент в арсенале художника.

Что вообще происходит с этой лисой? Помогите ей кто-нибудь.

Если мы обучаем всё вместе, это работает намного лучше.

По словам Янника Кильхера, предыдущие решения страдали от избыточного инженерного усложнения.

Вся базовая логика модели умещается в несколько десятков строк на PyTorch.

Вместо предсказания слов CLIP решает задачу классификации: для каждой картинки нужно выбрать наиболее подходящий текст из батча.

Промпт-инжиниринг в таких системах имеет критически важное значение для безопасности применения.

Обучение с подкреплением и так достаточно жестокая вещь.

Похоже, наши модели научились решать эти проблемы, но это не значит, что они выучили те методы, которые мы используем для их решения.

Модель даже должна была выучить десятичное представление чисел, чтобы понять, что «4» — это не просто другой токен, а число в 20 раз больше «2» из-за его позиции.

Если долго оскорблять человека, он в конечном итоге ответит грубостью. Модели ведут себя подобно людям, так как статистически отражают человеческое поведение.

Это уже не ручной процесс, когда нам нужно сидеть и думать: «Как написать промпт?» — всё это теперь делается механизмом.

Мы не решили проблему, мы просто перенесли её в другой домен.

Похоже, это просто игра с системой цитирований: ваше имя в списке, и вы получаете цитату, даже если писали другой раздел.

Если GPT-3 считается фундаментальной моделью, то и ResNet-50 безусловно ей является.

Это дает суперсилу людям, имеющим доступ к такому материалу... теперь это возможно не только правительству, но и любому человеку с домашним ПК.

Если Шмидхубер считает современные технологии лишь частным случаем его идей 90-х, то, пожалуйста, предскажите нам следующую большую вещь заранее.

Это алгоритм, который объединяет... шахматы и го, но выходит за их пределы — к покеру и Scotland Yard.

Что еще более безумно, эта система смогла решить две задачи Международной математической олимпиады.

Вам больше не нужно отслеживать шаги градиентного спуска — проксимальный регуляризатор связывает начало и конец чистой математикой.

Вычисление полной матрицы Гессиана для модели с миллионами параметров попросту невозможно, поэтому авторы используют метод сопряженных градиентов.

Мой базовый принцип — любые эксперименты в статьях это мусор, пока они не докажут мне обратное.

Раздел со связанными работами (Related Work) я просто пропускаю.

Наши системы видят мир немного иначе, чем мы. Вы можете использовать эту разницу, чтобы заставить их вести себя странно.

Я искренне сбит с толку. В правилах обучения нет ничего, что зависело бы от пространственного положения нейрона. Почему определенный нейрон на одной стороне стремится отправлять информацию строго на ту же высоту с другой стороны — загадка.

Вы совершаете ритуал, будто креститесь: подносите палец ко лбу, груди, плечам и произносите: „Технология — это хорошо, технология — это плохо, технология — это предвзято“.

Если модель хороша, она будет производить хорошие данные, но в рамках математического ожидания мы не должны видеть улучшений.

Как ваша мысль отличается от того, что вы являетесь статистическим интерполятором своих обучающих данных?

Лучший способ смягчить потенциальные угрозы технологии — предоставить её всем как можно быстрее и прозрачнее.

Мы потратили больше всего времени на работу с ограничивающими рамками, а не на саму модель. Это показывает, насколько легко сейчас пользоваться такими вещами.

В картинах Поллока явно очень много птиц, просто невероятно много птиц.

В этой модели информация от любого пикселя может достичь любой другой точки изображения всего за два шага.

Язык имеет сильные априорные знания о признаках и поведении, необходимых для осмысленного взаимодействия.

Язык обеспечивает действительно хорошие абстракции для такого типа задач.

Вы не должны делать прунинг по амплитуде веса; вы должны делать его по тому, насколько веса движутся во время трансферного обучения.

Если нам позволено фактически жульничать, мы можем найти промпты, которые заставят GPT-4 решить все вопросы.

Вся эта история выглядит крайне подозрительно.

Differences between a lot of these optimizers might just come down to the learning rate schedule.

One algorithm dictates where we go, the other algorithm dictates how far we go.

Мы essentially не имеем понятия, как сделать backprop через алгоритм поиска кратчайшего пути Дейкстры.

С моей точки зрения, этот процесс представляет собой классический один шаг градиентного спуска в латентном пространстве.

Высокую скорость обучения — модель демонстрирует понимание структуры датасета уже через 3 секунды после старта.

Как отмечает Янник Килхер, нейронные сети склонны «читерить» во время градиентного спуска

Даже если вы скажете злоумышленнику, что изображение помечено, он почти наверняка не сможет удалить этот знак без сильного искажения картинки.

В этой работе мы беремся за сложную задачу обучения синтезу речи из нормализованного текста или фонем сквозным методом.

Поскольку на старте обучения предсказания длины ошибочны, безусловные дискриминаторы не дают полезного сигнала.

Результаты этой статьи находятся на грани абсурда.

Это знамение времени — наши модели становятся одинаковыми для всех модальностей.

Линейное преимущество на одном слое умножается на N слоёв, превращая суммарную сложность обратно в квадратичную.

Эмпирические потери от отказа от полного внимания минимальны и полностью окупаются экономией памяти.

Это может проложить путь к будущему, где у нас будут гораздо более динамичные композиции моделей.

Поскольку при обучении из распределения берется случайный сэмпл, а оптимизировать приходится жесткую функцию потерь L2, модели становится выгоднее усреднять значения, делая картинку размытой ради минимизации штрафа

Честно говоря, будущие фреймворки глубокого обучения должны брать подобные вещи на себя автоматически, избавляя исследователей от необходимости писать такие низкоуровневые хаки вручную

Я пришел к выводу, что это скорее сверточная сеть, чем трансформер или RNN.

RWKV объединяет эффективное параллельное обучение трансформеров с эффективным инференсом RNN.

Мы получили линейный шаг, в то время как стандартные трансформеры изгибаются вверх из-за квадратичных требований.

Для каждой непрерывной симметрии динамической системы существует соответствующая величина, значение которой сохраняется во времени.

Это как если бы Лорд Волан-де-Морт отвечал за безопасное использование магии.

Я бы распространял этот инструмент, если бы хотел усложнить жизнь киберпреступникам, а не облегчить её.

Даже если вы можете написать правила, результат часто получается криптическим и трудным для понимания.

Это по сути языковая модель, но для пикселей.

Похоже, в этих генеративных моделях есть промежуточная стадия, где они представляют глобальную информацию.

Это не ИИ на блокчейне. Блокчейн нужен просто для регистрации сервисов и фасилитации платежей.

В self-supervised обучении берется одна картинка, аугментируется двумя разными способами, пропускается через пайплайн, и в конце модель заставляют сближать эти представления, одновременно отдаляя их от представлений других картинок. Это абсолютно та же идея, что и в Word2Vec.

Будучи Google, они могли бы просто выпустить код, работающий в распределенном дата-центре, но они этого не сделали... это действительно был шаг к своего рода демократизации ИИ.

OpenAI с их речами о демократизации и то, что они делают на самом деле, находятся в 180 градусах друг от друга.

Я сомневаюсь, что человек делает намного больше, чем просто статистически интерполирует свои тренировочные данные.

DeepMind имеет историю публикаций за платным доступом и выдачи псевдокода с кучей ошибок.

Похоже, проще обучить хорошее представление, чем схлопнуться в константу из-за специфики обучения по шагам.

Слово «открытый» в названии OpenAI означает лишь то, что каждый должен пользоваться плодами созданного ИИ, но делиться самой наукой вовсе не обязательно

Если эти модели так близки к созданию биооружия на заднем дворе, почему бы вам просто не перевернуть знак в коде и не использовать их, чтобы вылечить кучу болезней?

Это горький урок — при достаточном масштабе данных практически любая архитектура начинает показывать выдающиеся результаты.

Это была просто демонстрация, но в конце это действительно заработало. И я такой: «О черт. Бросайте всё, разрабатывайте идею, пишите статью!»

Это тот мир, в котором я хочу жить: где мы сотрудничаем в исследованиях гораздо больше, и это похоже на разработку программного обеспечения с открытым исходным кодом.

Эффект ансамбля здесь может быть связан не с извлечением большей информации из данных, а с функциональным ландшафтом и исследованием различных минимумов.

Если я политическая партия, я просто вношу в базу данных то, что, как я знаю, есть только у оппозиции, и в ту же секунду их телефоны начинают светиться красным.

Вы можете изменить правила шахмат, но вы не можете оценить, как в них будут играть люди, потому что у вас нет тысячи лет человеческой истории изучения этих правил.

Если два идеальных игрока играют друг против друга, результатом, скорее всего, всегда будет ничья.

Мы можем позволить ИИ предсказывать, что произойдет, если мы изменим, например, налоговую политику.

Похоже, что этот выбор в пользу добавления текста делает модель в значительной степени именно текстовой моделью.

Я обожаю обратный OCR, именно так я теперь буду называть процесс письма.

Трудность в этой задаче — построение вспомогательных объектов.

Это работа, которая очень хорошо справляется с очень, очень узкой нишевой задачей.

Архитектура RETRO позволяет отделить вычислительную мощность от объема знаний, подгружая факты на этапе инференса.

В этой статье они уже в названии прямо говорят: это побеждает GAN.

Это своего рода вечная война между теми, кто делает математически корректные вещи, и теми, кто просто выбрасывает всё, что не влияет на итоговое качество.

Мы должны коллективно перестать придавать такое значение капризным обвинениям в «проблематичности» и начать обсуждать технологии в нейтральных терминах.

Я бы предпочел, чтобы мой компилятор писал ассемблер, а не человек.

Супермаска — это бинарная маска, которую вы накладываете на случайно инициализированную сеть, чтобы она работала лучше, чем случайная инициализация.

Вам не нужно хранить всю сеть, достаточно хранить случайное число (seed) для ее генерации — шах и мат.

Навыки обеспечения соблюдения норм переносятся от нормы к норме, в то время как навыки соблюдения специфичны для каждой нормы.

Вам все равно придется долго и упорно настраивать гиперпараметры под свою конкретную задачу.

Для GPU это будет ощущаться так, будто постоянно приходят новые батчи, хотя на самом деле это одни и те же данные, пока не поступит что-то свежее.

Если у вас крупная компания с проблемами в пайплайне данных, внедрение этого метода — очевидное решение (no-brainer).

Это именно то, о чем этот новый режим NLP: вы просто помещаете все как строку, аннотируете ее умным способом, и это позволяет модели выяснить многое о входе.

Интеллект системы — это мера эффективности приобретения ею навыков в рамках определенного спектра задач с учетом априорных знаний, опыта и сложности обобщения.

Априорные знания отражают не общий объем информации в программе, а количество релевантной информации для конкретной задачи.

BRC показывает интересное свойство: эти рекуррентные нейронные сети могут помнить важные вещи гораздо дольше, чем наши текущие архитектуры.

В режиме бистабильности даже маленькие возмущения сигнала не смогут вывести ячейку из её состояния, что и позволяет ей помнить.

В высоких размерностях случайные векторы почти всегда ортогональны — это основа нашего статистического теста.

В multi-task learning мы хотим обучаться на разных задачах одновременно... и надеемся, что комбинация задач позволит выучить их лучше, чем по отдельности.

Если я буду выступать в роли адвоката дьявола: я мог бы либо использовать PCGrad, либо просто снизить скорость обучения.

Интеллект процесса кодируется не финальной производительностью системы в одной среде, а возможностью применить один и тот же базовый процесс к совершенно разным задачам.

Мне кажется, мы просто смещаем проблему исследования и эксплуатации на один уровень выше.

Мы подходим к области, где занимаемся мета-оверэнжинирингом наших подходов под специфику конкретного бенчмарка Atari.

Если вы решили, что эти четверо преступники, то вы правы, а остальные трое — законопослушные граждане.

Эта часть исследования — абсолютный мусор.

It's like seeing these images of plugging in the power strip into itself and you have infinite power.

Если вы хотите создать модель, которая понимает, что перед ней разные ракурсы одного и того же объекта, вам нужно отделить структуру от точки зрения.

Использование бинарных векторов позволяет кодировать гораздо большее число идентификаторов, чем при классическом One-Hot кодировании.

Эффект ИИ означает, что когда вы думаете, что решение задачи представляет интеллект, то после нахождения решения оно оказывается не интеллектом, а просто „взломом“.

Персонализация может стать действительно отличным применением этой системы для того, чтобы подталкивать GPT-3 к индивидуальному взаимодействию с пользователем.

Это близко к тому, что люди представляют под искусственным интеллектом: компьютерная программа, которая учится немедленно.

Successor representations... they kind of trade off the advantages of model-free... with the advantages of model-based.

It's kind of like dreaming so given that you have a model T... you can now sample state trajectories.

Если вы действительно дадите волю вашему оптимизатору, он злоупотребит каждой доступной мелочью для точечного соответствия валидационному лоссу.

Супермаски — это просто способ обучить нейронную сеть в грубой форме. Я не думаю, что здесь есть глубокая связь между маской и сетью.

Этот метод будет дважды наказывать классификатор, который менее уверен в себе, что приведет к росту системного смещения.

Классический алгоритм оптимизации всегда упадет в яму, потому что именно там он получает немедленную награду.

В текстовом квесте команды нужно вводить вручную строками текста, и комбинаторная сложность возможных фраз огромна.

Критически важную информацию, если есть возможность, всегда стоит выносить в отдельные предобработанные модули.

Техническая предвзятость чаще всего проистекает из «грязных» наборов данных, а не из того, какой пол или цвет кожи имеет инженер.

Рекомендация о привязке бонусов к найму по расе — это прямой призыв к расистскому и сексистскому найму.

Ступени для создания автомобиля могут не иметь ничего общего с автомобилями.

Это хороший пример того, как можно обмануть самого себя, когда у тебя есть гипотеза и ты собираешь только те данные, которые ей соответствуют.

Поскольку сообщество «альт-райт» очень маленькое, практически гарантировано, что первый комментарий любого пользователя будет оставлен где-то за его пределами.

Подобные уязвимости создают серьезные риски для безопасности ИИ-систем.

Каждая клетка здесь — это автономная сущность, которая может смотреть только на своих соседей, чтобы решить, останется ли она в живых.

Это напоминает то, как живые клетки чувствуют химические градиенты в своих районах.

Авторы говорят, что нам следует отойти от рекуррентных нейросетей.

Трансформеры — это парадигмальный сдвиг в обработке последовательностей.

Поскольку всё линейно, мы можем Claim: мы одновременно и рекуррентная сеть, и параллельная сеть.

Когда вы даете людям возможность и инструменты создавать, когда вы даете им доступ и свободу делать то, что они хотят, они создают абсолютно великие вещи.

Демократизация означает предоставление людям доступа ко всему, позволяя им брать вещи для себя, улучшать их и возвращать сообществу.

Любой человек в мире мог бы случайно получить такое совпадение моделей, графиков и иметь лишние деньги на пару тысяч TPU-дней. Не переживайте, процесс рецензирования в полной безопасности

Мы никогда явно не призывали сеть учить эти правила... мы просто обучали стандартную нейросеть, и она сама обнаружила закон

Машинное обучение в целом гораздо лучше справляется с оценкой того, подходят ли две вещи друг другу, чем с генерацией новой сущности с нуля.

Мы получили своего рода генератор случайных слов, потому что вся остальная часть алгоритма по сути реализована самим кодом и заданными ограничениями.

Это безумно полезный продукт. Особенно если вы пишете какой-то шаблонный код, эта штука просто напишет для вас целую функцию.

Наши люди обладают силой любви и решимости, а это всегда побеждает.

Появление OpenAssistant — это абсолютный геймчейнджер для бизнеса и для всех, кто хочет работать в open source.

Это pretty big step towards first of all making transformers more deep and second of all applying the same models to very very different modalities of data.

The queries essentially say what kind of things I would like to know of the incoming data and the keys are say for each pixel in the data say what kind of things that particular pixel offers to the model.

Если вы хотите что-то опубликовать, найдите метрику, в которой вы выигрываете.

Её преимущество в том, что она простая, а значит, хорошо масштабируется.

Я не верю ни на секунду, что люди так беспокоятся о безопасности. Они просто облекают свои амбиции в язык заботы о человечестве.

Похоже, что мы наблюдаем очень скоординированную кампанию по производству хайпа.

Если мы тренируемся на данных, охватывающих весь спектр человеческого языка, нужные нам задачи будут изучены неявно.

Это не совсем опасно — выпускать это исследование, это лишь отсрочка неизбежного.

Вместо спецификации дискретной последовательности скрытых слоев мы параметризуем производную скрытого состояния с помощью нейросети.

Эти непрерывные модели глубины имеют постоянную стоимость памяти и адаптируют стратегию оценки к каждому входу.

DeepMind, вышедшая в плюс, может быть скорее бухгалтерским трюком, чем чем-либо еще.

Flamingo — это по сути то же самое, чем была GPT-3 для языка, но теперь для изображений и текста.

Не пытайтесь реализовывать RL-алгоритмы самостоятельно. Это боль.

Масштабирование размера предобученного текстового энкодера важнее, чем масштабирование размера диффузионной модели.

В сущности, если вы подаете последовательность токенов, все внутренние произведения вычисляются, все соединено со всем.

Longformer — это то, что сверточная нейронная сеть делает для полносвязных слоев, он делает для трансформеров.

Мы хотим оптимизировать награду, и нам на самом деле не важно, если что-то где-то неконсистентно.

Это не метод, выведенный из принципов; они посмотрели, что не работает, и исправили основные ошибки по одной.

Важное преимущество заключается в том, что групповая нормализация вырывается вперед весьма радикально, когда вы работаете в режиме малых батчей.

Если модель была номером один в мире на v1, она останется номером один и на v2.

Это кажется свойством данных, а не свойством нейронных сетей.

Потрясающе, свертки — для лузеров, мы за локально применяемые линейные трансформации.

Эпоха проверки фактов на основе LLM, возможно, началась.

Пока в США открывают код Grok-1 и доминируют на рынке чипов, что может предложить Европа? Еще один баннер на сайте?

Если ваша визуальная система работает настолько эффективно, что в любом спорном моменте вы доверяете именно ей, то зачем вообще нужны остальные датчики?

Если кто-то приводит это как пример того, насколько плохи большие языковые модели, не упоминая всех этих нюансов, он либо не знает, либо хочет вас обмануть.

Люди просто добавляют пакетную нормализацию в сети и, возможно, не совсем понимают, что она делает.

Введение параметров Gamma и Beta может показаться избыточным, но это очень мощный инструмент.

Это не столько научное достижение, сколько техническое достижение.

Я не думаю, что язык будет решен простым добавлением параметров.

Мы идем дальше и реализуем целый процессор в GPT, так что я могу запустить любую программу, какую захочу.

Это действительно самый дорогой процессор в истории. Требуются сотни инструкций только для того, чтобы добраться до первого FizzBuzz.

Это гигантская трата денег и времени, но, знаете, вы можете поиграть в Змейку, а что еще нужно?

Подход с предсказанием резидуала от базовой эвристики может быть гораздо более общим методом, чем мы привыкли видеть.

GPL — это своего рода вирус: если она применяется к части ПО, вся система должна стать открытой, иначе вы нарушаете лицензию.

Это ты против машины. Amazon стоит на втором месте после PayPal по качеству клиентской поддержки — к черту их.

В машинном обучении трудно бороться с фейками, потому что если вы не получили мои цифры, вам просто скажут, что вы сделали это неправильно.

Попытка остановить пользователей через ограничения в лицензии столь же неэффективна, как попытка толкать предмет длинным куском вареных спагетти.

По сути, ИИ — это просто инструмент. Как он может придумать что-то новое?

Природа плюс роботы — это сочетание никогда ни к чему хорошему в истории не приводило.

Мы все знаем: больше кадров в секунду означает, что ты лучший игрок.

Это невероятно — получить почти 95% точности всего со всеми 250 размеченными примерами, когда обычный датасет требует 50 тысяч.

Если желание жаловаться становится сильнее, чем изучение реальных цифр, критика может быть несколько неуместной.

Сознание — это физический процесс, происходящий в мозге в результате взаимодействия материи.

Мы хотим снять с RL-алгоритма бремя извлечения полезной информации из пространства наблюдений.

Контрастивное обучение — это тот самый «секретный соус», который создаст для нас качественные представления.

Большинство систем ИИ-ассистентов ошибаются, пытаясь моделировать идеального человека, которого не существует.

Два кошачьих глаза — это больше «кошачести», чем один, поэтому при оптимизации вы получаете такие триповые картинки.

Чем выше вы поднимаетесь по слоям, тем более сложные признаки строит сеть.

Для модели ошибка в классификации человека и примата технически идентична ошибке между яхтой и парусником.

Если инженеры не научатся переносить биологические принципы в архитектуры ИИ, индустрии придется платить огромную вычислительную цену, симулируя каждый элемент мозга тысячами стандартных искусственных нейронов.

Эта ситуация демонстрирует фундаментальный провал внедрения машинного обучения, где стимулы расставлены неверно, а алгоритмы лишены гибкости.

Применять это к нижним слоям нейронных сетей кажется мне не совсем принципиальным подходом.

Если вы ограничите размер адверсариальной атаки, она может просто не достичь границы решения, которую мы отодвинули.

Технически это правда, что используется одно изображение, но если вы разбиваете его на множество фрагментов, это уже не совсем одно изображение.

Процесс рецензирования — это просто своего рода случайная неприятность для людей, через которую им приходится проходить.

Если я отклоню действительно хорошую статью, я всегда могу сказать: „Ничего страшного, авторы просто отправят её на следующую конференцию“.

Рецензирование не работает, peer review в машинном обучении — это шутка.

Модульность — это настоящий ключ. Идея предоставить модели высокоуровневые знания и снабдить её набором модульных внешних инструментов невероятно сильна.

Меня изрядно удивило, что это работает, ведь эти два конвейера фактически не общаются друг с другом.

В месте, где должна быть рамка, у вас нет локальной информации об объекте, потому что объекты обычно не прямоугольные.

Мы используем обучение с подкреплением, чтобы обучить агента, который может проектировать уровень.

Это не просто вопрос того, какие у вас карты, это вопрос того, сколько денег вы вкладываете.

Вы предполагаете, что ваш оппонент умен, ваш оппонент предполагает, что вы умны.

Мы трансформируем обучение с подкреплением в форму обучения с учителем, переворачивая традиционный RL с ног на голову.

В этой технике мы на самом деле имеем обучение поведению, мы напрямую выводим ценность действия.

Эта запутанная оценка ценности позволяет смотреть далеко в будущее, учитывая информацию из шагов, выходящих за рамки текущего окна.

В научном сообществе до сих пор нет единого консенсуса относительно точного математического определения распутывания, однако исследователи интуитивно стремятся извлечь эти независимые скрытые факторы

Из-за существования бесконечного количества таких запутывающих трансформаций вероятность случайно выбрать правильную структуру без внешних подсказок стремится к нулю

Генерация одной секунды речи может требовать от TTS-системы вывода 24 000 семплов, а иногда и больше.

По словам Янника Килхера, создатели RAD позиционируют свой метод как универсальный плагин, способный в одиночку дать такой же прирост производительности, какой индустрия пыталась достичь за последние пять лет сложных исследований

У Янника Килхера есть сильное подозрение, что столь ошеломительный успех кадрирования обусловлен самой структурой современных виртуальных сред

Нейросеть per se не понимает математику, она просто учится на множестве примеров предлагать хорошие гипотезы.

Если ваша выборка сильно смещена, то утверждения, которые вы делаете в конце исследования, весьма ограничены.

Как только вы выходите в открытый интернет и собираете случайный текст вокруг картинок, он перестает быть качественным. Эта информация снова становится низкосортной.

По мнению Янника Килхера, это не просто удачная эвристика — авторы математически доказали, что при совпадении политик алгоритм гарантированно сводится к классическим каноническим методам обучения с подкреплением.

В распределенной среде масштабирование демонстрирует практически линейный рост производительности.

В геометрии это явление называется зависимостью параллельного переноса от пути.

Мне очень нравится, когда ультратеоретическая работа перерастает в то, что бьет state-of-the-art методы на реальных задачах.

Планирование — это, по сути, состязательная атака против собственной прогностической модели агента.

Поскольку мы планируем только там, где знаем, мы совершаем гораздо меньше поисковых действий, чем другие.

В divide-and-conquer Monte Carlo tree search вы ищете не действия, а лучший способ разделить задачу на подзадачи.

По моему мнению, графика была действительно единственной вещью в этой игре, которая была хороша.

Дело не в том, что это супер-пупер реалистично, а просто в том, что взаимодействия между объектами реалистичны.

Я действительно верю, что ИИ в сельском хозяйстве имеет хорошие шансы принести много позитивного.

Концептуально этот вариант даже проще, поскольку в нем отсутствует необходимость обрабатывать причинно-следственные маски.

RMT не способна читать книгу целиком и находить сложные взаимосвязи между сотнями разрозненных деталей.

Вы взяли деньги — вы продали компанию. Я не верю во всю эту чепуху про интересы человечества от одной из самых скрытных лабораторий.

Проблема автоматизированного найма решена будет не отменой технологий, а их улучшением.

Это аналоговая нейронная сеть. В то время как многие строят бинарные компьютеры в Minecraft, эта работает напрямую с силой сигнала в проводах.

99% программ, которые выдает AlphaCode, неверны, в то время как человеку не нужно генерировать тысячи гипотез.

Математика полна тривиальных и бессмысленных утверждений, поэтому выбор того, что именно доказывать, сам по себе является сложной задачей.

Интересно, неужели их план — потратить миллиард долларов, чтобы наконец-то сдвинуть Bing с мертвой точки?

Стартапы часто берут больше денег, когда хотят начать масштабироваться еще сильнее.

Флагманская модель OpenAI теперь называется DaVinci. На вопрос о лучшей идее она ответила, что это идея, наиболее полезная для большинства людей. DaVinci — утилитарист.

Это шаг к сингулярности, поскольку теперь ИИ может проектировать ИИ-ускорители. Как потрясающе... человечество обречено.

Вам нужно разместить эти вещи, а затем соединить их проводами. Короткие провода означают быструю передачу сигнала.

По сути, вам больше не нужно смотреть на все эти квадратичные зависимости, если вы можете найти ближайшие векторы.

Текст песни абсолютно ничего не значит. Я просто хотел избежать проблем с авторскими правами на YouTube.

Мы находим точку в латентном пространстве GAN, которая всё больше и больше радует модель CLIP.

Как только включается камера, мой мозг просто отключается.

Пишите статьи, которые невозможно отклонить.

Что мы боялись, что машины нас убьют, но вот что мы получили.

Правильный ответ — это указать пальцем и рассмеяться.

Pickle isn't just saving data to a file and loading that data again; pickle is saving executable code.

Never load data that comes from an untrusted source, only load data you trust.

Генерация кода и понимание того, чего хочет пользователь, находятся только в самом начале пути.

Человеческие данные — это нечто потрясающее. Мы собрали тонны данных благодаря вам.

Модель отзеркалила тенденцию таких культов становиться просто экономическими инструментами.

Мы делаем всё возможное, чтобы предоставить вам наработки, соблюдая юридические ограничения.

Эта модель крайне агрессивна, поэтому она не готова к развёртыванию где бы то ни было.

В моем понимании это максимально близко к пониманию того, что ты делаешь, если ты способен так рассуждать.

Никто уже не верит OpenAI... Просто скажите, что хотите заработать денег, мы все это поймем.

Вы не можете нанять генерального директора более чем на 2-3 дня, так что просто помолчите про свою мудрость и безопасность.

Мы laugh-али над собой, потому что в этот момент нам приходилось относиться к GPT-3 как к разумному существу, хотя мы прекрасно знали, что это не так.

Papers aren't papers anymore. They're not technical reports because in a technical report you can write anything that you want and have to disclose nothing.

They're very actively trying not to do that.

Meta выпустила OPT-175B, но слышали ли вы что-нибудь об OPT-175A? Что они скрывают?

С нейросетью мы будем богаты: вы получаете обезьяну, и вы получаете обезьяну... теперь всё взаимозаменяемо.

Обучение GAN — это одна из тех вещей, где метрики похожи на гадание на кофейной гуще.

Эта обезьяна создана в это мгновение. Такая же обезьяна никогда не создавалась раньше и не будет создана потом.

Рынок моделей в компьютерном зрении еще не определен, гонка все еще широко открыта.

Это не AGI, это не „о боже, мир сейчас перевернется“. Это просто хорошая модель.

Модель не стала разумной, самосознающей или мета-осознанной. Она просто выбирает токены согласно своему обучению.

Для некоторых задач можно получить гораздо лучшую производительность с открытыми моделями при удивительно низкой стоимости.

Потратить 80 долларов за 6% относительного улучшения кажется неплохой сделкой.

Думайте не просто о том, как обучить одну модель, а о том, как использовать уже имеющиеся модели для создания обучающих данных для других систем.

Суть в том, что вы предсказываете только то, что вам абсолютно необходимо для получения значений, важных для обучения с подкреплением.

Это переносит обучение с подкреплением на новый уровень благодаря обучению на скрытых состояниях.

Ни одна технология в мире никогда не подвергалась запретам на том основании, что с ее помощью можно сгенерировать ложь.

У нас самый этичный набор данных на планете, где каждая точка была внесена с полного согласия контрибьюторов.

Мы хотели начать революцию. Я думаю, именно это мы и сделали.

В этой сфере никогда не было зимы ИИ.

Сложные модели работают только потому, что неявно копируют предыдущую точку данных.

Динамическое маскирование подразумевает генерацию маски «на лету» непосредственно в процессе подачи данных в модель.

Человечество наконец-то нашло идеальный природный источник абсолютного хаоса — и это процесс рецензирования статей на конференции NeurIPS.

Существующий формат peer review — это процесс, когда три случайных парня, сидя в туалете, лениво пролистывают вашу статью и пишут: „Недостаточно экспериментов, отклонить“.

В условиях рецензионной лотереи лучшая стратегия для исследователя — писать как можно больше статей среднего качества и массово заваливать ими конференции.

По сути, они берут человека, засовывают его в аппарат МРТ и обучают функцию, которая минимизирует ошибку между данными мозга и признаками нейросети.

В этом нет абсолютно никакого чтения мыслей в прямом смысле. Система скорее реконструирует пример из ImageNet, который напоминает то, что видит человек.

Это своего рода MapReduce для машинного обучения.

Прогресс в этой области абсолютно ошеломляющий.

Я могу просто выучить модель среды и затем обучаться, используя эту модель. По сути, я могу использовать свое воображение.

Если ваша модель мира неверна, политика найдет способ эксплуатировать эту неверность. Вы сможете ходить сквозь стены или летать.

Это по сути инженерное руководство, а не какая-то новая модель или техника.

Если вы формулируете вещи позитивно, чат-бот, скорее всего, согласится с вами из-за предвзятости в сторону позитива.

Если совместить анонимность рецензирования с безумным давлением необходимости публиковаться, вы получите теневое поведение.

Мы должны уйти от представления, что рецензирование — это три чувака, которые сидят в туалете, листают вашу статью на смартфоне, а потом дают слабый отказ.

Конференции делают всё возможное, чтобы стать неважными даже быстрее, чем они уже стали.

Я написал много кода, который по большей части является мусором.

Пик переобучения очень локализован. Если вы просто увеличиваете нейросеть, вы можете его пропустить и увидеть лишь постоянное улучшение.

Комбинация множества параметров и решений с низкой нормой дает гладкую функцию, которая хорошо обобщается.

Если кто-то приводит этот тест в пример того, как ужасны модели, не рассказывая о его создании, он либо не информирован, либо сознательно лжет.

Мне приятно видеть, что кто-то начинает подрывать доминирование Nvidia на рынке.

Все люди, которые так заботятся о демократизации ИИ: вас обошла группа людей из Discord, воинов из Twitter и эджлордов.

Вместо того чтобы сказать: «Это можно использовать для генерации рукописных дипфейков», формулировка гласит: «Это снижает барьеры для изучения дипфейков».

Мне нужно больше контента, пожалуйста, сделайте что-нибудь к следующей неделе!

Это ultimately очень просто, но метод apparently помогает с обучением классификаторов.

Вы действительно хотите дать Google, многомиллиардной транснациональной корпорации, почти монопольную власть решать, что хорошо, а что плохо для общества?

Google нашел суперпрагматичное решение, и я думаю, что они делают все возможное перед лицом ошеломляющей сложности машинного перевода.

Чем более человечным вы делаете ИИ, тем меньше люди склонны прощать ему ошибки.

Я выберу ИИ вместо этих людей в любой день, спасибо.

Weight Standardization позволяет Group Normalization работать лучше, чем Batch Norm, в любом режиме.

Мы собираемся заменить заблуждающихся, слабоумных людей искусственным интеллектом.

В области ИИ нет места дискриминации, поэтому мы оставим дискриминатор в стороне.

Это будет настолько искусственно и настолько интеллектуально, что вы не поверите.

Ошибка предсказания означает, что произошло что-то новое, чего вы не ожидали.

See this this is the last thing your arteries see before they go

It is the collective knowledge of humankind at least what has been written down in the internet

Этот алгоритм действительно начинает с чистого листа, и затем вы даете ему одно единственное изображение.

Люди — это не машины, которыми можно управлять.

Как только правительство получает власть, оно редко ее отдает.

Мастерство выше судьбы (Skill > Destiny). Неважно, насколько мир настроен против вас... вы можете преодолеть это, усердно работая.

Я не самый организованный человек, поэтому планирование встреч с авторами — это настоящий вызов для меня.

Технически метод является свободным от модели в том смысле, что здесь нет жестко закодированных правил мира.

Люди находят великие вещи только тогда, когда они их не ищут.

Если алгоритм спустя миллиард лет работы всё еще производит что-то интересное — это открытый алгоритм.

В этой схеме сама модель среды выступает в роли своеобразного «черного ящика».

В офлайн-обучении с подкреплением агент должен учиться на чьих-то чужих действиях.

Вы должны каким-то образом «сшить» вместе опыт других агентов, чтобы ваша задача заработала.

Ответ на предвзятость не может состоять из еще большей предвзятости.

Я сначала заманиваю вас драмой, а потом, прежде чем вы это осознаете, я вас обучаю. Шах и мат.

Случайно инициализированная плотная нейронная сеть содержит подсеть, которая инициализирована так, что при обучении в изоляции она может соответствовать точности оригинала.

Избыточность параметров дает нам комбинаторно огромное количество подсетей на выбор, где инициализация может оказаться удачной.

Пока робот думает, он выполняет старое действие, и мир продолжает меняться.

Если вы всегда выбираете действие с максимальным Q-значением, вы придете к оптимальному решению.

Это просто смещает баланс в сторону крупных институтов, которые могут позволить себе тратить много времени на создание красивых формулировок.

Если вы хотите получить быстрое обучение с подкреплением, вы обязаны делегировать медленные вычисления в какую-то другую структуру

Биологическая эволюция выступает в роли того самого глобального, сверхмедленного внешнего цикла

Что вам нужно понять о Git, так это то, что фундаментально Git — это граф, и это граф коммитов.

Если вы уже знали, как именно выполнять задачу, чтобы настроить функцию вознаграждения, тогда зачем вам вообще делать Reinforcement Learning?

Функция расстояния имеет очень плотный сигнал вознаграждения, из которого можно извлечь массу информации.

Поскольку существуют люди, способные распространять вирус без проявления каких-либо симптомов, данный метод не принесет ощутимой пользы, если не тестировать абсолютно каждого человека непрерывно.

Полностью оградить группу риска от внешнего мира невозможно.

Это отличный инженерный трюк, особенно полезный для оптимизации реальных производственных систем.

генеративное предобучение (generative pre-training) показало наихудшую эффективность, уступив даже обучению нейросети с нуля на базовой тысяче образцов

Для запуска всех 19 задач достаточно одной видеокарты Nvidia P100 GPU

Я бы предпочел полную отмену системы рецензирования в компьютерных науках, по крайней мере в машинном обучении.

Менеджер обладает очень высоким уровнем представления о мире, и для него последовательность действий — это всего лишь три простых шага.

Суть в том, чтобы восстановить действия пройденной траектории, основываясь исключительно на состояниях, признанных важными.

Это был первый алгоритм, который фактически превзошел человеческих экспертов в этой игре.

Это почти в точности алгоритм Дейкстры: вы просто исследуете, и для каждого нового состояния вы либо находите новый путь, либо обновляете старый.

Либо мы встраиваем эти знания в алгоритмы обучения с подкреплением, либо смиряемся с тем, что им приходится выяснять всё с нуля.

Существует ли эта система для целей 2020 года? Мы должны заменить ее.

Если работа не достигает состояния SOTA, то почему это вообще должно кого-то волновать?

Процесс создания датасетов ведет к возникновению смещений и легких решений для моделей, где они просто учат статистические корреляции.

Заземленный NLP означает, что вы строите то, что действительно понимает мир, сущности и их взаимодействие.

По сути, дистанция между окружениями была вектором размера пять... это очень специфично для конкретной области.

Enhanced POET продолжает внедрять новые, более сложные среды непрерывно.

Вы можете обнаружить, что инженерно загнали себя в угол, где всё больше зависите от этих эволюционирующих генераторов.

Если задача соответствует предположению о монотонности, очевидно, что это нужно использовать для лучшей работы.

Реинфорсмент лёрнинг испытывает огромные проблемы с этим, потому что он полагается на постоянное вознаграждение, чтобы замечать, какие действия хороши, а какие плохи.

Выбор вспомогательных задач полностью остаётся на усмотрение разработчика, то есть я как застройщик алгоритма должен решить, какими будут эти задачи.

Потенциал для abuse со стороны людей, контролирующих базу данных, огромен.

Мы все строим на фундаменте открытого программного обеспечения, без которого нас бы здесь не было.

Если обучать достаточно большие модели достаточно долго на качественных данных, получится хороший результат.

when your modules expect a very specific type of contract with a very specific type it just seems to make it less likely that you'll get complex behavior emerging

Дерек Джонс: Машинное обучение обеспечивает средства для людей, которые ничего не знают о предмете, публиковать статьи в этой области.