Эндрю Ын

Открытые модели — это огромный источник геополитического влияния. Это новый фронт мягкой силы, подобный Голливуду.

Совет бизнес-лидеров не учиться кодить, потому что ИИ всё автоматизирует — это худший карьерный совет в истории.

ИИ сам по себе ни безопасен, ни опасен. То, как вы его применяете, делает его безопасным или небезопасным.

Утверждение, что ИИ настолько силен, что мы можем случайно привести к вымиранию человечества — это просто нелепо.

Программирование — это не про синтаксис, а про умение систематически объяснять компьютеру, что ему делать.

Двигаться быстро и быть ответственным — это возможно.

ИИ — это технология общего назначения, которая сейчас применяется практически во всех областях экономики.

В традиционных софтверных проектах вы пишете код и контролируете его... Но ИИ-проекты включают как код, так и данные, на которых вы обучаете алгоритм. И вы почти никогда не знаете, какие странные и чудесные вещи скрываются в ваших данных.

Я склонен говорить своим командам: у нас есть два дня, или один день, или, может быть, неделя... какой самый креативный, уважительный, ответственный, но быстрый способ мы можем использовать для сбора данных?

По моему мнению, совет не учиться кодить на том основании, что ИИ автоматизирует этот процесс, — это худший карьерный совет, который когда-либо давали.

Сегодня я просто не найму программного инженера, который не умеет использовать ИИ для помощи в написании кода. В этом нет никакого смысла.

Многие из моих друзей в то время говорили мне, что создавать Google Brain — ужасная идея.

Если ИИ достаточно умен, чтобы случайно уничтожить нас, он, вероятно, будет достаточно умен, чтобы понять наши намерения.

Я бы предпочел, чтобы ИИ развивался быстрее, а не медленнее, если мы хотим, чтобы человечество процветало в следующие тысячи лет.

ИИ — это новое электричество. Мы трансформировали софт, теперь пора трансформировать сельское хозяйство и здравоохранение.

Лучшие ИИ-команды не используют глубокое обучение для всего. У них есть портфель техник от XGBoost до графов знаний.

Перед использованием PCA рассмотрите возможность простого использования исходных данных.

Я думаю, что машинное обучение и глубокое обучение всё ещё находятся в той ранней эре, когда студент может обучать нейросеть, и по какой-то причине она не работает, и он идет к мудрецу и спрашивает: „Что мне делать?“

Одна из очень привлекательных вещей, которые я делаю в машинном обучении — это однодневные спринты. Это звучит безумно, верно?

Не стройте еще одну поисковую систему — это была конкуренция десятилетней давности. Решайте задачи добычи полезных ископаемых, сельского хозяйства и производства.

Этот шаг поможет перенести ИИ в остальные сферы, которые намного масштабнее софтверной индустрии.

Я рекомендую компаниям автоматизировать отдельные задачи, а не профессии целиком.

В эпоху масштабных технологических изменений качество лидерства имеет решающее значение.

Полезный тест — не то, может ли человеческий глаз распознать свет светофора, а может ли человек, сидя в офисе, сделать это, глядя только на изображение с камеры.

Если у вас всего 100 обучающих примеров и один из них помечен неверно — это уже 1% вашего набора данных.

Совет от человека, работавшего в том же квадранте, что и ваша проблема, будет в среднем более полезным.

Если 99% пациентов не больны, алгоритм, предсказывающий, что никто никогда не болеет, будет иметь точность 99%.

F1 — это способ объединения точности и полноты, который делает акцент на худшем из этих двух показателей.

Когда я работаю над новым проектом, я часто не против потратить несколько часов или день-два на самостоятельную разметку данных.

Мой совет командам: не увеличивайте объем данных более чем в 10 раз за один прием.

Неважно, насколько велико входное изображение, количество параметров остается фиксированным.

Количество каналов в вашем изображении должно совпадать с количеством каналов в вашем фильтре.

Необычность функции активации Softmax в том, что она принимает на вход вектор и выдает на выходе тоже вектор.

Решающая граница между любыми двумя классами в Softmax будет линейной, если у вас нет скрытых слоев.

Локализация относится к выяснению того, где именно на картинке находится обнаруженный вами автомобиль.

Идея заставить нейросеть выдавать набор вещественных чисел для определения местоположения оказывается очень мощной.

Имея большой обучающий набор данных, Mini-Batch градиентный спуск работает намного быстрее, и это практически то, что используют все в Deep Learning.

Главная причина, по которой люди используют Max pooling, заключается в том, что по результатам множества экспериментов это просто хорошо работает.

В слоях объединения нет параметров для обучения — градиентному спуску здесь нечего менять.

Механизм внимания позволяет нейронной сети уделять внимание только части входного предложения при генерации перевода, во многом подобно переводчику-человеку.

Вместо того чтобы принуждать вас выполнять прямое распространение для четырех подмножеств входного изображения независимо, это объединяет все четыре в одно вычисление.

Это делает все дело намного эффективнее.

Bleu Score выступает «дублёром» для человеческих экспертов, позволяя автоматически оценивать качество перевода.

Bleu Score стал революционным, так как предоставил разработчикам единую метрику для сравнения идей и ускорения прогресса.

Огромная разница в продуктивности, когда вы можете проверить идею за 10 минут или за день, а не ждать результата месяц.

Когда я считаю слои, я считаю только те слои, у которых есть веса.

Один из распространенных советов — не пытаться изобретать собственные настройки гиперпараметров, а посмотреть в литературе, что сработало у других.

Если размер активации падает слишком быстро, это обычно не очень хорошо для производительности.

Слой узкого горлышка — это самая узкая часть этой сети. Мы сжимаем представление перед тем, как снова увеличить размер.

Вы можете значительно уменьшить размер представления, и это, похоже, не вредит производительности, но экономит кучу вычислений.

Основной вывод, который формулирует Эндрю Ын, заключается в том, что последовательный расчет производных справа налево (против хода основных вычислений) является наиболее эффективным вычислительным методом

Прямой проход (слева направо) служит для вычисления самой оптимизируемой функции стоимости, тогда как обратный проход (справа налево) предназначен исключительно для быстрого вычисления производных

Если формировать их наобум, то условие корректного разделения будет удовлетворяться слишком легко...

По мере того как вы углубляетесь в сеть, высота и ширина имеют тенденцию уменьшаться, а количество каналов — расти.

Именно эта работа (AlexNet) убедила многих в сообществе компьютерного зрения серьезно взглянуть на глубокое обучение.

Я почти никогда больше не использую сигмоидальную функцию активации. Гиперболический тангенс (tanh) почти всегда строго лучше.

Если вы просто убедитесь, что размерности ваших матриц совпадают, это уже устранит огромное количество багов в алгоритме обратного распространения.

Вывод алгоритма backpropagation — это одна из самых сложных математических задач, которые я видел в машинном обучении.

Beam Search — это наиболее широко используемый алгоритм для того, чтобы найти наиболее вероятную текстовую транскрипцию.

Рассматривая несколько возможностей одновременно, лучевой поиск обычно находит гораздо лучший результат, чем жадный поиск.

Трансляция позволит вам не только ускорить выполнение кода, но и добиться желаемого результата меньшим количеством строк.

Если вы используете Batch Norm, вы можете фактически исключить параметр b или считать его равным нулю.

Batch Norm происходит между вычислением Z и вычислением A.

Производная функции просто означает наклон этой функции.

Граница принятия решения — это линия, на которой вы находитесь в нейтральном положении относительно того, является ли Y нулем или единицей.

С полиномиальными признаками вы можете получить очень сложные границы принятия решений.

Если размер мини-пакета равен размеру всей выборки, вы просто возвращаетесь к пакетному градиентному спуску.

Ваш код может работать быстрее, если размер мини-пакета является степенью двойки.

Вместо того чтобы просто собирать всё больше и больше данных, анализ ошибок поможет вам действовать более целенаправленно.

В многозадачном обучении вы одновременно заставляете одну нейросеть делать несколько вещей сразу.

Единственный случай, когда многозадачность вредит производительности — если ваша нейросеть недостаточно велика.

На практике я вижу, что Transfer Learning используется гораздо чаще, чем Multitask Learning.

Название Softmax происходит от контраста с так называемым Hardmax, который ставит 1 на место самого большого элемента и 0 на остальные.

Функция стоимости дает вам способ измерить, насколько хорошо определенный набор параметров соответствует обучающим данным.

Для логистической регрессии эта функция стоимости на основе квадратичной ошибки не является хорошим выбором.

Один из инструментов отладки, который я часто использую для проверки корректности кода — это лист бумаги, на котором я просто просчитываю размерности матриц.

Ортогонализация относится к тому, что дизайнеры телевизоров проектировали ручки так, чтобы каждая выполняла только одну функцию.

Я лично считаю раннюю остановку сложной для понимания, потому что это ручка, которая одновременно влияет на качество обучения и обобщающую способность.

Когда у вас мало данных, ручное проектирование — это лучший способ добиться хорошей производительности.

Ансамблирование — это один из тех советов, которые люди используют для победы в соревнованиях, но который почти никогда не используется в продакшене.

Я нахожу, что частичная автоматизация иногда является очень хорошим проектным решением для приложений, где производительность алгоритма недостаточно хороша для полной автоматизации.

Интуитивно вы можете думать о ранних слоях нейронной сети как о детектировании простых функций, таких как края, а затем об их композиции в последующих слоях.

Аналогии между глубоким обучением и человеческим мозгом иногда немного опасны, но в этом много правды.

Я думаю, что фраза «глубокое обучение» — это просто отличный бренд. Она звучит так глубоко!

Переобучение означает, что модель подогнана под данные почти слишком хорошо, и она не будет обобщаться на новые примеры.

TensorFlow уже имеет встроенные необходимые обратные функции. Вот почему, используя встроенные функции для вычисления прямой функции, он может автоматически выполнять и обратные функции.

Всё, что вам нужно сделать, это указать, как рассчитать функцию стоимости, а затем он берет производные и может применить оптимизатор градиента всего одной или двумя строками кода.

Сквозное глубокое обучение позволяет взять множество этапов обработки и заменить их одной нейронной сетью.

Многие инженеры считают, что развертывание модели машинного обучения — это финишная черта. К сожалению, первый деплой означает, что вы прошли лишь половину пути.

Концептуальный дрейф — это когда меняется само определение того, что мы хотим получить на выходе при заданных входных данных.

Этот простой процесс подсчета — анализ ошибок — может сэкономить вам массу времени при выборе наиболее перспективного направления.

Анализ ошибок дает вам 'потолок' производительности — лучшее, на что вы можете надеяться, решив конкретную проблему.

Корреляция говорит вам, какие из этих компонентов текстуры высокого уровня имеют тенденцию возникать или не возникать вместе в части изображения.

Алгоритмы глубокого обучения достаточно устойчивы к случайным ошибкам в обучающем наборе, но менее устойчивы к систематическим.

Если вы не можете доверять своему проверочному набору в оценке того, какой классификатор лучше, это веский повод исправить метки.

Несколько часов ручного подсчета данных могут реально помочь вам расставить приоритеты — это отличное использование вашего времени.

Думайте об определении метрики как о первом шаге, и вы делаете что-то другое для шага номер два (оптимизации).

Даже если вы не можете определить идеальную метрику, просто настройте что-то быстро и используйте это для ускорения итераций вашей команды.

Навигационные запросы в этом контексте — это непропорционально важный набор примеров.

Я считаю своей работой не просто хорошо выступить на тестовом наборе, а создать систему машинного обучения, которая решает реальную бизнес-задачу.

Буду честен: не существует очень систематических способов борьбы с несоответствием данных.

Фонемы — это фантазия языка, созданная людьми-лингвистами. Это разумное описание, но не очевидно, что стоит заставлять алгоритм думать ими.

Сквозное обучение позволяет данным говорить самим за себя.

Ручное проектирование компонентов — это способ впрыснуть человеческие знания в алгоритм.

Сегодня ручное переобучение встречается гораздо чаще, чем автоматическое. Разработчики не решаются позволить алгоритму полностью автоматически принимать решение о выпуске новой модели в продакшн.

Проверочная выборка указывает вашей команде, куда целиться. Если в ней данные не из того распределения, вы оптимизируете систему не под ту задачу.

В эпоху глубокого обучения все больше команд тренируют модели на данных, чье распределение отличается от проверочных и тестовых сетов.

Для человеческого уха один час шума может звучать так же, как любой другой, но есть риск, что алгоритм переобучится на этот конкретный час.

Человеческий уровень производительности является прокси-метрикой для ошибки Байеса.

Прогресс в проектах машинного обучения замедляется, как только вы достигаете человеческого уровня.

Перемножение множества чисел меньше единицы приводит к крошечному результату, который компьютер не может хранить точно.

Использование параметра альфа — это эвристика или «хак», у него нет строгого теоретического обоснования, но это хорошо работает на практике.

Вы не сможете лидировать в ИИ, будучи лидером в принятии правил, замедляющих ИИ.

Если цена поиска двух отличных идей для масштабирования — это создание 18 других вещей, которые умрут тихой смертью, это нормально.

Наши технологические компании провели массированную PR-кампанию, убеждая людей не доверять ИИ и сравнивая его с ядерным оружием. Это было прискорбно.

Вершина небоскреба приближает вас к Луне, но строительство высоких зданий — это не всё, что нужно, чтобы на ней оказаться.

Я думаю, что мы сможем построить гораздо более богатое общество, если позволим каждому помочь писать будущее.

Вопреки хайпу, ИИ часто может отлично работать даже на скромных объемах данных.

Сегодня ИИ находится в руках верховных жрецов и жриц — это высококвалифицированные инженеры, многие из которых работают в крупных технологических компаниях.

Мы сможем построить гораздо более богатое общество, если позволим каждому участвовать в написании будущего.

Move fast and be responsible.

Я думаю, что ИИ — это новое электричество.

Вы сможете с уверенностью внести глубокое обучение в свое резюме.