Кристофер Мэннинг
11 цитат из наших статей · нажмите, чтобы открыть статью-источник
Профессор Стэндфордского университета, один из ведущих мировых ученых в области обработки естественного языка (NLP).
Общее заблуждение состоит в том, что использование языка связано прежде всего со словами и их значением. Это не так. Оно связано прежде всего с людьми и тем, что они имеют в виду.
Вы узнаете слово по компании, которую оно держит.
Внимание — это очень фундаментальная идея нейронных сетей, которая изначально была разработана в контексте машинного перевода.
Изобретение идеи внимания было полностью трансформационным.
Это действительно похоже на магию, что можно просто проделать эту простую математику над большим количеством текста и фактически узнать значения слов.
По сути, нейронные сети на самом деле часто работают лучше, когда вы добавляете немного шума в систему.
По сути, все, что мы делаем в NLP сегодня, делается с помощью языковых моделей.
Взрывные градиенты — это проблема. Вы думаете, что идете в Сьерру, а оказываетесь в Айове.
Секрет LSTM в этом знаке «плюс».
В некотором смысле эти модели были более правильными с точки зрения того, как моделировать семантику человеческого языка.
Если вы хотите быть более позитивным человеком, реже используйте отрицание. Слово «не» само по себе статистически негативно.