Стивен Бойд
37 цитат из наших статей · нажмите, чтобы открыть статью-источник
Профессор Стэнфордского университета, лектор курса EE364A.
От локальных утверждений мы можем делать глобальные выводы.
Это конструктивный анализ выпуклости: никаких градиентов не пострадает в процессе доказательства.
Выпуклые задачи оптимизации трактуемы. Базово, мы можем их решать. В этом вся суть.
Для выпуклых функций обнуление градиента дает именно минимизатор — оптимальную точку без каких-либо оговорок.
По сути, выпуклые задачи оптимизации трактуемы. Мы можем их решить. Вот в чём смысл.
Любой локально оптимальный пункт выпуклой задачи является глобально оптимальным.
Половина всех количественных хедж-фондов просто используют QP, и всё.
Если кто-то говорит, что хочет вероятность успеха 99,9%, это смешно. Никто не знает хвосты своих распределений так хорошо.
При решении одной такой задачи допустимости исследователь получает ровно один бит информации об оптимальном значении целевой функции.
Полноценные конические программы второго порядка покрывают около 95% всех возможных оптимизационных задач из сотни различных прикладных областей.
Думать о множителях Лагранжа как о ценах — это лучший способ их понять.
Солверы возвращают оптимальную точку и короткое доказательство того, что лучше сделать невозможно.
Когда они говорят «легко обратить», это сленг. Это значит, что систему легко решить.
Факторизация — это один раз, а потом многократные решения.
По сути, к концу следующей недели вы реализуете LP-солвер, который сможет решать задачи с 10 000 переменных, что довольно круто.
Вся эта история продолжается, насколько известно, вечно — практические задачи решаются за O(1) итераций.
Все продвижения и улучшения в этой области сейчас происходят исключительно за счет линейной алгебры.
Произведение двух чисел, каждое из которых меньше или равно нулю, больше или равно нулю. Все поняли? Чрезвычайно глубокий математический принцип.
Иногда вы действительно возвращаетесь к определению или вычисляете гессиан, или что-то в этом роде. На самом деле это случается крайне редко.
L1 — это разреживатель: когда вы используете его в оптимизации, решение часто содержит много нулей.
Я гарантирую, что 99% реальной неопределенности на практике просто игнорируется.
Просто признание того, что неопределенность существует, дает вам 90% успеха.
Если вы хотите минимизировать выпуклую функцию, условие оптимальности — градиент функции равен нулю. Это обобщает метод множителей Лагранжа на случай неравенств.
Если у вас есть 50 ограничений в дизайне схемы, обычно только 10-15 из них являются жесткими. Лагранжевы множители показывают, насколько они действительно важны.
Мы не ожидаем, что у вас будет полное мастерство всей теории, которую мы покрыли, — её на самом деле много.
Это как «мартышка за пишущей машинкой»: вводишь что-то в CVXPY и ждёшь, пока заработает. Это ровно противоположность того, что мы хотим.
Если у штрафной функции есть острая точка, вы будете ожидать, что решение будет иметь много нулей.
В хорошей численной работе формирование обратной матрицы происходит невероятно редко.
Развитие современных разреженных солверов сделало ненужными множество академических лекций прошлых десятилетий.
Метод Ньютона независим от изменений координат, от любого линейного изменения координат. Это чрезвычайно хорошее свойство для практики.
Если бы вы оценивали сложность по реальным числам, то получили бы числа вроде 10 или 100 миллионов итераций, хотя на практике метод сходится за 20 шагов.
Мы не гордые и крадем студенческие решения... поколения других студентов будут читать их и думать: «Ого, кто до этого додумался?»
Эллипсоиды — это универсальные аппроксиматоры выпуклых множеств.
Вы можете решить абсолютно любую выпуклую задачу, вычислив от 20 до 50 обычных задач наименьших квадратов, имеющих ту же структуру.
Люди, работающие над практическими реализациями, делают то, что не обосновано теорией, и это работает лучше.
Выпуклая минимизация сведена к последовательности квадратичных минимизаций, каждая из которых — просто линейная алгебра.
При наличии внутренней структуры в матрицах решать большую систему ККТ практически всегда лучше.