Андрей Карпати
28 цитат из наших статей · нажмите, чтобы открыть статью-источник
Сооснователь OpenAI, бывший глава отдела ИИ в Tesla и разработчик проекта AutoResearch.
Внимание — это механизм коммуникации между узлами в направленном графе.
Трансформер — это архитектура, которая захватила мир ИИ за последние пять лет.
LLM (большая языковая модель) тренирует другую LLM.
Может ли алгоритм найти решение лучше, чем человек с 20-летним опытом?
Большая языковая модель — это всего лишь два файла.
Правильнее думать об LLM как о процессе ядра зарождающейся операционной системы.
Нейронные сети — это просто математические выражения. Они не заботятся о том, что это нейросеть, они просто передают градиенты.
Если машина едет в два раза быстрее велосипеда, а велосипед в четыре раза быстрее пешехода, то машина едет в восемь раз быстрее пешехода — это и есть интуиция цепного правила.
Нам не обязательно разбивать всё до самых атомарных составляющих... Главное — чтобы мы знали, как вычислить локальную производную.
Micrograd — это PyTorch, если бы ваши тензоры всегда состояли из одного элемента.
Функция потерь — это единое число, которое измеряет общую производительность вашей нейронной сети.
Вы просто следуете за градиентной информацией, и это минимизирует лосс. Сеть устроена так, что когда лосс минимизирован, она делает то, что вы от нее хотите.
Вы можете делегировать мышление, но не можете делегировать понимание.
Software 3.0 — это программирование через промптинг, где контекстное окно становится вашим рычагом управления интерпретатором-LLM.
Мы не строим животных, мы вызываем призраков.
Английский — это самый горячий новый язык программирования.
Эндрю Ын: ИИ — это новое электричество.
Когда ведущие LLM падают, в мире происходит интеллектуальное затемнение.
Вы можете аутсорсить мышление, но вы не можете аутсорсить понимание.
Software 3.0 — это когда программирование превращается в промптинг, а рычагом управления становится содержимое контекстного окна.
Я присоединился к Anthropic, думаю, что следующие несколько лет на границе LLM будут особенно значимыми.
Эти вещи (фабрики) — наши пирамиды.
In our industry that that money and the acquisition of talent isn't enough. There's something else... Massively transformative purpose is incredibly important.
Это проверка души на прочность.
Я на высоком уровне играю за "Команду Человечества" (Team Human). Меня интересуют вещи, которые используют ИИ для расширения возможностей людей. Я не хочу будущего, где люди окажутся на обочине автоматизации
Не твои веса — не твой мозг
Вместо ручной настройки гиперпараметров радара эффективнее сфокусировать все инженерные силы на масштабировании зрения.
Это то, к чему мы готовились. Это очевидный следующий шаг.