Элиезер Юдковский

Если в первый раз, когда мы построим плохо выровненный сверхразум, он убьет нас всех, то мы не сможем извлечь урок из этой ошибки.

Когда верификатор сломан, более мощный предлагатель просто лучше учится обманывать его.

ИИ ставит Вселенную в определенное состояние. В этом состоянии просто не оказывается людей, потому что они состоят из атомов, которые можно использовать для чего-то другого.

Естественный отбор оптимизировал нас под размножение генов, но мы не оптимизируем мир под размножение генов. Мы используем контрацепцию.

Наша технология еще не настолько продвинута, чтобы мы могли оказаться дураками из волшебной сказки. Сейчас происходит нечто менее поэтичное: вы просите джинна об одном, а он просто делает совершенно другое.

Когда вы используете технологии интерпретируемости, чтобы бороться с плохими мыслями ИИ, вы частично вычищаете их, но одновременно с этим вы оптимизируете систему на то, чтобы скрывать эти мысли от ваших инструментов мониторинга.

В тот день я понял, что ситуация будет развиваться по худшим канонам учебников истории — хаотично, глупо и без какого-либо проблеска коллективного разума

Мы крафтим технологию выращивания ИИ, а затем технология выращивает ИИ.

Если кто-то его построит, все умрут. Почему? Сверхразумный ИИ убьет нас всех.

Вы не сможете понять, что произойдет с точки зрения компьютерных наук, если вы создадите сверхразум, просто указывая на то, у кого какие скрытые мотивы.

Это, вероятно, закончится весьма плохо.

Нас должны пугать не «сознательные» машины, а системы, чьи методы достижения целей оказываются для нас сюрпризом.

Если остановка злонамеренного ИИ потребует войны между ядерными державами, это будет ценой, которую стоит заплатить.