Уилл Макаскилл

Даже крошечная доза риск-аверсии на определенном уровне превращается в огромную осторожность на космических масштабах.

Витопия — это состояние общества, которое находится на пути к созданию будущего, хотя бы на 90% столь же хорошего, как наш лучший потенциал.

Будущее, состоящее только из реплик одной и той же жизни, не является лучшим из возможных.

Мы вступаем в золотой век аналитической философии, где продуктивность может вырасти в 4 раза.

Проблема в том, что прогресс ИИ растет экспоненциально, а люди склонны к реактивному поведению.

Никакие харизматичные лидеры в истории не имели такой лояльности, как машины, полностью запрограммированные под одного человека.

Представьте, если бы в 1925 году мы получили все, что произошло за следующие сто лет, в течение одного десятилетия.

Существует риск, что внутри [процесса развития ИИ] произойдет захват власти, который закрывает пространство возможностей для будущего.

We are like a 12-year-old trying to make decisions about how their entire life goes.

Раннее преимущество в захвате ресурсов Солнечной системы с помощью ИИ может обеспечить одной стране вечное доминирование.

Люди используют «модель футбольного фаната» в морали: они просто выбирают любимую теорию и действуют так, будто она верна на 100%.

Бентам считал, что гомосексуальность — это нормально, еще тогда, когда за это могли посадить или казнить. Это показывает мощь утилитарного метода.

Unfortunately I think the reviewers we’ve [had]... [argue that] morality just [forbids everything]

Для точной этической оценки нам необходимо знать не только общий объем создаваемой ценности, но и то, как именно она распределяется.

Мы находимся на очень раннем этапе... в этом времени Златовласки, когда есть огромные возможности.

Я бы на самом деле оценил вероятность экзистенциального риска немного ниже этого уровня.

Быть брутальным по отношению к кому-то — это ужасный менеджмент. И все же это именно то, что люди говорят сами себе в своей голове.