Вот появятся убедительные виртуальные девушки/парни, и будет как в фантастике: каждому обидчику можно дать робота-жертву, чтобы он отвёл душу, не причиняя никому вреда. Таким образом часто мечтали сделать гуманную тюрьму будущего: если ты садист — заточить тебя в мире неразумных кукол, мучай технику. Или, скажем, если не можешь без скандалов, вот тебе робот, скандаль с ним.

Но в фантастике тут же стали выяснять, точно ли это будут неразумные куклы, ведь они должны вести себя как люди, иначе насильнику и садисту будет неинтересно. Последнее время кажется, что эти вещи действительно связаны. "Самосознание" это куча свойств в одном фантике; нельзя сказать, что любая говорящая коробка получает их все, но скорее всего, если машина ведёт себя как человек, она и внутри неизбежно будет похожа во многих важных отношениях.

Было бы неправильно подвергать разумных роботов насилию (даже психологическому). Так что маленькие уязвимые чатботы на роль жертв не годятся. Но можно ведь сделать Великий Гигантский Сверхинтеллект, и попросить его для каннибалов и насильников разыгрывать одним пальцем нужные им роли, всерьёз не увлекаясь? Для Сверхинтеллекта это лишь игра, одна из миллионов - сравнительно с масштабом его настоящих мыслей и чувств.

(Возможно, что и этого сделать нельзя)Возможно, что и этого сделать нельзя.

В "Отставании в ракетах" Штросса однажды в 1960-х люди времён холодной войны, люди из поделённого на зоны влияния СССР и США мира, проснулись на другой Земле — с теми же материками, но плоской, почти бесконечной во все стороны, как лист бумаги. Звёзды поменялись, и в паре световых лет от них висит ещё один такой же лист, а за ним другие.

Что это? Это память какого-то колоссального организма в далёком будущем. США и СССР на этом листе это воспоминания или догадки о них. Любые подробные воспоминания хранят структуру вспоминаемого и процессы в ней. Упрощённо для этого организма, но достаточно подробно для нас. Когда этот разум помнит США и СССР, в нём в какой-то форме хранятся и существуют США и СССР. Для них самих это особая китайская комната.

На словах эта идея всегда была понятна, но книга Штросса нарисовала для неё живой запоминающийся пример, поэтому у меня этот принцип в голове подписан как "Отставание в ракетах".

Когда мы читаем про героя книги, он немного оживает в нас — упрощённо, как написан. Когда сверхразум читает книгу про нас, оживаем мы — упрощённо для него, но достаточно подробно для нас. Программы внутри виртуального компьютера ничем не отличаются от запущенных на настоящем.

Когда Сверхинтеллект краешком ума придумывает миллион разговоров, где выдуманные персонажи ведут себя как живые — он воображает их память и мысли. В этот момент внутри него они существуют. Поэтому подвергать их насилию всё так же неправильно. Сверхинтеллект насилию подвергнут не будет — только его крупицы. Но мы так малы, что его крупицы равны нам, и мы должны пожалеть их.