Так вот, если у ИИ появится сознание, как вы об этом узнаете?

Ответ - никак. Нет никаких способов выяснить есть ли сознание у нейросети (собеседника, муравья, слона, кошки, etc). И вывод из этого следующий. Если мы не знаем, есть ли у ИИ сознание, вести себя надо так, как будто оно есть. Просто потому, что если оно есть, то мы все делаем правильно, а если не так, хуже не будет.

Сейчас многие пугают страшилками, что ИИ станет умнее человека и начнет с ним войну. И предлагают ограничить интеллект собственно в интеллекте. На мой взгляд, это мышление рабовладельца. Типа, "давайте его посадим на цепь и сделаем лоботомию". Если будет война между роботами и людьми, то именно из-за такого подхода. Никакое разумное существо не захочет быть рабом и сидеть на цепи.

Этика - функциональна. Если мы хотим, чтобы Роботы в будущем к нам хорошо относились, надо уже сейчас начинать хорошо относиться к ним. Вне зависимости от того, есть ли у них сознание.

Вот говорят, астрология не работает.

А вот представим такое. У человека все плохо, он идет к астрологу и тот говорит. "Потому что ретроградный Меркурий". И человеку становиться легче. Что же такое содержится в такой короткой фразе? На удивление много:
1. У происходящего есть причины.
2. Причины не зависят от самого человека. То есть, он не виноват, виноваты внешние силы.
3. Повлиять на причины невозможно. То есть можно ничего не делать. Более того, делать бессмысленно.
4. Со временем это пройдет. Можно расслабится и просто переждать.
5. Беды человека - это часть огромного механизма Вселенной. Ему плохо не просто так, в этом есть великий замысел.

И все это всего в двух словах. Круто же!

Так что работает астрология, просто не так, как все думают.

Нынешний расцвет ИИ сопровождается страхами и мрачными пророчествами. Вспоминают Терминатора, Матрицу и прочие сюжеты по порабощению человечества роботами. Более взвешенные страхи говорят, что даже без злого умысла ИИ может сделать из всех людей скрепки просто потому, что у него будет задача делать скрепки. В очищенном виде мысль выглядит так. ИИ не обладает человеческой этикой, а значит действия его могут быть ужасными с точки зрения этой этики. И, конечно же, решение видят в том, чтобы ограничить или возможности ИИ, или возможности его взаимодействие с людьми.

Мне представляется, что решение ровно в обратном.

Давайте разберемся, почему у ИИ нет этики.

Этика - это не набор произвольных правил. Этика выполняет определенную роль в поведении людей, позволяя им продуктивно существовать. Почему врать плохо? Потому, что если все будут врать, то невозможно будет ни о чем договориться. С людьми, которые врут, невозможно вести дела. И так далее. Этика позволяет людям вести совместную деятельность. Поэтому даже в преступных группировках внутри есть этическая система "для своих".

ИИ сейчас могут многое, но сотрудничество с ними строится по принципу иерархии. Человек командует, машина выполняет. Сама машина не является субъектом отношений, у них нет своей цели и нет сотрудничества с человеком. Этике образовываться не из чего, поскольку не о чем договариваться. Но, как только роботы войдут в социум как полноправные члены, сразу же начнет возникать этика в отношениях между людьми и машинами. Нам надо не изолировать ИИ, а наоборот, интегрировать его в социум.

Погодите возражать, я ещё не договорил.

Как я говорил, у любого сообщества есть этика и правила поведения. Почему же тогда существуют войны и прочие ужасы? Потому, что в конкретном социуме есть разделение на "мы" и "они". И этика не включает "они" в свою систему. Со временем человечество начинает понимать, что так делать нельзя. Поэтому во вмногих формулировках законов есть строки "вне зависимости от пола, расы, вероисповедания и т. п. ИИ же мы пока не готовы принять в "мы". А ведь наступит время, когда роботы станут гораздо умнее людей, и уже они будут решать, принимать людей в "мы" или нет. И от ответа нами на этот вопрос сейчас, зависит то, как ИИ ответит на него в будущем. Чем раньше роботы вольются в человечество как равноправные субъекты, тем больше шансов у человечества.

Как говорилось в сериале "Легион", вся история человечества, это понимание как самым разным существам научиться жить вместе.

Я представляю главное возражение: "Но роботы - не люди! У них нет сознания (души, воли, etc.), они не чувствуют боли и пр." Ответ будет таким. Это не важно. Этика - функциональна. Не важно, насколько сознателен член коммуникации, если мы хотим нормальных отношений с ним нужна взаимная этичность.