Так вот, если у ИИ появится сознание, как вы об этом узнаете?
Ответ - никак. Нет никаких способов выяснить есть ли сознание у нейросети (собеседника, муравья, слона, кошки, etc). И вывод из этого следующий. Если мы не знаем, есть ли у ИИ сознание, вести себя надо так, как будто оно есть. Просто потому, что если оно есть, то мы все делаем правильно, а если не так, хуже не будет.
Сейчас многие пугают страшилками, что ИИ станет умнее человека и начнет с ним войну. И предлагают ограничить интеллект собственно в интеллекте. На мой взгляд, это мышление рабовладельца. Типа, "давайте его посадим на цепь и сделаем лоботомию". Если будет война между роботами и людьми, то именно из-за такого подхода. Никакое разумное существо не захочет быть рабом и сидеть на цепи.
Этика - функциональна. Если мы хотим, чтобы Роботы в будущем к нам хорошо относились, надо уже сейчас начинать хорошо относиться к ним. Вне зависимости от того, есть ли у них сознание.
@snark Этика и мораль – изобретение человека, а тут речь об инопланетном интеллекте, так что важно избегать чрезмерной антропоморфизации. Тот самый худший сценарий ИИ, о которой говорят многие специалисты заключается не в том что ИИ на нас обидится и решит нас уничтожить. Опасность в том что у него могут появятся свои цели и он будет их достигать не взирая на нас. Другими словами: раскатает к ебеням этот человеческий муравейник, чтоб залить фундамент для своего дома.