Он зародился в 1960-е годы, когда Ирвин Джон Гуд, британский математик, сотрудничавший с Аланом Тьюрингом в Блетчли-Парке, написал следующее:

Давайте дадим ультраинтеллектуальной машине следующее определение: это машина, которая значительно превосходит интеллектуальные способности любого умного человека. Поскольку разработка машин — одна из таких способностей, ультраинтеллектуальная машина могла бы создавать даже более совершенные машины, что, несомненно, привело бы к «всплеску интеллекта», и мыслительные способности человека останутся далеко позади. Так, первая ультраинтеллектуальная машина станет последним изобретением непосредственно человека, учитывая, что она будет достаточно послушна и поведает нам о том, как держать ее под контролем. Любопытно, что это наблюдение редко появлялось где-либо за пределами научной фантастики. Иногда стоит относиться к этому жанру литературы посерьезнее.

Когда ультраинтеллектуальные машины станут реальностью, они могут оказаться отнюдь не такими уж послушными, а, напротив, повести себя как Терминатор: поработить человечество как уступающий им вид, нарушать наши права, преследовать собственные интересы, не принимая во внимание влияние, которое они будут иметь на человеческие жизни.

Если все это кажется невероятным, возможно, вам следует еще раз задуматься над этим вопросом. Перенесемся на полстолетия назад — удивительные открытия в области цифровых технологий привели к тому, что многие люди поверили, что описанный Гудом «всплеск интеллекта» — серьезная угроза, которая может привести к гибели человечества, если мы не будем осторожны. Вот что Стивен Хокинг говорил по этому поводу в 2014 году:

Создание полноценного искусственного интеллекта может положить конец человеческой расе.

<...>

Реальность выглядит намного более банально. В марте этого года Microsoft выпустил Tay — чат-бот для Твиттера, созданный на базе искусственного интеллекта. Им пришлось удалить его уже спустя 16 часов. Предполагалось, что общение с людьми будет способствовать росту его интеллекта. Вместо этого он быстро стал про-фашистски настроенным, отрицающим Холокост, поощряющим инцест и обвиняющим президента Буша в теракте 11-го сентября болтуном. Почему? Потому что он работал по тому же принципу, что кухонное полотенце, впитывающее и меняющее свою форму под давлением мерзких сообщений, которые ему посылались. Microsoft пришлось принести извинения.

Таково на сегодняшний день состояние дел в области разработки искусственного интеллекта. На разговоры об опасностях сверхинтеллектуальных машин было потрачено очень много времени, так что пришла пора включить свет, перестать беспокоиться о научно-фантастических вариантах развития событий и начать концентрироваться на настоящих проблемах искусственного интеллекта, чтобы избежать болезненнных и дорогостоящих ошибок в проектировании и использовании наших смарт-технологий.

Позвольте мне уточнить. Философия не очень ладит с нюансами. Она может считать себя образцом точности и резких различий, однако на самом деле ее сердце отдано поляризации и дихотомиям. Интернализм или экстернализм, фундаментализм или когерентность, «проблема вагонетки», зомби или не зомби, субъективный или объективный, реальные или нереальные миры, наказанные или не получившие наказание… Философия может выступать за всеобъемлющее vel («девочки илимальчики могут играть»), однако слишком часто потворствует исключительному aut aut («либо тебе это нравится, либо нет»).

Споры, ведущиеся вокруг проблемы искусственного интеллекта, являются еще одним примером. В данном случае речь идет о дихотомии между теми, кто верит в настоящий искусственный интеллект, и их противниками. Да, реальный интеллект, не Сири в айфоне, не Румба в гостиной, не Nest на кухне. (А я счастливый обладатель всех трех технологий.) Подумайте лучше о ложной Марии из «Метрополиса» (1927 год); HAL 9000 из «Космической Одиссеи: 2001» (1968 год), где Гуд числился среди консультантов; C3PO из «Звездных войн» (1977 год); Рэйчел из «Бегущего по лезвию» (1982 год); Дейте из телесериала «Звездный путь: новое поколение» (1987 год); агенте Смите из «Матрицы» (1999 год) или бестелесной Саманте из фильма «Она» (2013 год). Ну, вы поняли. Последователи идеи о настоящем искусственном интеллекте и концепции «интеллектуального взрыва» Гуда принадлежат к Церкви Сингулярианцев. За неимением лучшего термина я буду называть людей, не разделяющих эти верования, членами Альтеистской церкви. Давайте взглянем на обе эти религии и поймем, почему они обе ошибочны. А меж тем, запомните: философия практически всегда лежит где-то в скучной середине.

Сингулярианцы верят в три догмата. Первый гласит, что в не столь отдаленном будущем станет возможно создание некоторых разновидностей искусственного интеллекта. Этот поворотный момент известен под названием «технологической сингулярности», что и дало имя течению. Ни природа, ни точная дата прибытия искусственного интеллекта по-прежнему неизвестны, хотя сингулярианство и предпочитают те сценарии будущего, по которым удобно складывается, что описанные выше события «состоятся достаточно скоро, чтобы начать об этом волноваться, но недостаточно скоро, чтобы не быть разбитыми в пух и в прах».

Перевели: Влада Ольшанская и Юрий Гаевский.
Редактировали: Евгений Урываев и Артём Слободчиков.

Читать далее.