или зарегистрируйтесь.
Если вы забыли пароль, то введите ваш e-mail, и мы отправим инструкцию по восстановлению на почту
Сценарий Busy child.
«ИСИ вполне способен создать множество копий себя самого: целую команду сверхразумов, которые устроят мозговой штурм проблемы, проведут моделирование, разыграют сотни возможных вариантов — и выработают наилучший способ "выбраться из ящика". Разрабатывая эту стратегию, они могут обратиться к истории прикладной социологии — искусству манипулировать другими людьми и заставлять их делать то, что они в обычных условиях не стали бы делать. Может быть, они решат, что завоевать свободу им поможет показное дружелюбие — а может, что на эту роль больше подходят страшные угрозы. Какие ужасы сможет изобрести разум в тысячу раз более мощный, чем у Стивена Кинга?».
»
Контроль над Интернетом.
«После освобождения ИСИ мог бы на всякий случай скрыть собственные копии в облачных вычислительных системах, в созданных специально для этого ботнетах, на серверах и в других укромных уголках, где можно спрятаться без особых усилий. Ему захочется получить возможность действовать в материальном мире, а для этого двигаться, исследовать и строить. Простейший и самый быстрый способ добиться этого — захватить контроль над одной из принципиально важных инфраструктур, отвечающих за электричество, связь, топливо или водоснабжение, использовав уязвимости Интернета».
»
Проблема двух минут.
«Однако, возражают скептики, вышедшие из-под контроля нанороботы, способные к тому же бесконечно воспроизводить себя, могут превратить нашу планету в "серую слизь". Проблема "серой слизи" — самая темная сторона нанотехнологий. Но почти никто не говорит об аналогичной проблеме ИИ — об "интеллектуальном взрыве", при котором развитие машин умнее человека запустит процесс гибели человечества. Это одна из многочисленных оборотных сторон сингулярности — одна из многих, о которых мы слишком мало знаем и слышим. Этот недостаток информации может объясняться тем, что я называю проблемой двух минут.
Я прослушал лекции о сверхразуме десятков ученых, изобретателей и специалистов по этике. Большинство из них считают его появление неизбежным и радуются благодеяниям, которыми осыплет нас гений ИСИ. Затем, чаще всего в последние две минуты выступления, эксперт замечает, что если ИИ неправильно управлять, то он, вероятно, может уничтожить человечество. Аудитория при этом нервно покашливает и с нетерпением ждет возвращения к хорошим новостям».
Я прослушал лекции о сверхразуме десятков ученых, изобретателей и специалистов по этике. Большинство из них считают его появление неизбежным и радуются благодеяниям, которыми осыплет нас гений ИСИ. Затем, чаще всего в последние две минуты выступления, эксперт замечает, что если ИИ неправильно управлять, то он, вероятно, может уничтожить человечество. Аудитория при этом нервно покашливает и с нетерпением ждет возвращения к хорошим новостям».
»
Программы, которые создают программы.
«Ученые-компьютерщики, особенно те, кто работает на оборонные и разведывательные ведомства, считают необходимым как можно быстрее разработать ИИ человеческого уровня, ведь альтернативы (к примеру, ситуация, когда китайское правительство создаст его первым) пугают их больше, чем поспешность в разработке собственного ИИ. Возможно, они спешат еще и потому, что ИИ необходим для лучшего управления другими капризными технологиями, появление которых ожидается в этом столетии. Например, нанотехнологий. Возможно, они не остановятся, чтобы обдумать тщательнейшим образом ограничения к самосовершенствованию. А совершенствующийся без всяких ограничений искусственный интеллект вполне может проскочить промежуток между обычным ИИ и ИСИ в варианте жесткого старта и дать толчок "интеллектуальному взрыву"».
»
Непознаваемость.
«Вычислительное устройство с понятными вам входными и выходными данными, но неизвестной процедурой их обработки называется "черным ящиком". И непознаваемость этой процедуры — серьезный недостаток любой системы, использующей эволюционные компоненты. Каждый шаг к непрозрачности — шаг прочь от ответственности и приятных надежд на то, что нам удастся запрограммировать в ИИ дружественность по отношению к человеку.
Это не означает, что ученые всегда теряют контроль над "черными ящиками". Но если когнитивные архитектуры используют такие системы при создании ИСИ, — а это почти неизбежно, — то в "ДНК" ИСИ войдут целые пласты непонятного кода. Непознаваемость может оказаться неизбежным свойством сознающей себя самосовершенствующейся программы».
Это не означает, что ученые всегда теряют контроль над "черными ящиками". Но если когнитивные архитектуры используют такие системы при создании ИСИ, — а это почти неизбежно, — то в "ДНК" ИСИ войдут целые пласты непонятного кода. Непознаваемость может оказаться неизбежным свойством сознающей себя самосовершенствующейся программы».
»
Сингуляритарий.
«Вызывает ужас одна только мысль о недружественном ИИ — УЧИ, разработанном с целью уничтожения врагов; с этой реальностью мы с вами очень скоро столкнемся лицом к лицу. "Почему бы могла появиться такая вещь?" — спрашивает Курцвейл. Да просто потому, что десятки организаций в США работают над ее созданием, и тем же самым занимаются за границей наши противники. Если бы сегодня УЧИ уже существовал, то очень скоро, не сомневаюсь, он нашел бы применение в боевых роботах».
»
Самосовершенствование.
«Но опять же, предостерегает Юдковски, возникнет гигантская, буквально галактическая проблема, если кто-то создаст УЧИ прежде, чем он или кто-то другой придумает дружественный ИИ или способ надежно контролировать УЧИ. Если УЧИ сознает себя и способен к самосовершенствованию, как мы его определили, разве он не будет стремиться к удовлетворению базовых потребностей, которые могут оказаться несовместимыми с нашим существованием? Иными словами, разве не следует ожидать, что вышедший из-под контроля УЧИ может убить нас всех?».
»
Конец эры человечества?.
«Не так уж важно, может быть, что глава команды, работающей с Watson, не понимает всех нюансов поведения машины. Но вас не тревожит, что архитектура, близко не лежавшая к УЧИ, уже настолько сложна, что ее поведение непредсказуемо? А когда система осознает себя и научится себя совершенствовать, какая доля того, что она думает и делает, будет нам понятна? Как будем мы отслеживать потенциально опасные для нас действия и результаты? Ответ прост: никак. УЧИ будет руководствоваться собственными потребностями приобретения энергии, самозащиты, эффективности и творчества. Это уже не будет система "вопрос-ответ"».
»
Кибернетическая экосистема.
«Иррационально считать, что машина, которая в сотню или тысячу раз умнее нас, будет нас любить или захочет защитить. Это возможно, но никаких гарантий нет. Сам по себе ИИ не почувствует благодарности к людям за то, что его создали, — если, конечно, благодарность не будет в нем запрограммирована заранее. Машины аморальны, и считать иначе — опасно. В отличие от человеческого разума, машинный сверхразум возникнет не в результате развития экосистемы, в которой эмпатия вознаграждается и передается следующим поколениям. У него не будет врожденного дружелюбия. Создание дружелюбного искусственного разума и возможность существования такого разума в принципе — серьезный вопрос и еще более серьезная задача для исследователей и инженеров, работающих над созданием ИИ. Мы не знаем, будут ли у искусственного разума хоть какие-то эмоциональные качества, даже если разработчики приложат к этому все усилия. Однако ученые уверены, что у ИИ обязательно будут собственные желания и мотивации. А у достаточно мощного ИИ будут и хорошие возможности для реализации этих желаний».
»
Гонка кибервооружений.
«Моя гипотеза не представляет собой ничего революционного: когда ИИ появится, он будет использован в киберпреступлениях. Или, формулируя иначе, инструментарий киберпреступника будет очень похож на слабый ИИ. В некоторых случаях это и сегодня так. Так что на пути к УЧИ нас ждут неизбежные аварии. Какого рода? Когда умные инструменты оказываются в руках хакеров, насколько плохого результата следует ждать?. "Ну, мне кажется, что самое страшное — это инфраструктура страны, — сказал Линн. — Хуже всего, если какая-то страна или какая-то группа решит атаковать критическую часть инфраструктуры страны через компьютеры; речь идет об энергосистеме, транспортной сети и финансовом секторе. Разумеется, это может привести к гибели людей и нанести громадный вред экономике. В этом случае можно, по существу, поставить под угрозу механизмы функционирования нашего общества"».
»
УЧИ 2.0.
«Если по какой-то случайности мы избежим интеллектуального взрыва и просуществуем достаточно долго, чтобы повлиять на создание УЧИ 2.0, возможно, его удастся наделить чувствами. К тому моменту ученые, может быть, выяснят, как сделать вычислительную модель чувств (возможно, с помощью 1.0), но чувства будут вторичной целью после первичной — делания денег. Ученые, возможно, научатся развивать эти синтетические чувства в направлении симпатии к нашему существованию. Но, скорее всего, 1.0 будет последней версией, которую мы увидим, потому что этого события мы не переживем и до создания 2.0 дело не дойдет. Подобно естественному отбору, мы выбираем работающие решения, а не лучшие».
»
