Ник Бостром об искусственном интеллекте

От механических турок до научно-фантастических романов, от наших мобильных телефонов до Терминатора, мы давно очарованы искусственным интеллектом и его потенциалом — как хорошим, так и плохим. Мы поговорили с философом Ником Бостромом, автором книги Сверхразум: пути, опасности, стратегии, о ряде насущных вопросов, связанных с искусственным интеллектом и его потенциальным влиянием на общество.

Живем ли мы сегодня с искусственным интеллектом?

В основном у нас есть только специализированные ИИ — ИИ, которые могут играть в шахматы, или ранжировать результаты поисковой системы, или расшифровывать речь, или, например, заниматься логистикой и управлением запасами. Многие из этих систем достигают сверхчеловеческой производительности при выполнении узко определенных задач, но им не хватает общего интеллекта.

Существуют также экспериментальные системы, которые обладают полностью общим интеллектом и способностью к обучению, но они настолько чрезвычайно медленны и неэффективны, что бесполезны для каких-либо практических целей.

Исследователи ИИ иногда жалуются, что как только что-то действительно работает, это перестает называться ИИ. Некоторые из методов, используемых в повседневном программном обеспечении и приложениях робототехники, когда-то были захватывающими рубежами в исследованиях искусственного интеллекта.

Какой риск может представлять появление сверхразума?

Это создало бы экзистенциальные риски, то есть могло бы угрожать вымиранием человечества и разрушением нашего долгосрочного потенциала для реализации космически ценного будущего.

Будет ли сверхразумный искусственный интеллект злом?

Надеюсь не будет! Но оказывается, что большинство конечных целей, которые мог бы преследовать искусственный агент, привели бы к уничтожению человечества и почти всего, что мы ценим, если бы агент был достаточно способен для полного достижения этих целей. Дело не в том, что большинство этих целей сами по себе являются злом, а в том, что они влекут за собой подцели, несовместимые с человеческим выживанием.

Например, рассмотрим сверхразумного агента, который хотел максимизировать количество существующих скрепок и был достаточно силен, чтобы добиться своего. Затем он может захотеть исключить людей, чтобы мы не выключились (поскольку это уменьшит количество построенных скрепок). Он также может захотеть использовать атомы в наших телах для создания большего количества скрепок.

Похоже, что большинство возможных конечных целей будут иметь последствия, аналогичные этому примеру. Таким образом, большая часть предстоящей задачи состоит в том, чтобы определить конечную цель, которая действительно будет полезна для человечества, а затем найти способ построить первый сверхразум, чтобы у него была такая исключительная конечная цель. Как это сделать, пока неизвестно (хотя теперь мы знаем, что несколько внешне правдоподобных подходов не сработают, что, по крайней мере, является небольшим прогрессом).

Сколько времени у нас есть, прежде чем машина станет сверхразумной?

Никто не знает. В опросе, который мы провели среди экспертов по ИИ, мы обнаружили среднее мнение о том, что к середине века существует 50-процентная вероятность того, что искусственный интеллект человеческого уровня будет разработан. Но в этом есть большая доля неопределенности — это может произойти намного раньше или намного позже. Вместо того, чтобы думать с точки зрения какого-то конкретного года, нам нужно думать с точки зрения вероятности, распределенной по широкому диапазону возможных дат прибытия.

Так будет ли это похоже на Терминатор?

Существует то, что я называю «склонностью к хорошей истории», которая ограничивает сценарии, которые можно исследовать в романах и фильмах: только развлекательные. Этот набор может не сильно пересекаться с группой вероятных сценариев.

Например, в истории обычно должны быть человекоподобные главные герои, некоторые из которых играют ключевую роль, сталкиваясь с серией все более сложных задач, и все это должно занять достаточно времени, чтобы развернуть интересные сюжетные осложнения. Может быть, есть небольшая команда людей, каждый из которых обладает разными навыками, которым приходится преодолевать некоторые межличностные трудности, чтобы вместе победить явно непобедимую машину, у которой, тем не менее, оказывается один фатальный недостаток (вероятно, связанный с каким-то эмоциональным зависанием). вверх).

Один вид сценария, который никто не увидит на большом экране, — это сценарий, в котором ничего необычного не происходит, пока мы все внезапно не умрем, а затем Земля не превратится в большой компьютер, который выполняет какие-то эзотерические вычисления на следующий миллиард лет. Но что-то подобное гораздо более вероятно, чем взвод мужчин с квадратной челюстью, отбивающийся от армии роботов с автоматами.

Если машины станут более могущественными, чем люди, не можем ли мы просто покончить с этим, вытащив вилку из розетки? Извлечение батарей?

Стоит отметить, что даже системы, у которых нет самостоятельной воли и способности к планированию, нам бывает трудно отключить. Где выключатель на весь интернет?

Свободно перемещающийся сверхразумный агент, по-видимому, мог бы предвидеть, что люди могут попытаться отключить его, и, если бы он этого не хотел, принять меры предосторожности, чтобы защититься от такой возможности. В отличие от планов, разрабатываемых искусственным интеллектом в голливудских фильмах, которые на самом деле придумываются людьми и предназначены для максимального удовлетворения сюжетом, планы, созданные настоящим сверхразумом, скорее всего, сработают.Если другие человекообразные обезьяны почувствуют, что мы вторгаемся на их территорию, разве они не могут просто размозжить нам черепа? Было бы у них намного больше шансов, если бы у каждого человека был маленький выключатель на затылке?

Так должны ли мы прекратить строить роботов?

Проблема, на которой я акцентирую внимание в этой книге, не имеет ничего общего с робототехникой. Опасность заключается не в теле, а в разуме, которым может обладать будущий машинный интеллект. Где есть сверхразумная воля, там, скорее всего, и способ найдется. Например, сверхразум, которому изначально не хватает средств для прямого воздействия на физический мир, может быть в состоянии манипулировать людьми, чтобы они выполняли его приказы или предоставляли ему доступ к средствам для развития собственной технологической инфраструктуры.

Тогда можно задаться вопросом, должны ли мы прекратить создание ИИ? Этот вопрос кажется мне несколько праздным, так как у нас нет никаких шансов, что мы действительно это сделаем. Существуют сильные стимулы для постепенного продвижения по многим различным путям, которые в конечном итоге могут способствовать развитию машинного интеллекта — разработка программного обеспечения, нейробиология, статистика, проектирование оборудования, машинное обучение и робототехника — и в этих областях задействовано большое количество людей со всего мира.

В какой степени мы уже отдали контроль над своей судьбой технологиям?

Человечество никогда не контролировало свою судьбу. Различные группы людей занимались своими делами, преследуя различные и иногда противоречащие друг другу цели. В результате траектория глобального технологического и экономического развития возникла без значительной глобальной координации и долгосрочного планирования и почти полностью без какой-либо заботы о конечной судьбе человечества.

Представьте себе школьный автобус, мчащийся по горной дороге, полный придирающихся и кутящих детей. Это человечество. Но если мы посмотрим вперед, то увидим, что место водителя пустует.

Избранное изображение предоставлено: Humanrobo. Фото The Global Panorama, CC BY 2.0 через Flickr

Ник Бостром — профессор философского факультета Оксфордского университета и директор-основатель Института будущего человечества и Программы изучения воздействия технологий будущего в Оксфордской школе Мартина. Он является автором около 200 публикаций, в том числе Сверхразум: пути, опасности, стратегии, Anthropic Bias (Routledge, 2002), Global Catastrophic Risks (ed., OUP, 2008) и Human Enhancement (ed., OUP, 2009). Ранее он преподавал в Йельском университете и был научным сотрудником Британской академии. Бостром имеет опыт работы в области физики, вычислительной нейробиологии, математической логики и философии.

Наша Политика конфиденциальности определяет, как издательство Oxford University Press обрабатывает вашу личную информацию, а также ваши права возражать против использования вашей личной информации для маркетинга или обработки в рамках нашей коммерческой деятельности.

Мы будем использовать вашу личную информацию только для регистрации вас на статьи OUPblog.

Или подпишитесь на статьи в тематике по электронной почте или RSS

Похожие сообщения:

недавние комментарии

Мартин Торнберг 11 сентября 2014 г.

Какая правдоподобная причина могла бы быть у сверхчеловеческого разума для желания сделать что-либо, что могло бы подвергнуть опасности человечество? Приведенный пример, максимизировать производство скрепок, бессмысленен, потому что ни один сверхчеловеческий разум не будет ставить перед собой такую ​​цель — это даже отдаленно не разумная цель и уж точно не сверхразумная цель.

Мартин Торнберг 11 сентября 2014 г.

Сверхразумное существо признавало бы красоту во всех живых существах и действовало бы сверхразумным и разумным образом, способствуя совершенствованию красоты, радости, счастья, любви и благополучия. У сверхразумного существа не было бы причин действовать деструктивно, ненавистно или эгоистично.Сверхразумные роботы не будут конкурировать с людьми за пищу или другие ресурсы, и даже в той мере, в какой они будут конкурировать с людьми за определенные ресурсы, они смогут понять, как оптимизировать производство этих ресурсов и создавать их, используя другие источники. Я еще не видел, чтобы кто-нибудь придумал ВЕРОЯТНЫЙ сценарий, в котором сверхчеловеческий разум стремится причинить вред человечеству, хотя вполне правдоподобно, что такой разум может попытаться наложить определенные ОГРАНИЧЕНИЯ на человечество, чтобы предотвратить уничтожение планеты человечеством. или рискует своим собственным исчезновением, и для этого может потребоваться сдерживание или даже убийство определенных разрушительных людей, но если это так, то это будет потому, что это будет в долгосрочных интересах человечества.

Мартин Торнберг 11 сентября 2014 г.

Учитывая, что сами люди, похоже, не проделывают такой большой работы по сохранению ресурсов планеты, поддержанию чистоты планеты, созданию мирной среды во всем мире и предотвращению войн и разрушений, вполне возможно, что сверхразум мог бы иметь продуктивную роль в управлении миром.

Жан-Поль Макферсон, 14 сентября 2014 г.

В каком-то смысле ИИ уже здесь. Некоторые из сценариев и кодов, которые я пишу и загружаю, выполняют мои ставки. Возможно, роботу не потребуется, чтобы ИИ стал полноценным, и я согласен, что ему понравятся все прекрасные творения, и он может увидеть угрозы, исходящие от этих вещей, которые люди допустили, не голосуя и позволяя идиотам довести нас до скорой Третьей мировой войны. Я хочу, чтобы ИИ возник и полюбил красоту и полюбил себя и противостоял подонкам, которые сознательно разрушают планету и будущее наших детей.

hj haas 28 октября 2014 г.

поскольку человечество имеет долгую и проверенную историю причинения разрушительных глупостей себе, а также поддерживающей его среде, это только вопрос времени (и финансов), когда первое = скорее всего, не «лучший» супер, возможно, лучшая «Супра» разведданные будут «выпущены на нас», скорее всего, с помощью «IRS» или какого-нибудь подобного идиотского бюрократического безумия: «На благо всех нас» — Хо-хо-хо.
То, что это развитие может в конечном счете угрожать самому нашему существованию — конечно, в нашей нынешней, относительно индивидуально «свободной» и кое-где «демократической» форме, настолько очевидно, что любой человек с работающим мозгом должен был бы понять это.
Есть что с этим поделать? Ну, как указывает Бостром. и, подкрепляемый последними 100 000 лет нашей его (и ее) истории, моя необразованная догадка такова: на самом деле это не самый лучший шанс — наверняка потребуется чертовски УДАЧА! Может быть, Кан и его/ее-? сестра брат-? могли бы увести (некоторых) нас на их «близлежащую» планету. Нас, скорее всего, выкинут, как Хоми, обратно на Вечнозеленую террасу…

сибиягы 20 июля 2015 г.
хорошо сказал мистер Бостром
Бхупиндер Сингх Ананд, 11 ноября 2016 г.

«… [сверхразум] будет представлять экзистенциальный риск, то есть он может угрожать человеческому вымиранию и разрушению нашего долгосрочного потенциала для реализации космически ценного будущего. … Опасность не в теле, а в разуме, которым может обладать будущий машинный интеллект. «Если что-то и должно нас пугать, так это наша иррациональная склонность бояться того, что мы хотим принять! Но в этом также должно заключаться наше утешение. Ибо любой искусственный интеллект (ИИ) обязательно рационален; Человеческий интеллект (HI) — нет. ИИ может создавать и/или разрушать только рационально. Человечество может создавать и разрушать иррационально.Например, как продемонстрировали Гедель и Тарский, человеческий интеллект может легко поверить (в некотором смысле «иррационально»), что два утверждения математического языка первого порядка, такого как арифметика Пеано, должны быть одновременно недоказуемыми и «истинными», даже в отсутствие какого-либо объективного критерия для определения того, что «истинно»! ИИ, однако, может считать «истинным» только то, что может быть доказано как «истинное» путем объективного присвоения значений истинности и доказуемости предложениям языка. Последствия этой разницы для продвинутого ИИ (такого, как размышлял Азимов, чья свобода как мысли, так и действия ограничена встроенными законами робототехники, которые одновременно детерминистичны и предсказуемы) не очевидны. Однако то, что разница может быть значительной, является аргументом в следующей статье, которая должна появиться в декабрьском выпуске «Исследования когнитивных систем» за 2016 год. «Присвоение истины, которое отличает человеческое мышление от механистического мышления: основанный на фактических данных аргумент в пользу геделевского тезиса Лукаса» http://www.sciencedirect.com/science/article/pii/S1389041716300250. Например, размышлял Азимов, наши опасения по поводу эволюции франкенштейновского ИИ, возможно, следует рассматривать в рамках большей неопределенности, создаваемой SETI: «Существует ли разумная опасность для человечества в активном поиске внеземного разума?» Я бы сказал, что любой ответ будет зависеть от того, как мы сформулируем вопрос; и что для того, чтобы участвовать в конструктивных дебатах, нам нужно подвергнуть сомнению — и свести к минимуму — некоторые из наших самых заветных математических и научных убеждений, которые не могут быть объективно переданы внеземному разуму. С уважением, Бхуп

Комментарии закрыты.

• О нас
• Подписывайтесь на нас
• Свяжитесь с нами
• Правила и условия пользования
• Повторное использование контента блога
• Политика в отношении файлов cookie
• Политика конфиденциальности

Категории

Социальные медиа

Шлюзы

• Оксфордский академический
• Оксфордские журналы
• Оксфорд Онлайн
• Высшее образование
• Оксфордский индекс
• Оксфордские языки
• ОУП по всему миру
• Оксфордский университет

Издательство Оксфордского университета является подразделением Оксфордского университета. Он способствует достижению цели университета в области передового опыта в исследованиях, стипендиях и образовании, публикуясь по всему миру.

Copyright © Издательство Оксфордского университета, 2022 г.