сингулярность

 

Технологическая сингулярность, гипотетическая точка на пути развития человечества, в которой ускорение процесса развития технологий станет таким большим, что делать какие-либо предсказания относительно неё заведомо бессмысленно. Термин сингулярность в таком значении впервые использован Джоном фон Нейманом и затем популяризован Вернором Винджи и Рэймондом Курцвейлом. См. в Википедии.

Страницы: | 1 |

Общий искусственный интеллект

30 марта 2012 // Хельги

Вчера на нашем спецсеминаре был интересный доклад, посвящённый так называемому общему искусственному интеллекту (artificial general intelligence1).

Постараюсь конспективно изложить основные моменты доклада для широкого читателя. AGI — это попытка возобновить исследования в области настоящего сильного ИИ. Такие исследования всерьёз проводились в пятидесятые-шестидесятые, а потом, когда стало понятно, что к проблеме неясно как подступиться, стухли. Все исследователи разбрелись по своим узким областям «слабого ИИ», вроде шахмат, а о подлинном ИИ говорить стало как-то и неудобно.

AGI предполагает попытку атаки проблемы «сильного ИИ» с технической (математической) стороны и не задумывается о философских вещах вроде трудной проблемы сознания. AGI трактует интеллект как единую, целостную способность (в противовес узкозаточенным алгоритмам исследователей «слабого ИИ») и всерьёз занимается реализацией ИИ уровня человека.

Существует несколько подходов к построению интеллекта, и среди прочих интересен подход рационального агента: интеллект рассматривается как агент, проявляющий наиболее благоприятное поведение в среде, будучи ограничен в ресурсах. Поскольку среда не является детерминированной, важную роль играет обучение.

Есть примеры как теоретических построений на этой базе, так и конкретных агентов, для которых показана, в частности, и нетривиальная полезность самообучения.

Всерьёз рассматривается перспектива построения ИИ, самосовершенствование которого будет супер­экспоненциальным, то есть происходить быстрее, чем технический прогресс человечества.

В связи с этим крайне важна проблема построения дружественного ИИ (friendly AI), который, даже развившись до недостижимых для нас высот, не будет тем не менее нам враждебен. Предполагается решить это закладкой в ИИ безусловных этических ограничений.

* * *

Теперь мои комментарии. Безусловно, здорово, что этим вопросом всерьёз занимаются в рамках научных проектов (пусть, как выяснилось, и в нерабочее время — то есть платить за это некому). Есть разные мнения на тему того, насколько (если вообще) возможно создание ИИ, но если ИИ создать можно, то показано это будет конструктивно, а не на кончике пера.

Так вот, всё здорово, но мне показалось, что реальные результаты AGI пока выглядят скромно на фоне агишного же энтузиазма. Это грустно, потому что вполне может случиться повторная дискредитация направления.

Интересно то, что все стараются сделать серьёзную мину: говорить про экспоненциальное и супер­экспоненциальное развитие, обсуждать дружественный ИИ, но ни в коем случае не поминать сингулярность и три закона робототехники. Научная фантастика выглядит как гетто не только из литературного лагеря, но и из научного.

И, наконец, мне показалось, что всерьёз говорить о закладке ограничений в сингулярностный ИИ нельзя. Это похоже на анекдот про бога, который не может сотворить камень, который сам же не сможет поднять. Или ИИ будет чем-то большим, чем сумма заложенных в него эвристик, и тогда мы не сможем его контролировать, или контроль будет успешен, но это будет уже «слабый ИИ».


См. статью Strong AI на википедии: в первом же абзаце есть ссылка на этот термин.

Тэги: интеллект, научная фантастика, сингулярность, учёба
Написать комментарий

Уровни футурального шока

18 апреля 2010 // Хельги

Элиэзер Юдковский

Рэндалл Манро в эту пятницу опубликовал комикс, очень хорошо иллюстрирующий суть статьи, перевод* которой я выкладываю.

— Google Maps на «айпаде» — классная штука, просто фантастика. Вжи-и-х! ||
— Вот прямо сейчас, в этот момент, обезьяна управляет механической рукой при помощи нейроимплантов. || На нас надвигается чуждое, пугающее будущее. Жду не дождусь!.. || Впрочем, «айпад» тоже прикольный.
— Хватит портить моё будущее своим чуть более отдалённым.

(Может, мы все скоро и умрём, но это будет *очень прикольно*.)

Уровень шока примерно показывает, о каких высокотехнологических идеях вы сможете думать без страха или слепого восхищения, то есть не испытывая так называемого футурального шока. Нулевой уровень соответствует современным технологиям и современному миру; первый уровень — это виртуальная реальность и электронная экономика, второй — межпланетные путешествия, физическое бессмертие и генная инженерия, третий — нанотехнологии и «сильный» искусственный интеллект1, четвёртый — это Сингулярность2.

Такая классификация полезна потому, что она позволяет оценить, к чему «морально готов» ваш собеседник; к примеру, скачок на два уровня шокирует, но чтобы испытать настоящий ужас, нужно представить себе изменение сразу на три уровня. Разумеется, это лишь грубое эмпирическое правило. Кроме того, часто бывает удобно обозначать группы людей, отталкиваясь от шок-уровня, на котором они находятся; например: «Этот аргумент лучше всего подходит для первого-второго уровней». (Следует понимать, что между социальными группами, находящимися на разных уровнях, отнюдь не обязательно должно быть противостояние. Это не классовая борьба.)

Нулевой уровень. Пресловутый среднестатистический человек, знакомый с современными технологиями — не передовыми, а теми, что применяются в повседневной жизни. Обычные люди, телеведущие, журналисты, политики.

Первый уровень. Виртуальная реальность, жизнь до ста лет, «Дорога в будущее»3, «Обновление Америки»4, «Футурошок»5, передний край современных технологий, освещаемые журналом «Вайред»6. Учёные, программисты, технофрики и все остальные, для кого новизна — абсолютная ценность.

Второй уровень. Физическое бессмертие, межпланетные путешествия, прикладная генная инженерия и контакт с внеземными цивилизациями. Поклонники научной фантастики.

Третий уровень. Нанотехнология, искусственный интеллект в сильном смысле, усиление интеллекта, выгрузка7, полная перестройка тела, межгалактические путешествия. Экстропианцы8 и трансгуманисты.

Четвёртый уровень. Сингулярность, планетарный мозг9, Силы10, полная перестройка разума, сверхинтеллект, постчеловечество, вычисления в точке альфа11, Апофеоз12 и полное исчезновение жизни, какой мы её знаем. Адепты Сингулярности — и вряд ли кто-то ещё.

Не уверен, что хочу знать про пятый уровень, даже если он и существует.

Смысл этой шкалы заключается в следующем: до человека трудно донести какую-то идею, если эта идея на два уровня «опережает» его собственный. При этом уровень человека определяется не всеми идеями, с которыми он знаком, а только теми, которые он воспринимает спокойно. Людей, находящихся на четвёртом уровне, не так уж много, и я еще не относился к их числу, когда писал первую версию статьи «Лицом к лицу с Сингулярностью»13 (был слишком восторжен). Если некто не может свыкнуться с мыслью о виртуальной реальности (ближний конец уровня 1), вы запросто можете рассказывать ему о бессмертии (ближний конец уровня 2), но не о нанотехнологиях (уровень 3) или выгрузке (дальний конец уровня 3). Ваш собеседник, может быть, вам и поверит — но он будет напуган, шокирован такими перспективами.

Это не значит, что так нельзя делать в принципе. Можно и намеренно воспользоваться футуральным шоком, чтобы донести до собеседника свою мысль. Просто нужно иметь в виду возможную реакцию.

Другой пример: адепт Сингулярности может шокировать любителя фантастики, но не трансгуманиста — тот будет заинтересован, быть может, восхищен, но не испуган. (Что само собой разумеется: если человека уже увлекла идея трансгуманизма, то рассказ о Сингулярности вызовет ещё больший энтузиазм.) Трансгуманист, поделившись своими воззрениями, может шокировать постоянного читателя журнала «Вайред», а вот повторять опыт с человеком «с улицы» ему было бы не очень разумно — тот может прийти в ужас. И так далее. Как правило, скачок на один уровень вызывает заметный интерес, скачок на два уровня — горячий энтузиазм, или же, наоборот, недоверие. Скачок на три уровня вызывает страх и часто, но не обязательно, враждебность. Заставив свою публику прыгнуть на четыре уровня, вы рискуете попасть на костёр.

Конечно, не всегда возможно придерживаться приведённых градаций. Если вам задают вопрос, ответ на который лежит на четвёртом уровне, и ничего подходящего на третьем просто нет, надо или сказать как есть, или уж промолчать. (Если однажды меня повесит разъярённая толпа — значит, насчет этого я ошибался.)

Акклиматизация

Ваш уровень, скорее всего, на единицу ниже самого высокого уровня, о котором вы имеете представление. На самом деле, довольно эффективный способ перевести человека с первого уровня на второй — это познакомить его с идеями третьего. Другими словами, уже одно знание о нанотехнологиях позволит вам спокойнее, будничнее относиться к возможности физического бессмертия. Сходным образом, несложное усиление интеллекта производит впечатление только на тех, кто никогда не слышал о Сингулярности. Если угодно, рассматривайте эту посылку как оправдание тому, что мне потребовалось три года, чтобы перейти с третьего на четвёртый уровень — пятого уровня просто не существует, и принять Сингулярность как нечто будничное можно только прожив её. Ничего уровнем выше Сингулярности я не видел, в этом-то и трудность.

Вот что любопытно: сложно не поверить в технологические достижения очередного уровня, сложно свыкнуться с ними. Едва натолкнувшись на идею Сингулярности, я сразу же понял, что Вернор Винджи абсолютно прав. Вся моя этическая система перестроилась буквально за считанные секунды — очень необычное ощущение, признаюсь вам. На то, чтобы поверить, мне потребовалось несколько секунд; на то, чтобы принять Сингулярность, ушли годы. Ускорить акклиматизацию к уровню футурального шока можно только, «побив» этот уровень, как козырем, следующим уровнем.

Теорема о неподвижной точке

Концепция уровней футурального шока представляет интерес потому, что на ее основе можно сформулировать аналог теоремы о неподвижной точке14 для любителей новизны. Кто-то из людей больше других любит изучать новое, отыскивать свежие идеи, играться с передовыми технологиями — они становятся технофилами, программистами и т. п. Дальше, есть люди, с детства привычные к технике и обладающие той же самой страстью к новизне — из них получаются любители научной фантастики. Из тех, кто в детстве зачитывался фантастикой, вырастают трансгуманисты. Детей, воспитанных в духе трансгуманизма, лично я не встречал, но, как показывает опыт, человек, в юном возрасте познакомившийся с этой концепцией, вполне может перейти в стан последователей Винджи. Наконец, о том, что происходит с открытыми к новому детьми адептов Сингулярности, я пока ничего не знаю. И честно говоря, немного боюсь узнать.

С другой стороны, наверняка есть те, кто перескочил за свою жизнь три-четыре уровня. Я лишь предлагаю гипотезу, объясняющую появление уровней футурального шока в обществе.


Оригинал статьи: Future Shock Levels.

Искусственный интеллект в сильном смысле — это «настоящий» разум, а не просто комплекс алгоритмов, направленных на решение сложной, но узкой задачи. Шахматная программа — это «слабый» ИИ; позитронные робота Азимова — «сильный». См. в Википедии. — Здесь и далее примечания переводчика.

Сингулярность — зд. технологическая сингулярность, гипотетическая точка на пути развития человечества, в которой ускорение процесса развития технологий станет таким большим, что делать какие-либо предсказания относительно неё заведомо бессмысленно. Термин сингулярность в таком значении впервые использован Джоном фон Нейманом и затем популяризован Вернором Винджи и Рэймондом Курцвейлом. См. в Википедии.

«Дорога в будущее» (The Road Ahead) — книга Билла Гейтса о развитии вычислительной техники и влиянии компьютеров на общество.

To Renew America — книга американского политика Ньюта Гингрича.

«Футурошок» (Future Shock) — книга американского социолога и футуриста Элвина Тоффлера, в которой автор и ввёл термин футуральный шок.

Wired — ежемесячный американский журнал, освещающий влияние новых технологий на экономику, политику и общество. Сайт журнала: wired.com.

Выгрузка (uploading) — перемещение сознания человека в искусственную (небиологическую) вычислительную среду.

Экстропианцы — последователи философии экстропианизма. Экстропианцы полагают, что развитие науки и технологии в конце концов позволит людям достичь личного бессмертия.

Планетарный мозг (Jupiter brain) — компьютер размером с планету, представляющий собой искусственный интеллект.

10 Силы (Powers), в книгах Вернора Винджи — расы, совершившие переход (transcend) через сингулярность, в связи с чем представляются практически богами.

11 Вычисления в точке альфа (alpha-point computing) — гипотетическая возможность использования энергии Большого взрыва для вычислений.

12 Апофеоз (Apotheosis) — утопия, гипотетическое точка в развитии человечества, в которой развитие науки и технологии вызвало переход через сингулярность и, в конечном итоге, решение всех современных нам проблем. Иллюстрацией общества, достигшего Апофеоза, может служить Культура Иэна Бэнкса.

13 Staring into the Singularity — статья Элиэзера Юдковского.

14 Теорема о неподвижной точке — математическая теорема, утверждающая, что при выполнении определённых условий относительно функции f эта функция будет иметь по крайней мере одну точку x такую, что f(x) = x. См., например, теорему Банаха о неподвижной точке.

Редакция от 27 апреля 2010
Тэги: лучшее, переводы, сингулярность
Комментарии (3)

Технологическая сингулярность

6 июня 2007 // Хельги

Технологии и наука развиваются экспоненциально. Если XIX век можно было однозначно охарактеризовать как «век пара и электричества», то за век минувший важных открытий было столько, что их сложно даже перечислить. Автомобиль, летательные аппараты тяжелее воздуха, компьютеры, электроника, антибиотики, космические аппараты, интернет — это то, что пришло мне на ум сходу.

Закон Мура, также предлагающий экспоненту в качестве формулы повышения производительности компьютерных систем, пока выполняется, и нет оснований предполагать, что в ближайшее время он работать перестанет.

Так что же ждёт нас в ближайшем будущем? Как показала практика, за последние полвека фантасты постоянно ошибались в своих прогнозах. Проблема была даже не в том, что они торопились с выводами о наступлении светлого будущего — они просто глядели не туда. Мы так и не достигли ни одного небесного тела, кроме Луны. Возможно, нам это просто не нужно.

Зато мы развиваем информационные технологии. Как ни смешно, но ближе всего к истине оказались авторы киберпанк-романов: хотя современные компьютеры мало напоминают гибсоновские деки, но вот интернет Гибсон описал очень точно; лишь по иронии судьбы лёд (ICE) стал огнём (firewall).

Но речь не об этом. Я хочу затронуть вот такой вопрос: если развитие технологии будет ускоряться экспоненциально и далее, то что нас ждёт в ближайшем будущем, не конкретно, разумеется, но концептуально?

Математик и фантаст Вернор Винджи считает, что в течение следующих двадцати лет практически наверняка наступит момент, когда экспонента превратится в гиперболу, и наступит технологическая сингулярность, после которой человечество как раса перестанет существовать, а её место займёт другая цивилизация, трансчеловеческая, которую мы сейчас осознать и воспринять нашим сознанием не можем.

Сейчас сложно сказать, изменится ли сам человек, или его место займут мыслящие машины (Винджи рассматривает несколько вариантов), но если события будут развиваться по этому сценарию, то через двадцать лет нас тут не будет. Случайный путешественник на машине времени, попав в 2030 год, просто не найдёт там цивилизации в его понимании; то, что он увидит, окажется за гранью его восприятия.

В своих книгах Винджи пропагандирует идею технологической сингулярности (другое название — «переход»), он считает её естественным этапом развития расы. Как обезьяны, в некотором роде наши предки, не примут нас за своих, так и мы не смогли бы распознать в перешедшей цивилизации себя.

Эта же идея эксплуатируется в романе Артура Кларка «Конец детства». После перехода, по Кларку, цивилизация становится частью единого вселенского Сверхразума. Для всякой разумной расы, сумевшей не уничтожить себя и достичь определённого уровня развития, это неизбежно. Лишены жутковатой перспективы влиться в мировой разум лишь Сверхправители, вечные акушеры, помогающие всё новым и новым расам достичь сомнительной нирваны.

В общем, сингулярность, если она наступит, будет дьявольски интересным событием.

Литература

Редакция от 18 апреля 2010
Тэги: книги, лучшее, сингулярность
Написать комментарий

Страницы: | 1 |