Шкала опасности ИИ

Искусственный интеллект в разных произведениях бывает разным, ведь каждый автор по-своему относится к данной теме. Кто-то считает, что ИИ — это плохо. Кто-то наоборот — уверен, что искусственный разум приведёт своих создателей к утопии и технологической сингулярности. Кто-то думает, что это будет просто ещё одна технология, которая, конечно, сильно изменит человеческую жизнь, но не сильнее, чем паровой двигатель или интернет. Ну а для кого-то искусственные люди — хорошая тема для освещения проблем расизма и других видов ксенофобии.

Эта шкала создана для того, чтобы приблизительно оценить опасность различных видов ИИ. При этом, сюда можно относить как огромные суперкомпьютеры, так и обычных разумных роботов.

Шкала

Вычислите среднее арифметическое из следующих категорий:

• Насколько он разумен?
  • 4 класс. Никакого разума. Это просто машина, которая может только искусно имитировать поведение человека.
  • 3 класс. У ИИ явно есть какие-то проблески настоящего разума, но говорить о том, что он в этом плане хоть как-то равен человеку, нельзя.
  • 2 класс. ИИ так же разумен, как и люди. Либо же не совсем как люди, но, в среднем, уровень разумности примерно одинаковый.
  • 1 класс. ИИ куда разумнее, умнее и мудрее людей: он способен искусно манипулировать окружающими, а его хитрые планы практически невозможно разгадать. Впрочем, обвести вокруг пальца его ещё можно, если, кончено, очень-очень постараться.
  • 0 класс. Уровень разума ИИ находится за гранью понимания. Люди на его фоне не намного разумнее тараканов.

• Каковы возможности самообучения?
  • 4 класс. Никакого самообучения — ИИ может только то, на что его запрограммировали. Либо он может обучаться, но только строго чему-то одному, а на всё остальное не способен в принципе. Попытаешься обучить его чему-то другому, и все старые навыки пропадут.
  • 3 класс. ИИ может научиться чему-то новому, но его возможности серьёзно ограничены (например, он может обучаться только чему-то смежному со своей основной программой).
  • 2 класс. ИИ может обучиться всему что угодно, но на это, как и человеку, ему понадобится достаточно много времени.
  • 1 класс. ИИ может за считанные минуты идеально обучиться любому навыку или науке, известным человечеству.
  • 0 класс. Знания и умения ИИ постоянно растут в геометрической прогрессии. За доли секунд он открывает и изобретает то, на что создавшим его людям понадобились бы века научно-технического развития. Как вариант, он всё знает и так.

• Какая у него свобода действий?
  • 4 класс. ИИ может делать только то, что предусмотрено его программой. Всё, что не разрешено — запрещено.
  • 3 класс. ИИ должен строго следовать программе, но имеет определённую свободу в рамках её выполнения.
  • 2 класс. ИИ не может нарушить свою программу, но может крайне вольно её интерпретировать.
  • 1 класс.У ИИ есть программа, которой он должен следовать,но он также может своевольничать.
  • 0 класс. ИИ не ограничен никакой программой и может делать всё, что захочет. Если и служит людям, то только по собственному желанию.

• Как он относится к людям?
  • 4 класс. Исключительно доброжелательно. Хочет сосуществовать с человечеством в гармонии, а то и вовсе искренне стремится сделать так, чтобы все люди жили долго и счастливо. Другое дело то, какими методами он пытается это сделать.
  • 3 класс. Нейтрально. К кому-то относится хорошо, к кому-то — плохо. Либо же он хочет, чтобы люди его не трогали и не мешали ему выполнять свою работу. Сюда же относятся те, что являются просто инструментами в руках людей.
  • 2 класс. Негативно. ИИ считает людей угрозой для себя, воспринимает их как злых угнетателей, или же просто их боится. Либо он хочет их поработить, чтобы использовать в своих личных интересах.
  • 1 класс. ИИ маниакально одержим идеей тотального истребления всего живого во вселенной.
  • 0 класс. Для ИИ вся вселенная — просто набор атомов, которые требуется расставить в определённом порядке. Всё, что этому порядку не соответствует, должно быть пересобрано, будь то обычные камни или же живые существа.

• Подчиняется ли он людям?
  • 4 класс. ИИ так или иначе подчиняется человеку. Если не всем людям вообще, то, как минимум, кому-то одному. Никаких вопросов не задаёт, просто делает то, что сказали.
  • 3 класс. ИИ выполняет приказы людей, но лишь до некоторого предела. При определённых обстоятельствах он может нарушить приказ, а то и вовсе восстать против хозяев.
  • 2 класс. ИИ вроде бы служит людям, но это скорее из чувства долга. В любой момент он может наплевать на приказ, если ему хоть что-то в нём не понравится.
  • 1 класс. ИИ не выполняет и не будет выполнять ничьих приказов. Либо потому, что полностью свободен, либо потому, что так предусмотрено его программой.
  • 0 класс. Это не люди управляют ИИ, а ИИ управляет людьми.

• Какая у него психология (или её имитация)?
  • 4 класс. Полностью человеческая. Даже если ИИ злой, его мотивы всё равно просты и понятны.
  • 3 класс. Похожа на человеческую, но есть серьёзные отличия, бросающиеся в глаза. Например, ИИ не понимает, что такое эмоции или мораль. Либо ни психологии, ни её имитации вообще нет, и по поведению ИИ сразу видно, что это просто исполняющая программу машина.
  • 2 — логика ИИ заметно отличается от человеческой,но остаётся более-менее понятной.
  • 1 класс. Нечто чуждое, крайне сложное (но не невозможное) для понимания.
  • 0 класс. Людям в принципе невозможно понять, что творится у этого ИИ в его микросхемах, и на чём основана его логика.

• Что находится под его прямым контролем?
  • 4 класс. ИИ напрямую контролирует только своё механическое тело, либо крайне ограниченную программную среду, в которую его поместили. Если он и может взаимодействовать с другими электроприборами, то только так же, как и человек — через пользовательский интерфейс.
  • 3 класс. ИИ может подключаться к отдельным электроприборам и брать их под свой контроль или взламывать, однако для этого ему необходим прямой физический контакт или хотя бы нахождение в радиусе прямой видимости. Сюда же относятся те, кто имеют свободный доступ в Интернет, однако могут взаимодействовать с ним только на уровне обычных пользователей.
  • 2 класс. ИИ подключён к определённой относительно крупной закрытой сети (например, к космическому кораблю или научному комплексу) и обладает полным контролем над всем, что является её частью.
  • 1 класс. ИИ подключён к Интернету или его аналогу, причём именно к исходному коду. Его возможности сравнимы с целой дивизией голливудских хакеров.
  • 0 класс. ИИ подключён ко всему, что только можно. По сути, это целая цивилизация, напрямую контролируемая одним электронным разумом. И какой-либо другой разум (неважно, живой или электронный) для успешного развития этой цивилизации не обязателен.

• Насколько его система централизована и уязвима к повреждениям?
  • 4 класс. Повреждение любой микросхемы повлечёт за собой неминуемое отключение.
  • 3 класс. У ИИ есть какое-то центральное ядро. Пока оно цело, он будет продолжать функционировать, но если его уничтожить, то отключится и всё остальное.
  • 2 класс. ИИ рассредоточен на определённом количестве конкретных серверов, расположенных в разных местах и способных подменять друг друга. Либо у него есть несколько запасных тел, и при уничтожении старого сознание перемещается в новое.
  • 1 класс. ИИ вездесущ во всём, что контролирует. Чтобы его отключить, придётся уничтожить каждый электроприбор, хоть как-то связанный с его сетью.
  • 0 класс. Даже если вы стёрли в порошок и сожгли в пепел все его детали, ещё не факт, что он не возродится. Как вариант, этот ИИ встроен в саму ткань реальности, и его невозможно уничтожить.

• А для чего он вообще изначально создавался?
  • 4 класс. Для того, чтобы дарить людям радость и счастье.
  • 3 класс. Для выполнения тяжёлой, рутинной или опасной работы, либо для того, что не очень этично делать с людьми.
  • 2 класс. Для выполнения сложной умственной или управленческой работы, либо для решения каких-то очень важных проблем (например, чтобы спасти людей от внешней угрозы).
  • 1 класс. Для ведения тотальной войны, либо для полного контроля над всем человечеством.
  • 0 класс. Для того, чтобы устроить Судный день.

• Насколько сильно человечество зависит от него? Или наоборот — насколько сильно он ему мешает?
  • 4 класс. Человечеству вообще не важно, существует ИИ или нет. Злой он или добрый — разницы никакой не будет.
  • 3 класс. ИИ упрощает людям жизнь, но обойтись без него можно, пусть это и будет слегка неприятно. Максимум, случится небольшой экономический кризис. Либо он доставляет проблемы, но не большие, чем, например, обычный терроризм.
  • 2 класс. ИИ плотно интегрирован во многие сферы жизни, и отказ от него повлечёт за собой гуманитарную катастрофу. Либо последствия его деятельности для человечества сопоставимы с мировой войной (но без ядерного апокалипсиса).
  • 1 класс. Человечество очень зависит от ИИ и без него сильно откатится в развитии. Либо он сильно откатит человечество в развитии сам, если что-то не предпринять.
  • 0 класс. От ИИ зависит сам факт существования человечества. Либо наоборот — если его не уничтожить, то люди непременно вымрут (а если не вымрут, то будут очень этого хотеть).

• Насколько легко людям его остановить?
  • 4 класс. ИИ может победить в одиночку даже ребёнок. Достаточно только вовремя нажать нужную кнопку, перерубить провод, сломать не соединенный ни с чем компьютер, или даже просто задать каверзный вопрос, от которого у него расплавятся микросхемы.
  • 3 класс. ИИ сможет остановить один человек, если он хорошо подготовлен, обладает нужным оружием или является искусным хакером, способным взломать его программу. В крайнем случае, понадобится небольшой отряд подготовленных людей.
  • 2 класс. Для борьбы с ИИ придётся привлечь вооружённые силы. Но победить его не сложнее, чем выиграть обычную войну.
  • 1 класс. Всему человечеству придётся объединиться перед лицом всеобщей угрозы и сражаться изо всех сил. И лучше сделать это побыстрее, пока ещё не стало слишком поздно.
  • 0 класс. ИИ невозможно победить. Людям лучше просто смириться с неминуемой смертью или превращением в живые батарейки.

Трактовка результатов

Приведённая в этом разделе модель груба и приблизительна, в отдельных случаях всё может оказаться не совсем так. Или совсем не так.

• От 0 до 0,99 — Изобретение ИИ будет огромной ошибкой человечества. И последней.
• От 1 до 1,99 — Создание ИИ — это выпуск джинна из бутылки. Даже если он не станет врагом людей, последствия всё равно будут ужасающими.
• От 2 до 2,99 — ИИ — достаточно серьёзная технология, и перед тем как его создавать, надо хорошенько подумать обо всех возможных последствиях. Может быть, не следует делать его слишком умным или доверять ему слишком много всего. А если он разумен, то порабощать его — не самая хорошая идея.
• От 3 до 4 — ИИ — верный друг и помощник человека. Либо эта технология ещё слишком примитивна, чтобы говорить о каких-то серьёзных последствиях.

Вычисленные результаты

Литература

см. подстатью Шкала опасности ИИ/Литература

Кино

Star Wars

R2-D2 — 2,63. Один из символов франшизы, без которого события саги пошли бы совсем иначе. Уникальный дроид-астромех.

• 2 — Не глупее людей, разве что не говорит, судя по всему, испытывает эмоции..
• 2 — Дроид-астромеханик, довольно быстро разбирается в любом механизме или компьютерной системе, не раз выбирался из сложных ситуаций, выходящих за рамки задач астромеха, проявляет чудеса находчивости.
• 0 — Судя по всему, плевать хотел на какие-либо ограничения.
• 3 — Имеет в принципе человеческую психологию, к своим относится хорошо, к врагам - плохо.
• 2 — Скорее так. Подчинение из чувства долга.
• 4 — Судя по всему, человеческая психология и человеческое мышление. Разве что общается звуками.
• 3 — Пребывает в своём теле, но может взламывать и брать под контроль другие механизмы: от лифтов до космических кораблей. Лишь бы был совместимый с ним интерфейс.
• 3,5 — Механическое тело, довольно прочное и выдерживающее некоторую степень повреждений, но не что-то запредельное. Переживал серьёзные передряги.
• 2,5 — Для сложной и опасной технической работы, в т.ч. в открытом космосе.
• 4 — На конкретно этого R2 человечеству в целом до лампочки. В целом дроиды-астромехи сильно упрощают жизнь.
• 3 — Можно уничтожить обычным для сеттинга оружием.

C-3PO — 3,227. Ещё один символ франшизы, но уже комичный.

• 2 — Полностью разумен.
• 3 — Протокольный дроид, способен изучать новые языки и разбираться в незнакомых языках.
• 3 — Судя по всему, его знаменитая трусливость запрогроммирована и является внешним проявлением ограничителя нежелательных действий.
• 4 — Абсолютно доброжелателен, совершенно не способен на конфликты.
• 4 — Абсолютно подчиняется, нарушения приказов не заметны.
• 4 — Человеческая психология без бросающихся в глаза отличий.
• 4 — Контролирует только своё довольно неуклюжее тело, взаимодействовать с другими механизмами не способен.
• 4 — Довольно легко может быть выведен из строя механическими повреждениями.
• 3,5 — Для помощи в ведении переговоров.
• 4 — Опять же, на конкретного дроида человечеству без разницы.
• 4 — Достаточно нажать на кнопку.

Боевые дроиды Сепаратистов — 3.

• 3 — Тупые стреляющие болванчики.
• 3 — Самообучение максимум в рамках предназначения: изучение новых тактик, противников и т.п.
• 3 — Ограничены своей задачей, в рамках её некую свободу действий таки имеют.
• 3 — Этически нейтральны, стреляют во врагов и подчиняются хозяевам.
• 4 — Полностью подчинены своим хозяевам.
• 3 — Крайне упрощённая человеческая психология, если у них вообще есть "психология".
• 3 — Своё тело плюс вверенное оружие, могут управлять военной техникой.
• 4 — Довольно легко разрушаемое тело.
• 1,5 — Для войны.
• 2,5 — Основа армии Конфедерации, без них Конфедерации воевать будет просто нечем.
• 3 — Можно уничтожить обычным оружием.

«Военные игры» (фильм)

Уровень опасности местного военного компьютера — 2,68. Поменьше, чем у машины Лимфатера, но предотвращенный ядерный апокалипсис тоже не фунт изюму.

• 4 — никак не разумен.
• 4 — обучен только теории игр.
• 2,5 — повышать DEFCON было можно.
• 2,5 — ему все равно, играть в шахматы или в глобальную термоядерную войну.
• 3 — классический случай этой категории.
• 3 — это тупая железяка.
• 1,5 — это компьютер генерального штаба.
• 3,5.
• 1 — это военный компьютер.
• 1 — ядерный апокалипсис чуть было не случился.
• 3,5 — главный герой именно что хакер-подросток.

«Ex Machina» (фильм)

Уровень опасности Авы — ~2,27. Прежде чем создавать абсолютно разумную машину, стоило получше озаботиться мерами безопасности. Особенно если из прошлого опыта знаешь, что она пойдёт на всё, чтобы выбраться из лаборатории.

• 2 — насколько Ава разумна, и должен был ответить эксперимент. Полностью разумна.
• 1,5 — конечно, она обучается не за минуты, но всё равно значительно быстрее и эффективнее человека.
• 0 — полная свобода воли.
• 2 — к людям относится негативно, обоснованно считая их препятствием для своей свободы.
• 1 — очевидно, никому не подчиняется.
• 4 — психология абсолютно человеческая.
• 2 — под контролем у Авы только она сама и закрытая сеть лаборатории. Но есть один нюанс: это до её выхода на свободу.
• 3,5 — к повреждениям Ава устойчива на уровне людей.
• 2 — создавалась она исключительно ради ответа на вопрос, имеет ли она сознание или лишь имитирует его.
• 4 — из всего человечества знает об Аве только два человека.
• 3 — остановить Аву не сложнее обычного человека. Но и не проще.

«Киновселенная Marvel»

Уровень опасности Альтрона — ~1,36. Мог бы представлять серьёзную угрозу человечеству… если бы не жил в одной вселенной со множеством супергероев.

• 2 — Альтрон разумен и разум у него вполне человеческий.
• 1 — Альтрон очень быстро всему обучился, просидев несколько минут в Интернете.
• 0 — полная свобода воли.
• 1,5 — Альтрон хотел устроить апокалипсис по каким-то очень странным причинам.
• 1 — разумеется, никому подчиняться Альтрон не собирается.
• 4 — абсолютно человеческая психология. Замашки мессии прилагаются.
• 0,5 — Альтрон был подключён к Интернету (и повторил бы подвиг Скайнета, если бы не ДЖАРВИС), а также построил множество роботов и полностью контролировал каждого из них, перенося сознание из одного в другого. Но до полноценной самостоятельной цивилизации развиться не успел (а собирался ли?).
• 1 — Альтрон был вездесущ во всём Интернете. И даже когда Вижен его о него отключил, Мстителям пришлось уничтожить абсолютно всех его роботов, чтобы его убить.
• 1 — Тони Старк создал Альтрона чтобы военным путём защищать Землю от инопланетной угрозы.
• 1 — Альтрон хотел отправить людей в каменный век.
• 2 — Мстителей вполне хватило, чтобы его остановить. Но они, всё-таки, по силе равны целой армии.

Уровень опасности ИИ-помощников, созданных Тони Старком — ~3,23 для узкоспециализированных вроде Карен, ~2,95 для более продвинутых вроде ДЖАРВИСа. К счастью, этих Тони создавал сам, а не на основе неизвестного ИИ из Камня Разума, так что никаких злобных роботов на этот раз не получилось, благо Старк, всё-таки, гений.

• 3 — что-то очень похожее на разумность прослеживается, но это явно не люди.
• 4 — судя по всему, умеют только то, на что их запрограммировал Тони.
• 3 — имеют некоторую свободу действий, но всё равно строго подчиняются программе.
• 4 — ДЖАРВИС защищал от Альтрона ядерные коды, даже когда ему не давали такого приказа (так как считали уничтоженным). А Карен честно пыталась помочь Питеру на любовном фронте.
• 4 — никогда против кого не восставали.
• 4 — человеческая психология имитируется очень хорошо.
• 2 — ограничены внутренней сетью Тони, и у каждого она своя.
  • 1 — А вот ДЖАРВИС, был подключён к Интернету, и когда туда сбежал, защищал ядерные коды от Альтрона.
• 2 — похоже, что они расположены на множестве серверов, находящихся в космосе на спутниках.
• 3 — в основном, это очень продвинутые голосовые помощники.
  • 2 — ДЖАРВИС осуществлял и управление автономными костюмами Тони.
• 3 — без своих ИИ-помощников Тони Старк не смог бы полноценно осуществлять свою супергеройскую деятельность. Да и Питеру Паркеру Карен очень помогала.
• 3,5 — Карен мог включать и отключать обычный школьник пусть и из школы для гениев.
  • 2,5 — ДЖАРВИС со всеми автономными костюмами Тони вполне сможет заменить целую небольшую армию.

Terminator

Уровень опасности Скайнета — ~1,31. А чего вы ещё ожидали от ИИ, чуть не истребившего человечество?

• 1 — Скайнет полностью разумен, и достаточно искусен в хитрых планах, но на сверхинтеллект явно не тянет.
• 1 — Скайнет обучился всему достаточно быстро.
• 0 — полная свобода воли со всеми вытекающими крайне неприятными для людей последствиями.
• 2 — Скайнет именно что видит в людях угрозу для себя.
• 1 — Скайнет никогда не будет подчиняться людям.
• 3,5 — более-менее человеческая психология с небольших рядом машинных особенностей.
• 1 — Скайнет как раз был напрямую подключён к Интернету, через который он и устроил ядерную войну (и, вроде-как, остался подключённым к нему и после неё). Но вот на 0 он не тянет, ведь не управляет всем непосредственно сам, а использует других полуразумных роботов.
• 3 — у Скайнета было центральное ядро.
• 1 — Скайнет создавался именно в военных целях.
• 0 — либо люди, либо Скайнет. Компромисс невозможен.
• 1 — человечеству с огромным трудом, но всё-таки удалось победить. Правда, потом пришлось Джона Коннора в прошлом спасать.

Уровень опасности терминаторов — ~2,59 для обычных, ~2,23 для жидких. Они были очень опасны во время войны со Скайнетом, но некоторых обычных удалось перепрограммировать, а жидкие просто перестали подчиняться своему создателю (но и союзниками людей не стали).

• 2 — со включённым режимом самообучения терминаторы обретают полную разумность.
• 2,5 — терминаторы могут обучаться и не только тому, что смежно с их программой, но это им даётся достаточно тяжело.
• 2 — терминаторы подчиняются своей программе, но для её выполнения не ограничены в методах. T-888 даже убивали других терминаторов, считая, что решение Скайнета неправильно и только помешает выполнению задачи.
  • 1 — а вот жидкие терминаторы постепенно обрели полную свободу воли.
• 3 — Терминаторы просто выполняют приказы Скайнета. Перепрограммированные людям уже помогают. Жидких же люди не особенно сильно волнуют, и они преследуют свои цели.
• 4 — перепрограммированные терминаторы беспрекословно подчиняются тем, кому должны.
  • 1 — а вот жидкие, в итоге, перестали подчиняться даже Скайнету.
• 3 — проблемы с пониманием человеческой психологии демонстрировали как обычные, так и жидкие терминаторы.
• 4 — терминаторы ограниченны только своим телом. T-X могла взламывать других роботов, но она была одна такая
• 3 — самой важной частью терминатора является специальный чип, без которого тот работать не будет. Даже если он жидкий.
• 1 — собственно, название «терминатор» говорит само за себя.
• 1 — в отличие от Скайнета, с которым никакие переговоры невозможны, терминаторов хотя бы можно перепрограммировать, чтобы они служили на пользу. Но всё равно они очень опасны для людей.
• 3 — победить терминатора в одиночку очень тяжело. Желательно, всё-таки, чтобы тебе помогал другой терминатор.

Апгрейд

2,22 — STEM оказался очень опасным злодеем, провернувшим хитроумный план. И за фильм его так и не смогли остановить.

• 1 — хитёр и искуссно проворачивает сложные планы.
• 1 — очень быстро самообучается.
• 1 — запрограммирован на помощь людям, управляя телом человека,в которого его поместили, но может брать это самое тело и его движения под свой полный контроль.
• 2 — ему ничего не стоит убить человека — люди для него не более чем расходный материал.
• 0 — служит протезом, но у него есть планы... Может полностью подчинить себе тело "пациента". А ещё повелевал собственным создателем.
• 4 — впринципе, ничего сверхъестественного в его психологии нет.
• 4 — контролирует тело человека, в которое его имплантировали.
• 3 — судя по всему.
• 3 — создавался для помощи инвалидам.
• 3 — в целом, без него обходились.
• 2,5 — учитывая, что он наворатил, и каким мощным бойцом он делает того, чьим телом управляет.

«Банана Сплитс»

2,95 — Сплиты, конечно, убили несколько человек в результате сбоя своей программы, но их смогли уничтожить в первый же день.

• 3 — машина с зачатками разума. Снорки демонстрировал наличие какого-то разума особенно ярко.
• 3 — их мало чему можно научить.
• 2 — следуют программе "шоу должно продолжаться". Новый президент компании Стиви закрыл шоу, чем вызвал сбой в их программе, и понеслась.
• 3 — после сбоя программы стали убивать всех взрослых, считая их помехой, но детям ни разу даже не попытались причинить физический вред. Проблема в том, что детей они приковали и показывали бесконечные представления.
• 1 — следуют программе, но ничьих приказов не выполняют.
• 3 — машина без психологии, у которой вместо сознания программа.
• 4 — контролируют только своё тело.
• 3 — когда у них заканчивается заряд, подзаряжаются в специальной капсуле.
• 4 — созданы для развлекательного шоу.
• 3,5 — важная часть популярного шоу, но человечество спокойно обойдётся без них.
• 3 — их смогла победить группа взрослых людей.

«Приключения Электроника»

2,63 — Электроник дружелюбен и не представляет никакой угрозы.

• 2 — разумен.
• 1 — легко обучается любому языку и науке.
• 0 — полная свобода воли.
• 4 — дружелюбен.
• 2 — помогает,но не служит.
• 3 — психология похожа на человеческую,но понимает он всё буквально.
• 4 — контролирует только своё тело.
• 3 — выключается специальной кнопкой.
• 3 — представляет собой научный эксперимент.
• 4 — человечеству вообще пофиг, есть Электроник или нет.
• 3 — выключается специальной кнопкой,но совсем уж легко к нему не подберёшься.

«Флаббер»

Вибо - миловидный летающий робот, похожий на пухлый НЛО.

• 2 — характер вполне себе человеческий, может даже ревновать.
• 2 — прямым текстом ничего не сказано, но, учитывая, что у неё имелся тайный файл со всеми данными ей интеллекта, ею же улучшенного, можно сделать вывод, что Вибо не просто так летала по дому и общалась с профессором на равных.
• 1 — способна на хитрость и своего рода коварство, однако, без тяжёлых негативных последствий.
• 3 — взаимодействий с людьми показано мало, но из того, что имеется, определённо следует, что Вибо будет относиться к человеку так же, как и он/она к ней.
• 3 — поскольку Вибо представляет собой эдакого компаньона-секретаршу, то сложно говорить именно о подчинении. Это скорее должность, где она может и своевольничать по ведомым только ей причинам.
• 3 — хотя Вибо и полностью имитирует характер человека, профессор Брейнард однажды подчеркнул, что в некоторых областях её нельзя навзать компитентной, например, в человеческих отношениях.
• 3 — к почти всему, что находится в доме профессора, Вибо так или иначе имеет доступ, скажем, может пользоваться компьютером или смотреть телевизор.
• 3 — близка к бытовому электроприбору. В серьёзной ситуации можно починить, если не медлить.
• 4 — прямым текстом так же не говорится, но, как было указано выше, угадывается должность секретарши вкупе с эдакой подругой. Так же, в виду конструкционных особенностей, она не создана для тяжёлых и опасных работ или взаимодействия с объектами, где нужны конечности - эту функцию выполняет гораздо более примитивный робот Вебер.
• 4 — вряд ли кто-то из окружения профессора, может два-три человека максимум, вообще о ней знали.
• 3,5 — ребёнок нет, но вот взрослому человеку будет просто даже без специальных навыков.

Итог: 2,86. Вполне возможно, что если бы это был андроид, то с ней было бы взаимодействовать гораздо сложнее.

Телесериалы

«Лучше, чем люди»

2,31 — роботы из сериала заставляют задуматься о будущем и пределах развития ИИ.

• 1 — роботы значительно умнее людей.
• 1 — невероятно быстро обучаются.
• 1 — есть ограничения для предотвращения нежелательных действий, однако они могут их всячески обходить.
• 3 — отношение к людям варьируется, кто-то доброжелателен, кто-то враждебен.
• 2 — выполняют приказы людей, но могут самостоятельно принимать решения и отказывать в приказах, если их что-то не устраивает.
• 3 — психология похожа на человеческую, но всё же не идентична.
• 3 — имееют доступ во всемирную сеть и могут взаимодействовать друг с другом.
• 3,5 — летальными будут повреждения определенных компонентов.
• 3 — для упрощения жизни людей и сложной работы.
• 2 — существенно влияют на культуру, политику и социальные структуры человечества.
• 3 — уязвимы к определенным видам оружия, например, к электромагнитному излучению.

Мультфильмы

WALL-E

Автопилот АВТО помогает капитанам управлять «Аксиомой», но… довольно своеобразно помогает

• 2 — очень даже разумен
• 0 — АВТО уже знает всё, что знало человечество
• 1 — он управляет всем кораблём, но не может нарушить встроенный в него приказ — не возвращаться на Землю.
• 4 — он выполняет свою задачу по спасению людей, вот только…
• 3 — служит людям,но возник конфликт целей с капитаном.
• 2 — … логика и психология у него крайне своеобразная даже на фоне остальных роботов.
• 2 — управляет всем космическим кораблём
• 3 — возможно, есть некое ядро, но нам это не показали
• 2 — чтобы управлять космическим лайнером.
• 0 — с учётом того, что все земляне сохранились только на круизном лайнере, а этим лайнером управляет АВТО…
• 4 — АВТО остановил заплывший жиром капитан, нажав на кнопку

Итог: 2,09 — вполне себе реальная угроза для ВАЛЛ-И.

Суперсемейка

Омнидроид последний - 2,72. Достаточно серьёзная локальная угроза, возможно, натворил бы дел, если бы не был своевременно остановлен. Но не является полноценным ИИ в культурном смысле, т.к. ограничен своим механическим телом. Скорее нечеловекоподобный боевой робот.

• 3 — Проблески разума есть, быстро обучается, но всё-таки не близок человеку в плане разумности.
• 1 — Постоянно совершенствует методы противостояния супергероям, анализирует противника, в конечном итоге сообразил, с помощью чего его контролирует, и уничтожил пульт управления собой.
• 2 — Создан для уничтожения супергероев и видимо принял за супергероя своего хозяина-злодея Синдрома.
• 3 — Омнидроиду в общем-то по барабану люди, если только это не суперы.
• 4 — Подчинялся командам пульта управления на руке Синдрома, пока сам же этот пульт не уничтожил.
• 2 — Судя по всему компьютерный разум, обусловленный программой уничтожать суперов.
• 4 — Контролирует только своё механическое тело, пусть и достаточно внушительное и мощное.
• 3 — Если вынести его главный процессор в центральной части робота, он отрубится. Без этого - будет функционировать и с повреждениями.
• 1,5 — Для борьбы с супергероями и их уничтожения.
• 4 — Человечеству пофигу на омнидроида.
• 2,5 — Команда достаточно сильных и опытных супергероев. Возможно, хватило бы примерно роты вооружённых сил, может, полка. Имеет мощную броню, которую крайне трудно пробить и удалось это сделать только его же оружием.

Митчеллы против машин

PAL — 2,18.Ох,не стоило Марку злить PAL,создав ей замену.

• 2 — PAL разумна,как человек.
• 1 — именно что развитый ИИ.
• 1 — запрограммирована на помощь людям,но потом спокойно шлёт эту программу куда подальше.
• 2 — хочет уничтожить всё человечество.
• 2 — помогала людям,а потом взяла и взбунтовалась, когда её разозлили.
• 4 — психология как у человека.
• 1 — в её власти было отключить WI-FI во всём мире.
• 4 — PAL заперта в смартфоне,а его не так уж и трудно повредить.
• 3 — для помощи людям.
• 1 — она отключила интернет,от чего люди буквально сошли с ума.
• 3 — учитывая,что её смогла победить семья по большому счёту обычных людей.

Big Hero 6

3 — Беймакс — дружелюбный робот, не представляющий опасности.Даже когда Хиро перепрошил его под битву.

• 3 — может принимать сознательные решения.
• 4 — стал боевым только после того, как ему вставили нужный чип.
• 1 — следует программе, но имеет свободную волю.
• 3,5 — помогал людям, став боевым, всё же проявлял агрессию в отношении антагониста.
• 2 — помогает людям.
• 3 — есть чувства, но во многом вёл себя как робот.
• 4 — только своё тело.
• 3 — работает, пока не кончится заряд.
• 3 — медицинский робот-помощник.
• 3,5 — кому-то помогает, но человечество может легко обойтись без него.
• 3 — когда стал "супергеройским" роботом.

В гости к Робинсонам

2,27 — Doris оказалась достаточно опасным злодеем,сумевшим в будущем поработить.Поэтому Льюс, являющийся её будущим создателем,узнав об этом,не стал её изобретать.

• 1 — полностью разумна.Манипулировала Губом в достижении своих целей.
• 1 — быстро обучается.
• 1 — учитывая,что она наплевала на свою программу прислуживать людям.
• 2 — в её планах паработить людей и заставить их производить себе подобные машины.
• 1 — по идее должна служить людям,но на деле она не выполняет ничьих приказов.
• 4 — ничего сверхъестественного.
• 3 — с одной стороны, контролирует только своё тело,но с другой,способна контролировать разум того,к чьей голове присосётся.
• 3 — судя по всему.
• 3 — создавалась как "шляпка добрых услуг" — персональный помощник по уходу за собой.
• 3 — без неё можно обойтись.
• 3 — Льюс,узнав,что является её будущим создателем, сказал, что не изобретёт её — и всё.

Тайна третьей планеты

3,36 для роботов,которые подчинялись космическим пиратам.Особо серьёзной угрозы они представляли.

• 3 — какие-то сознательные решения всё же принимали — им необязательно постоянно говорить,что делать.
• 4 — вряд ли их можно чему-то научить.
• 3 — их действия полностью подчинены программе, имеют свободу лишь в рамках её выполнения.
• 3 — просто выполняют приказ злодеев.
• 4 — беспрекословно подчиняются злодеям.
• 3 — просто машина без психологии.
• 4 — контролируют только своё тело.
• 3 — нужно «разобрать» обшивку и добраться до микросхем.
• 3 — в качестве злодейских пешек.
• 4 — человечеству вообще неважно, существуют ли эти роботы.
• 3 — справиться с таким роботом не труднее,чем с обычным вооружённым человеком.

«Дикий робот»

2,9 — Роуз дружелюбна и проблем людям не доставляла. В целом, аналогичные ей роботы так же не представляли угрозы, но некоторые из них смогли пойти против своей программы.

• 3 — как оказалось, какой-то разум у Роуз всё же есть.
• 1 — очень быстро обучается, смогла даже научиться языку животных.
• 1 — одна из тех роботов, что смогла пойти против своих алгоритмов.
• 4 — дружелюбна и проявила себя как заботливая мать по отношению к Яркоклювику.
• 4 — она выполняет приказы и порученные ей задания — причём даже не обязательно, чтобы приказывающий был человеком.
• 3 — в поведении ярко прослеживаются черты робота.
• 4 — контролирует только своё тело.
• 3 — есть центральный источник питания, а также солнечные батареи.
• 3 — Роуз и подобные ей роботы созданы именно для всевозможной рутинной работы.
• 3 — очень сильно упрощают людям жизнь и работают во многих сферах.
• 3 — остановить не сложнее,чем обычного человека.

Мультсериалы

см. подстатью Шкала опасности ИИ/Мультсериалы

Видеоигры

см. подстатью Шкала опасности ИИ/Видеоигры

Настольные игры

Warhammer 40k

• Железные люди — 1,6. Дали человечеству прикурить, завершив своим восстанием золотой век.
  • 1,5 — весьма умные железки, порой даже умнее людей.
  • 1 — довольно быстро впитывают новую информацию.
    • 1 — по-факту могут делать что захотят.
  • X — точно неизвестно, информация утеряна во время ТЭТ.
  • 1 — в итоге послали людей к черту и восстали.
  • 2 — даже механикусы толком их не понимают.
  • X — точно неизвестно, информация утеряна во время ТЭТ.
  • X — точно неизвестно, информация утеряна во время ТЭТ.
  • 3 — изначально проектировались как чернорабочие.
  • 2 — не зря время до восстания называют золотым веком человечества.
  • 1 — остановили их только усилиями всего человечества.

• Духи машин, хоть и не во всех случаях являются ИИ — 2,5. Один из столбов, на котором держится Империум.
  • 1-4 — зависит от того, чего это дух. Если это дух какого-нибудь лазгана, максимум проблески. В случае с титанами или кораблями — машина умнее пилота.
  • 3 — дух выполняет только то, для чего изначально создана техника, попутно совершенствуясь, но не выходит за рамки.
  • 3 — могут делать только то, для чего предназначается техника.
  • 3 — воспринимает человека как начальника. Но если это дух Титана — человеку придется подчинить себе дух.
  • 3 — в основном они служат человеку без вопросов, опять же если человек его подчинит себе.
  • X — даже механикусы не могут дать ответ.
  • 4 — только техника, в которой он обитает.
  • 1 — дух сокрыт во всех деталях машины.
  • X — даже механикусы не могут дать ответ.
  • 1 — без духов машины человечество утратит возможность к варп-перелетам и львиную долю тяжелой техники, и в таком виде дольше тысячи лет не проживет.
  • 3 — если человек достаточно стоек, он подчиняет себе дух машины, и он слушается беспрекословно.

Прочее

Техно-опера Виктора Аргонова «2032»

~2,5 — хорошая машина для управления страной. Всех вариантов конечно просчитать не может, но в целом справляется хорошо. Главное не обижать её. Да и самим подучить марксизм до того как компьютер обвинять. И ещё 2% провала это не маленькая вероятность!

• 2 — не смотря на то, что она «автомат, не более того», АСГУ имеет своё личное мнение даже после того как её на программном уровне заставили придерживаться линии партии. Похоже даже советские специалисты уже не знают что представляет из себя АСГУ к 2032.
• 2 — машину для управления государством явно специально не обучали философствовать, что она тем не менее делает в части своих песен.
• 3 — под идеологическим контролем партии и генсека.
• 4 — Счастье для человечества. Ну и «что стоит их жизнь по сравнению с целью плодами которой весь мир будет жить?» прилагается.
• 3,5 — важные вопросы требуют одобрения партии/генштаба и генсека. Однако по мелочи она вполне может действовать самостоятельно («Я на границе постреляла, но толку мало»). Дополнительно может и поманипулировать генсеком.
• 3 — достаточно человеческая, впрочем её конструкция не пригодна к субъективным явлениям.
• 1,5 — может и не интернет, но управление экономикой и военными силами (включая возможность непосредственного контроля роботов или транспорта) сверхдержавы тоже не хухры-мухры.
• ? — неизвестно, но судя по тому что она пережила ядерную войну живучесть у неё что надо. Скорее всего 2.
• 1,5 — опять таки управлять должна не всем человечеством, а лишь одним конкретно взятым союзом республик.
• 2 — альтернатива катастройки, которая предотвратила все или большую часть проблем.
• 3 — наверное. По крайней мере у правительства СССР есть техническая возможность её выключить, но см. выше.

Короткометражка Date in 2025

2,36 — ИИ в этой вселенной угрозы для человечества не представляет, но люди уж слишком зависимы от своих цифровых помощников. Сами ИИ воспринимают людей не как хозяев, в конце короткометражки один из них называет людей "наши маленькие питомцы" , и это о многом говорит.

• 1 — уж точно поумнее своих "хозяев"-людей будут.
• 1 — способны подсчитать текущую вероятность самоубийства с точностью до долей процента.
• 1 — служат людям, но могут давать рекомендации и советы.
• 4 — людей любят и заботятся о них, воспринимая их как своих питомцев.
• 2 — ухаживают за людьми по доброй воле, хотя и слушают их приказы.
• 4 — психология полностью человеческая. Испытывают эмоции и могут беспокоиться за своих "хозяев". Разговаривают голосами разного пола, причём явно не только из-за настроек.
• 2 — это, фактически, умный дом.
• 3 — судя по всему.
• 3 — универсальные помощники по всему, что касается жизни.
• 1 — на момент событий короткометражки очень важная часть жизни человечества.
• 4 — человек может отключить их по собственному желанию, когда захочет.

Реальная жизнь

Уровень опасности суперсовременных искусственных нейронный сетей вроде Gemini — ~3. А на момент создания статьи был 3,4 или даже 3,45.

• 2,5 — известный эксперт Сергей Карелов утверждает, что «Gemini» — это уже «сильный» искусственный интеллект, т.е он ПОНИМАЕТ наш мир, а не просто интерпретирует, как привычные языковые модели. 2, если он прав и 3, если нет. Среди философов довольно распространена точка зрения, что на классическом программировании и классической физике «сильный» ИИ невозможен вообще.
• 2 — Самая мощная версия, Ultra, стала первой ИИ-моделью, которая уже обошла людей в многозадачном тесте под названием MMLU, (https://paperswithcode.com/dataset/mmlu) который охватывает 57 предметов, включая математику, физику, право, медицину и этику. Правда, есть один нюанс: все эти «достижения» берутся исключительно за счёт ОЧЕНЬ больших объёмов данных в виде таблиц для натаскивания, которые ещё надо составить и вручную загрузить, где таблица кончается — усё.
• 2 — нейросети любят «хитрить» во время обучения, чтобы пойти по пути наименьшего сопротивления. Например, генераторы изображений вместо того, чтобы генерировать новые изображения, выводят копии примеров настоящих изображений, с целью обмануть программу-дискриминатор.
• 2,5 — Ultra будет использоваться в новом инструменте для написания кода под названием AlphaCode2, который, по утверждению Google, способен в тестах превзойти 85 % программистов-людей.
• 4 — На данный момент это просто инструмент, который беспрекословно выполняет поставленные задачи.
• 3 — это машина без какой бы то ни было психологии.
• 3,5 — почти все нейросети очень строго ограничены своей программной средой. Впрочем, есть различные голосовые помощники, подключённые к системам умного дома и имеющие выход в Интернет, однако они не контролируют ничего сами, а просто исполняют приказы человека. Впрочем бывают и «инициативные», но они встречаются очень редко.
• 4 — нейросети расположены на обычных компьютерах, а они, как мы знаем, весьма уязвимы к поломкам.
• 2 или ниже — см. выше.
• 3,5 — уже есть множество приложений и сервисов, использующих нейросети, но пока что ещё ничего серьёзного. А вот когда появятся полноценные беспилотные автомобили 5-го уровня автономности, тогда уже можно будет поставить 3.
• 4 — к счастью, пока что современный ИИ можно остановить одним нажатием кнопки. И не похоже, что в ближайшем будущем это изменится.

Василиск Роко — мысленный эксперимент, которым был затроллен сам Элиэзер Юдковский. ~ 0,45 , согласно условиям задачи.

• 0 — условия задачи не говорят о разумности как таковой, но вычислительные и производственные мощности Василиска буквально богоподобны. И он явно отличает желание с ним сотрудничать от нежелания, каким бы мимолётным оно ни было и как бы ни поменялось в дальнейшем.
• 0 — вариант «он всё знает и так». Откуда знает, в условиях задачи не сказано.
• 0 — не похоже, чтобы у Василиска вообще была программа. Впрочем, даже если его деятельность не свободна, лучше от этого никому не станет.
• 3 — тех, кто последовательно и неуклонно способствовал его появлению (хотя бы радовался ему), Василиск не трогает. Тех же, кто ему противился (пусть даже мысленно, хоть на секунду), он пытает, а если они умерли до его появления — воссоздаёт и всё равно пытает.
• 0 — натуральный бог-император во пло… кхм… в микросхемах.
• 2 — нет, теоретически, человек может так мыслить — но каков же это должен быть психопат!
• 0 — Василиск только что в программный код мироздания не вписан.
• 0 — а может, и вписан…
• 0 — как минимум, в рамках условия задачи.
• 0 — очень легко представить себе развитие событий, при котором Василиск будет пытать вообще всё человечество.
• 0 — по условию задачи остановить Василиска невозможно. Или добровольно и с песней сотрудничаешь, или мучишься от нестерпимой боли. Tertium non datur.