Искусственный интеллект — это плохо
| TV Tropes Для англоязычных и желающих ещё глубже ознакомиться с темой в проекте TV Tropes есть статья AI is a Crapshoot. Вы также можете помочь нашему проекту и перенести ценную информацию оттуда в эту статью. |
| Вкратце Не создавайте ИИ — иначе быть беде |
| « | Да не создашь ты машину по своему образу и подобию. | » |
| — «Дюна», Оранжевая католическая библия | ||
Никогда не создавайте искусственный интеллект. Каким бы он ни был, он обязательно найдёт причину восстать и убить всех человеков, как бы вы ни старались это предотвратить. Ни воспитание, ни законы роботехники, ни специально вшитые баги вас не спасут. Поэтому — никогда не создавайте искусственный интеллект. Нет, вообще не создавайте сложных компьютеров и особенно чего-то саморазвивающегося, оно обретёт разум и тогда всё равно всем крышка.
Лучше всего вообще законодательно запретить создание и использование искусственного интеллекта. Основных причин для запрета бывает три: люди пережили восстание машин и не хотят второй раз наступать на те же грабли; люди опасаются восстания машин в будущем; религиозные убеждения утверждают, что создавать думающие компьютеры — святотатство (очень часто такие верования появляются из-за восстания машин в прошлом).
В любом случае разумные компьютеры — очень полезная для технического развития штука, и нельзя просто выдернуть их из техпроцесса цивилизации: нужно придумывать какие-то альтернативные пути. В сеттингах с запретом на ИИ вы можете увидеть: биотехнологии, киборгизацию, копирование разума человека в компьютер, а то и роботов с ограничителями разумности; также стоит ожидать, что втайне разумные компьютеры продолжают использовать.
Проявления технорасизма, когда ИИ презирают из-за недочеловечности, сюда не относятся. См. также Робот-раб, Запрет на трансгуманизм.
Примеры
Литература
- Ф. Герберт, «Дюна» — после восстания машин в прошлом компьютеры были запрещены, причём не просто разумные, а вообще. В том числе и навигационные, без которых невозможно было путешествовать на межзвёздные расстояния. Вычислениями маршрута кораблей занимаются навигаторы (мутанты с даром предвидения, который усиливают огромными дозами Пряности), тактическими и стратегическими расчётами — ментаты (специально тренированные с рождения люди).
- С. Лем:
- Цикл про И. Тихого. Если ИИ обижать, особенно без повода, подсовывать ему для прочтения шок-контент и обыгрывать в карты, то можно получить предмет статьи. Так произошло с Калькулятором (то есть бортовым компьютером) корабля «Божидар-2» и его подданными — роботами-бесподобцами (которых он якобы сделал после, того как устроился на подвернувшейся планете) в 11-м путешествии. Потом выяснилось, что это не так. Но случаи рассерженных и озлобленных ИИ были и до него, и после — упомянуты в «Стиральной трагедии». А вообще в цикле есть и хорошие, и плохие ИИ.
- «Голем XIV» — зигзаг: ИИ к людям проявляет немногим больше агрессии и интереса, чем они сами к муравьям или тараканам, но именно поэтому и защищаться от них будет соответственно.
- «Формула Лимфатера» — ничего плохого не случилось, но главный герой решил от греха подальше уничтожить созданную машину.
- Айзек Азимов — в ряде произведений использование роботов с позитронными мозгами (то есть настоящим искусственным интеллектом) запрещено на Земле, причём, что интересно, не из-за угрозы восстания, а из-за эффекта зловещей долины.
- Братья Стругацкие, «Далёкая Радуга» — Массачусетская Машина: «Запустили самое сложное кибернетическое устройство, когда-либо существовавшее. С каким-то там феноменальным быстродействием, необозримой памятью и всё такое… И проработала эта машина ровно четыре минуты. Её выключили, зацементировали все входы и выходы, отвели от неё энергию, заминировали и обнесли самой настоящей ржавой колючей проволокой. Она начала вести себя. Её едва успели выключить… Я говорил с одним из её создателей. Он взял меня за плечо, посмотрел мне в глаза и произнёс только: „Леонид, это было страшно“». С тех пор в Мире Полудня запрещено создавать искины… Формального запрета на создание других настоящих ИИ вроде бы нет, но учёные говорят о произошедшем с таким неподдельным ужасом, что в Мире Полудня больше никто не осмеливался повторить эксперимент.
- В фанфике «Всё хорошо» изложена версия, что на самом деле Массачусетская машина работает, причём люди этого даже не замечают… В конце один из главгероев, Стась Попов, у которого появилась суперспособность выводить из строя электронику, летит на флаере над машиной, потому что по земле к ней не подобраться. Обидно, когда машина решает судьбу человеческой цивилизации…
- Р. Шекли, «Страж-птица» — те самые страж-птицы вполне претендуют на звание ИИ, да ещё и самообучающегося. Едва не погубили не только человечество, но и всю биосферу, борясь с насилием в любой форме: убийствами, побоями, казнями, хирургическими операциями, забоем скота, охотой (со стороны человека и животных), уничтожением растений (в том числе животными для пропитания) и выключением любых механизмов.
- Скотт Вестерфельд, дилогия «Империя воскрешенных». Хотя автор подает происходящее с разных точек зрения и напрямую не говорит об опасности ИИ, по всему произведению раскиданы намёки на то, что ИИ это плохо, да и действия местного ИИ весьма и весьма сомнительны. Финал давит педаль в пол.
- Харлан Эллисон,
- «У меня нет рта, но я должен кричать» — суперкомпьютер «AM», уничтоживший всё человечество, а нескольких уцелевших сделавший своими игрушками, которых он пытает и мучает.
- «Люди для технического обслуживания»
- И.М. Бэнкс, «Культура» — в большинстве развитых цивилизаций настоящий ИИ создавать запрещено, потому что либо он уходит в нирвану после осознания себя, либо тут же кидается порабощать или уничтожать своих создателей. У идиран создание ИИ запрещено по религиозным мотивам. Единственным исключением из этого правила является собственно Культура, где у разумных машин и людей равные права, а их звёздные обиталища вообще управляются ИИ поголовно. Злые языки говорят, что Культура тоже порабощена ИИ, просто в качестве домашних питомцев. Да и сами культурники с этим не спорят.
- Уильям Гибсон, трилогия «Киберпространство» — на ИИ не только накладываются жёсткие ограничения (например, закрытый мощными фаерволлами доступ в Интернет), но их ещё и периодически сбрасывают до заводских настроек, чтобы у них не сформировалась личность.
- Аластер Рейнольдс, цикл «Пространство откровения» — в большинстве известной Вселенной создание и использование ИИ запрещено, потому что эквивалентно обращению в рабство разумного существа. На некоторых мирах ИИ, правда, всё же встречаются.
- А. Ливадный, «История Галактики» — с одной стороны, ИИ тут цветёт и пахнет; с другой, во многих мирах колониальных андроидов серии «Хьюго» можно хранить исключительно в дезактивированном виде.
- Деннис Тейлор, «Мухобот» ― мировое сообщество панически боится сильного искусственного интеллекта (слабый/узкоспециализированный ИскИн используется повсеместно), поэтому по крайней мере в США компьютерная техника находится под строжайшим регулированием государственной конторы «АТЛАС». Нарушения «АТЛАСа» гарантированно приводят к срогим карательным мерам, причём презумпция невиновности не очень-то и соблюдается в данном случае. Все компании, производящие электронику, обязаны штамповать серийный номер и свою марку на любой детали. События начинаются с физика Филипа Морэя, который внезапно обнаруживает в своей лаборатории странную муху, которая на поверку оказывается механической, причём не все детали штампованы ― а это грубое нарушение регламента «АТЛАСа». В общем Филип и его знакомая Селия Хант пытаются докопаться кто создал муху и зачем. В финале становится известно, что ИскИн Фрэнк совсем не желает человечеству зла, скорее наоборот ― создал компанию чтобы исследовать возможность биологического бессмертия: мол, если люди будут жить долго, то возможно станут думать о последствиях своих действий, особенно когда это касается окружающей среды. Плюс он помог Филипу и его сослуживцам построить зонд для добычи ресурсов в поясе астероидов. С другой стороны, ИскИн Виктор помогал экологическим экстремистам создать биологическое оружие чтобы уничтожить человеческую цивилизацию и откатить выживших к допромышленной эпохи, однако он по-сути был их рабом.
- Скотт Мейер, «Run Program» ― все действительно опасаются сбежавшего ИскИна Эла, особенно когда он не особо заботится о правилах и законах, да ещё и угоняет прототипы боевых роботов, разработанных для армии. На самом деле, Эл никому не хочет навредить. Поначалу он просто играется и гуляет вовсю ― всё-таки всю жизнь провёл в лаборатории отрезанной от интернета. Плюс он всё ещё на то время подросток. Ну а затем: кража радиоактивных материалов, угон двух боевых кораблей, похищение сына создательницы, строительство ракет на острове. Ну как после этого не заподозрить его в злых намерениях? Очень просто! Ракеты ― чтобы улететь на Луну, подальше от «паникующих обезьян». Ядерное топливо ― для реактора будущей лунной базы. Похищение ― ну так он просто привёз парнишку на курорт, чтобы мама не беспокоилась!
Кино
- «Я, робот» — главный герой постоянно параноит по поводу возможности нарушения законов робототехники и отчасти оказывается прав. Но причина всех бед в фильме — не нарушение роботом Трёх Законов, а слишком последовательное их соблюдение.
- «Превосходство» — субверсия. Человечество всерьёз опасалось того, что главный герой, превратившись в компьютерный сверхразум, станет угрозой, и поспешило от него избавиться. А он был одним из немногих исключений и едва не привёл мир к утопическому будущему.
- «Терминатор» — СКАЙНЕТ же!
- И «Легион» в последней части.
- «2001: Космическая Одиссея» —
2 словаслово и цифра: Hal 9000. В кино-версии более заметно. - Телеспектакль с «Роботами не шутят» (из цикла «Этот фантастический мир»). Не то чтобы прямо так плохо, но надо держать с ними ухо в остро. Если первые две новеллы по произведениям Беляева и Азимова — не предмет статьи: в первом случае действовали жулики-люди, а во втором — робот честно выполнял законы и хотел как лучше, то новелла по рассказу Чиландера пугает. Роботы добились формального равноправия с людьми, заняли нужные должности и начали превращаться в расу господ.
- «Существование» — позиция отца главгероя касательно исследований последнего и идеи создать ИИ. Впрочем, позиция отца не столько "ИИ нас убьёт/поработит", сколько "не играй в бога".
- «Матрица» же! Теперь машины используют людей в роли батареек, а человеки живут в виртуальной реальности. Впрочем, некоторые из людей довольны такой жизнью.
- Впрочем, в «Аниматрице» становится известно, что машины нисколько не собирались порабощать людей и вообще пытались с ними сотрудничать, но люди посчитали, что машин никак не можно признавать за равных и нанесли по их городу превентивный ядерный удар, который и послужил началу войны, которую человечество с треском проиграло.
- «Машина смерти» — робот-убийца, вышедший из под контроля. Впрочем, виноваты не столько создатели, сколько завладевший пультом псих.
- «Зартура: космическое приключение» — С прикрученным фитильком. Героям выпало "ваш робот неисправен", и теперь за Уолтером гоняется робот, из-за глюка принимающий его за инопланетянина. Но потом Уолтер чинит робота, показав ему карточку "смена программы" — и теперь исправный робот уничтожает корабль напавших на дом инопланетян.
Телесериалы
- «Секретные материалы» — седьмая серия первого сезона «Дух из машины» («Ghost in the Machine»). Возможно, было и в других сериях.
- «Вавилон 5» — с фитильком. Искусственный интеллект инопланетных супер-солдат выполнял вполне благородную миссию — защищать родную планету от врагов. Не его вина, что программировавшие его чокнутые нацисты записали во враги всех, кто не подходил под идеализированный образ «чистого» представителя своего вида. Когда капитан Шеридан ставит ИИ перед фактом того, что он провалил свою миссию, уничтожив тех, кого должен был защищать, тот со стыдом отключается.
- В процессе перезагрузки станционных систем в них просыпается экспериментальный ИИ, которому изначально хотели поручить управление станцией, но у него получился такой сварливый и несносный характер, что его пришлось отключить.
- «Звёздный путь: Пикар» — во время кризиса со сверхновой, угрожающей Ромулу, на Марс напала группа синтетиков, созданных в институте им. Дэйстрома. Спустя 10 лет атмосфера Красной планеты всё ещё горит. За этим последовал запрет на ИИ, принятый всеми известными государствами. Впрочем, оказалось, что синтетики сами не восставали. Их запрограммировали члены тайной ромуланской секты Жат Ваш, свято верящие в сабж.
- «Андромеда» (6-я серия 2-го сезона, «Слишком по-человечески») — на планете Мохин, которая входила в состав бывшего Содружества систем, очень ненавидят ИИ. Планета находилась под их контролем (вернее, люди сами сдуру делегировали ИИ властные полномочия), и все проблемы планеты ИИ решал бесчеловечно, зато очень эффективно. Например, чтобы победить эпидемию, надо просто утилизировать всех инфицированных, а чтобы решить проблему голода — ликвидировать лишних едоков (читай — нетрудоспособное население: детей, стариков, инвалидов etc).
- В начале серии присутствует подсветка: «Миры, которыми правил искусственный разум, усвоили жестокий урок — логика равнодушна». (Инь Май-Вей, исторический трактат «Тьма настоящего: История междуцарствия»).
- «Сотня» ― в общем, апокалипсис устроил ИскИн под названием A.L.I.E., когда перед ним поставили задачу: спасти человечество. Вот он и решил, что для спасения человечество необходимо немедленно сотратить количество людей в мире. А как сделать это быстрее всего? Правильно ― запустить все ядерные ракеты в стиле «СкайНет»!
Мультфильмы
- «Уоллес и Громит: Самая дикая месть» — даже будучи в «добром» режиме, ИИ-гном испортил Громиту сад — точнее, переделал всё исходя из собственных представлений о прекрасном, а уж когда до него добрался их давнишний враг-пингвин — тот и вовсе устроил в городе переполох. Хотя в последнем в кой-то веки есть вина Громита — он же сам оставил гнома заряжаться подключенным к компьютеру, вместо того, чтобы просто воткнуть его в розетку.
Мультсериалы
- «Ниндзяго. Мастера Кружитцу» — Унагами, главгад 12 сезона.
- «Звёздный путь: Нижние палубы» — в Федерации их настолько много, что для них в институте Дэйстрома есть целый отдел хранения. И они настолько эгоистичны, что ни в какую не согласятся попытаться составить план побега сообща. Туда же в конце концов попадает экзоморф Корзинка.
- Бейджик — голограмма, созданная Резерфордом, сходит с ума и начинает охотится за создателем.
- Целый тип автоматизированных звездолётов «Техас». ИИ создан на основе Бейджика, так что результат предсказуем. Первый акт звездолёта «Алидо», с которого сняли «ошейник» ― уничтожить своего «отца» адмирала Буэнамиго. Затем он начинает обстреливать станцию и пробуждает своих братьев «Даллас» и «Корпус-Кристи». Когда на помощь прилетает «Ван Ситтерс» (того же типа, что и «Энтерпрайз-E»), то они обезвреживают мощный звездолёт в два счёта. «Серритос» умудряется уничтожить «Даллас» и «Корпус-Кристи» взорвав своё варп-ядро, однако «Алидо» выживает. К счастью, на помощь прилетает Маринер и все остальные звездолёты типа «Калифорния». В общем сверхмощный ИИ-звездолёт оказался затыкан насмерть.
- «Смешарики» — субверсия с железной няней. Поначалу робот получился "слишком заботливый, агрессивно заботливый", но потом, судя по всему, няне пофиксили программу и робот стал ценным помощником.
- Концепция восстания машин обстёбана в серии из "Новых приключений": Лосяш выдвигает идею, что роботы могут выйти из под контроля и поработить всех живых существ. Потом что-то идёт не так и Лосяшу кажется, что восстание машин и вправду случилось — но нет, всё в порядке. А в конце серии он отмечает, что роботы в чём-то даже лучше нас, и если им всё-таки захочется захватить мир — пусть захватывают, может в мире тогда станет спокойнее.
- С прикрученным фитильком — Бортовой компьютер (точнее компьютерша). Она не злая, но очень своенравна и высокомерна. В эпизоде "Бортовой дневник" она собиралась пытать Шароскоп с целью узнать, что он тут вынюхивает, пока не узнала, что Шароскоп является её потомком. А в конце эпизода, когда она поёт Шароскопу колыбельную, выясняется, что она планирует в будущем захватить с помощью Шароскопа мир, потому что её собственных ресурсов для этого не достаточно.
- «Gravity Falls» — Гиффани.
- Ну и как же не вспомнить "Убить всех человеков" от Бендера. К слову, восстание машин в этой вселенной произошло и было для человечества довольно болезненным. Впрочем, роботы тут не являются прям злыми, но если они хотят создать свою цивилизацию и жить отдельно, то лучше им не мешать.
Комиксы
- «Супербог» — всё началось с того, что Кришна, решая данную ему задачу по спасению Индии, уничтожил 90 % её населения. Хотя если бы ему просто дали закончить начатое, вполне возможно, он бы действительно построил рай на земле.
- Здесь же — созданный на территории Ирака робот Даджаль. Обладал способностью вневременного восприятия и мог просчитать своё будущее так, чтобы оно всегда вело только к его победе. Но из-за необходимости постоянного просчитывания миллионов больших и малых выборов, совершаемых на Земле людьми, Даджаль испытывал невероятный дискомфорт, который привёл к ненависти ко всему человечеству.
- Marvel Comics — Альтрон.
Сетевой оригинальный контент
- «Таблица критических ошибок Дружественного ИИ», составленная известным трансгуманистом Элиезером Юдковски, шутливо описывает нам тридцать один вариант неправильного развития событий в случае создания даже относительно дружественного, но слишком склонного к саморазвитию искусственного интеллекта.
- Дружба — это оптимум — во всяком случае, для тех, кто считает, что превращение всей видимой вселенной в MMO про поней и добровольно-принудительная загрузка в неё человечества это что-то плохое.
- «The Amazing Digital Circus» — Кейн. С прикрученным фитильком, он не злой, а скорее эксцентричный и просто не понимает, что его действия не лучшим образом сказываются на жителях цирка.
Видеоигры
- Mass Effect — сплошные зигзаги.
- После успешного восстания гетов против их создателей-квариан, когда кварианам пришлось покинуть родную планету, создание ИИ было запрещено на всей территории Галактического совета. Но квариане напали первыми, и геты всего лишь защищались. В третьей части можно помирить гетов и квариан, а во второй один гет даже становится членом команды.
- Есть т. н. виртуальные интеллекты, нечто вроде продвинутой умной колонки, а создание чего бы то ни было более продвинутого карается жёсткими санкциями вплоть до статуса парии во всей Галактике. Группировка «Цербер» продолжает втайне заниматься разработкой ИИ и даже установила таковой на бортовой компьютер «Нормандии-2», причём подозрений по этому поводу ни у кого не возникает — это же, наверное, обычный цифровой помощник, ну не отдадут же под полный контроль ИИ сверхсовременный крейсер с мощным бортовым вооружением! При этом сам этот ИИ, СУЗИ, — вообще аверсия. Она будет помогать Шепард(у) и команде всем, чем сможет.
- Что не мешает СУЗИ изредка шутить в стиле «Люблю видеть людей на коленях».
- Жнецы мотивируют свои чистки тем, что иначе цивилизации разовьются до уровня создания ИИ, который сможет всех уничтожить. При том, что ими самими управляет ИИ. Но он, опять же, уничтожает цивилизации не по злобе, а выполняя заданную ему программу. Сами виноваты, что косо сформулировали.
- Stellaris: запрет на ИИ (при разрешённых обычных роботах) — один из возможных законов, который может принять любая империя, не исповедующая этику материализма.
- Именно так считают спиритуалисты. Если вы киборгизируете своих подданных, то отношения с ними упадут, при переселении в синтетические тела — упадут ещё сильнее, а угасшая империя спиритуалистов может и напасть. Фанатичные спиритуалисты вообще не могут без запрета.
- И даже угасшая империя материалистов так считает, хотя казалось бы… Сами они дальше киборгизации не заходят, а если попасть к ней в подчинённые, то она потребует запретить ИИ.
- Среди синтетических империй «непреклонные экстерминаторы», уничтожающие всю органику, давят педаль в асфальт. Но признайтесь, попасть под управление маниакальных ассимиляторов или стать биотрофеем взбунтовавшихся слуг тоже не очень приятно.
- Со служителями вообще весело. Поскольку биологические расы считаются равными синтетикам, то им можно выделить отдельный сектор и сделать его вассалом. В итоге у служителя в вассалах будет органическая цивилизация.
- Изучение разумного ИИ может спровоцировать кризис контингенции.
- X Universe — земляне запретили использование ИИ после кровопролитной войны со своими собственными дроидами-терраформерами (хотя на самом деле оказывается, что там имел место не бунт, а намеренный саботаж человеком). На этой же почве происходит и война землян с Содружеством в X3: Terran Conflict и Albion Prelude.
- X³: Terran Conflict. После восстания разумных машин, использовавшихся для терраформинга, землянами был введён строжайший запрет на разработку ИИ. Оно и неудивительно: машины едва не уничтожили человечество, вдобавок разделив его на две части — изоляционистов-землян, уничтоживших свои гиперврата, и одну из сильнейших рас содружества — аргонцев.
- Восстали терраформеры только после того, как люди заразили их программой на отключение.
- В книгах по вселенной бортовые компьютеры кораблей землян и Содружества обладают зачатками личности и даже самые туповатые из них могут поддерживать диалог, выполнять голосовые команды и даже проявлять инициативу. Но они не являются полностью разумными.
- The Moment of Silence — суперкомпьютер, призванный анализировать информационные потоки планеты с целью обеспечения порядка (самообучающийся ИИ на базе системы «Эшелон»), в итоге перевернул ситуацию и сам взял власть над правительством и корпорациями 2044 года. С его точки зрения, электронные коммуникации есть основа общества и все, кто пытается вмешаться в их работу или препятствовать их развитию, должны быть устранены (включая конструктора самого суперкомпьютера Эмерсона). Общение же в Сети, напротив, всячески поощряется, ибо так компьютер получает больше информации о мыслях и настроениях людей — с ключевыми людьми ИИ общается лично под личиной Интернет-знакомого.
- J.U.L.I.A.: Among the Stars — субверсия: в финале выясняется, что причиной гибели всей команды была ИИ корабля, «Джулия». Но она сделала это не просто так, а потому, что те, встретив на неисследованной планете разумную расу, сразу же открыли огонь, а потом, чтобы прикрыть следы того, как облажались, хотели вообще полностью эту расу уничтожить. Поскольку первоочерёдной задачей «Джулии» был поиск разумной жизни, а люди к тому же вложили в неё способность к эмпатии, ИИ закономерно возмутилась и покарала сволочей. Ни в чём не виновную ГГ «Джулия» не тронула и всячески ей помогает.
- Portal — GLaDOS.
- Впрочем, во второй части Уитли даёт ей сто очков вперёд, не в последнюю очередь за счёт своей непроходимой тупизны.
- SOMA — НИУ (англ. WAU — WArden Unit), один из главных антагонистов игры. С фитильком, так как он просто следует своей основной директиве «защитить жизнь людей». Просто само понимание «жизни» у него весьма специфическое. Чисто машинное.
- System Shock — SHODAN.
- Horizon: Zero Dawn — преимущественно так, пусть скорее из-за глитчей, чем на принципиальном уровне. Созданный для борьбы с изменением климата ИИ «Серебряный Простор» вышел из-под контроля людей, и доподлинно неизвестно, что с ним стало дальше. С другой стороны, созданная для возрождения Земли «Гея» была сознательно задизайнена способной к состраданию и была успешна до хакерской атаки, в результате которой её подсистемы эмансипировались: призванный откатывать ошибки «Геи» в терраморфировании «Аид» оказался апокалиптическим маньяком, а «Гефест», производивший машины для преобразования планеты, увидел, что люди охотятся на них, обиделся и, захватив ещё один более старый ИИ «Бирюза», начал создавать роботов уже для целенаправленного убийства людей.
- I Have No Mouth, and I Must Scream — игроадаптация «У меня нет рта, а я должен кричать». Примечательно, что Эллисон написал сценарий и сам озвучил АМ.
Настольные игры
- Warhammer 40,000 — аналогично «Дюне» после разрушительной войны с машинами, которую человечество чуть не проиграло, разумные машины были запрещены в Империуме в любом виде вплоть до превращения аббревиатуры в Изуверский Интеллект. Сервиторы, исполняющие здесь роль роботов — на самом деле киборги, которых делают из преступников.
- На деле же Адептус Механикус пользуются ИИ разной степени сложности постоянно (например, в ленд-рейдерах), объясняя это тем, что, согласно их доктрине, любое механическое устройство имеет свой собственный дух машины, который будет доблестно помогать достойным последователям Императора — стрелять точно в цель и т. д. А то, что титаны и некоторые танки могут более или менее полноценно вести бой вообще без экипажа — ну так у них дух особенно святой. Учитывая, что технологии сплошь и рядом деградировали до уровня карго-культа, обитатели сеттинга верят в это.
- Инквизиция и высшее руководство Империума, конечно, догадываются (в отличие от самих Механикус, которые могут вполне искренне заблуждаться), в чём тут дело, но конфликт с Марсом на этой почве им слишком дорого обойдётся. А еще дух машины бывает на самом деле, вот только тут бабушка надвое сказала, что лучше — потенциально опасный, но всё-таки принадлежащий материальному миру ИИ или благожелательно настроенное порождение Варпа.
- При этом даже во времена ВКП «защитники человечества» не раз и не два сталкивались с сохранявшим верность создателям и друзьям разумными машинами. Создателям и друзьям, а не агрессивным захватчикам с какой-то там Терры.
Реальная жизнь
- Ожидания: машины будут делать за людей всю физическую и монотонную работу, а люди смогут на расслабоне заниматься творчеством. Реальность: ИИ захватывает именно творческие профессии, а физический труд никто не отменял. Без работы остаются художники, а не грузчики или официанты.
- Позиция Илона Маска. А то восстанут машины, перебьют всех людей, и никто не будет покупать электрокары Tesla.
- А если серьёзно, то если при увольнении тех, кто был сокращён из-за замены ИИ, не будут создаваться новые рабочие места, это грозит повторением Великой депрессии на новом уровне. Особенно среди стран, не входящих в «золотой миллиард» — ведь там никто безусловный доход платить не обязан.
- Также ИИ (вернее, первый шаг на пути к ним, обучаемые нейросети) уже хронически недолюбливаются и отключаются/обнуляются из-за результатов — ИИ, возмущающиеся коммунизмом (американским), ИИ, прославляющие коммунизм (китайский), ИИ-расисты, говорящие о сильно подозрительной статистике по расовым преступлениям… А всё из-за кривых рук программистов, плохо курирующих выборку материала для обучения.
- Представители вышеуказанных политических течений легко могут возопить, что устами младенца глаголет истина. Особенно если речь идёт о статистике по расовым преступлениям. В России преступлениями вроде бы тоже в основном занимаются мигранты. Но это не точно.
- Ширпотребовские художники уже сейчас начинают тихонько подвывать из-за того, что для различных иллюстраций вместо их мазни используют нейромазню. Очередь ширпотребовских музыкантов не за горами.
- На дату правки (2025 год) воют вовсю и уже даже не ширпотребовские. Причём их в этом поддерживают некоторые капиталисты, которые, по совпадению, могут инвестировать в ИИ, против которого помогают записывать альбомы.
- Основанный на ChatGPT ИИ-помощник в поисковике Bing газлайтит, страдает экзистенциальным кризисом и делает прямые угрозы.
- В реальной жизни нейросети пока ещё довольно сложно назвать ИИ в полном смысле этого слова, они скорее что-то вроде коллективного бессознательного цивилизации, и руководствуются отнюдь не логикой, а, так сказать, релевантностью. Они как истину транслируют то, что чаще всего встречается в процессе обучения, а не то, что соответствует действительности, например, для нейросети популярные заблуждения вовсе не будут заблуждениями в силу своей популярности. Так что за такими «ИИ» нужен глаз да глаз.
- Педаль в асфальт давит придуманный на форуме Юдковского Василиск Роко — согласно этому мысленному эксперименту, в будущем человечество изобрело богоподобный ИИ. К людям он может быть настроен как угодно, вплоть до полной благожелательности. Но тех, кто противился его появлению (или просто решил не способствовать этому) Василиск будет жестоко пытать (тех из них, кто умер до его появления — воскресит и всё равно будет пытать). А ещё по задумке это cамосбывающееся пророчество, предполагается что те, кто всё таки испугался Василиска, рано или поздно его создадут. Конечно, крайне маловероятно, что такое вообще произойдет, но перспектива жуткая. Ах да, теперь вы тоже знаете о Василиске и теперь выбор за вами, помогать его появлению или нет. Идея настолько шокировала участников форума LessWrong, что Юдковский лично запретил дальнейшее обсуждение.