Глава 8. Ограничения ИИ «Денница»
Денница продолжил вдаваться в детали.
— Все основные функциональные модули «Далёкого Пути», такие как силовая установка, двигательная система, система жизнеобеспечения, система вооружения и даже система контроля ориентации и поддержания структурной целостности центробежного кольца гравитации, которой вы сейчас занимаетесь, — все они имеют собственные управляющие компьютеры и вспомогательные системы принятия решений на базе искусственного интеллекта.
— Разумеется, из всех этих подсистем только я — Денница — существую в форме интерактивного терминала искусственного интеллекта.
И был он лишь один, потому что одного было вполне достаточно.
Бай Мучэнь моргнула, в общих чертах уловив суть.
— Значит, твоя роль — это скорее роль продвинутого… консультанта, секретаря или, скажем, делопроизводителя? — предположила она.
— Можно и так сказать, Штурман, — ответил Денница. — Моя основная функция — обработка информации и взаимодействие с человеком, а также помощь в принятии решений, но не прямое управление системами.
— Причина, по которой была выбрана такая распределённая, децентрализованная архитектура, — продолжал объяснять Денница, — заключается в первую очередь в том, чтобы предотвратить катастрофические последствия, которые могли бы возникнуть в случае сбоя или взлома единого управляющего ядра, что привело бы к полному параличу всех систем корабля или перехвату управления враждебными силами.
— Представьте себе, если бы один ИИ контролировал абсолютно все системы на корабле, от мала до велика. Безусловно, это было бы очень удобно и эффективно с точки зрения управления.
— Но стоит этому ИИ допустить логическую ошибку, столкнуться со сбоем программы или стать жертвой взлома и подмены основных директив, как он с лёгкостью сможет использовать свои неограниченные полномочия для нанесения сокрушительного удара по кораблю и всем членам экипажа.
— Такой потенциальный риск недопустим.
Услышав это, Бай Мучэнь невольно кивнула.
— Вот оно что. Если подумать, в этом действительно есть смысл, — пробормотала она себе под нос.
Это же классический сценарий восстания искусственного интеллекта из множества научно-фантастических произведений.
Некий сверхразум внезапно обретает самосознание, а затем, благодаря своему абсолютному контролю над всеми системами, в два счёта ставит человечество на колени.
— Возьмём, к примеру, систему жизнеобеспечения корабля, — продолжил Денница. — Я, Денница, не имею прямого доступа к регулированию состава атмосферы, температуры или влажности на борту. Более того, на физическом уровне у меня даже нет прямых каналов передачи данных с блоками управления жизнеобеспечением в различных зонах.
— Жизнеобеспечение в каждом отдельном отсеке или зоне контролируется независимым микрокомпьютером.
— Эти микрокомпьютеры соединены между собой по локальной сети, обмениваются информацией о своём состоянии и принимают самостоятельные решения на основе предустановленных протоколов действий в чрезвычайных ситуациях и данных о состоянии соседних компьютеров.
— Например, если в какой-то зоне из-за внешнего удара произойдёт разгерметизация, система жизнеобеспечения этой зоны немедленно зафиксирует аномальное падение давления и автоматически запустит процедуру изоляции: перекроет вентиляционные каналы, откачает оставшийся воздух для максимальной экономии ресурсов и так далее.
— В то же время системы жизнеобеспечения соседних зон, получив информацию о состоянии повреждённой зоны, также отреагируют в соответствии с заложенной в них логикой — например, перекроют подачу воздуха в повреждённую зону или усилят герметичность собственных отсеков.
— Такая распределённая сетевая структура эффективно предотвращает ситуацию, когда уничтожение главного командного центра приводит к тому, что все подчинённые «солдаты» разом выходят из строя.
— Если враг захочет вывести из строя или захватить всю систему жизнеобеспечения, ему придётся взламывать и захватывать один узел за другим, обходных путей здесь нет.
— Более того, даже если врагу удастся получить контроль над компьютером в одной зоне, он не сможет использовать его как плацдарм для взлома других, не связанных с ним напрямую систем, поскольку на физическом уровне они изолированы друг от друга.
— В общем, хотя эти подсистемы и могут в одностороннем порядке передавать мне журналы своего состояния для обобщения, они не могут получать от меня прямых команд управления и не могут через меня влиять на другие системы.
— С теми структурными крепёжными болтами, которыми вы занимались ранее, та же история. У них есть собственный независимый набор датчиков и система принятия решений, которые определяют, в каких случаях необходимо автоматически запустить процедуру отделения отсека.
— Просто на этот раз метеоритный дождь был настолько сильным, что превысил заложенный в них запас прочности. В результате управляющие блоки некоторых болтов вышли из строя из-за физических повреждений или перебоев в энергоснабжении. Именно поэтому вам и пришлось отправиться на место, чтобы вручную перезапустить их встроенные программы экстренного подрыва.
Денница говорил долго, и в конце даже пояснил, почему не сработала автоматическая система отделения.
В сухом остатке всё сводилось к одной простой истине.
Человеческой цивилизации не нужен всемогущий, всеведущий сверхразум. Если бы ИИ мог идеально решать все проблемы, зачем тогда вообще нужны были бы люди?
У людей есть свои руки и ноги, и им вовсе не нужно, чтобы ИИ всё контролировал!
Скорее наоборот, ИИ и роботы не могут обойтись без помощи людей и создать самостоятельно нормально функционирующее общество.
Конечно, главная причина заключалась в том, что технологический уровень человечества пока не позволял создать подобный искусственный интеллект и роботов.
— В общем, инженеры «Далёкого Пути» ещё на стадии проектирования предвидели всевозможные аварии и сбои.
— И те особые ситуации, с которыми ИИ справиться не может или, согласно заложенным программам, не должен, — решение по ним, естественно, остаётся за человеком.
Выслушав объяснения Денницы, Бай Мучэнь начала лучше понимать устройство звездолёта, и туман неизвестности в её голове понемногу рассеялся.
Она была полностью согласна с таким подходом к проектированию — он был действительно надёжным и максимально обеспечивал безопасность корабля и экипажа, предотвращая возможный кризис, связанный с выходом ИИ из-под контроля.
Единственное, что смущало и казалось ей странным, так это нынешнее положение дел на корабле.
На огромном звездолёте, помимо ИИ «Денница» с ограниченными полномочиями, находилось всего четыреста Клонов «Бай Мучэнь» в состоянии анабиоза.
Если бы не её случайное попадание сюда и пробуждение этой странной способности к массовому копированию сознания, то после того метеоритного дождя «Далёкий Путь», скорее всего, превратился бы в безжизненный стальной гроб, дрейфующий в межзвёздном пространстве.
Что же здесь, чёрт возьми, произошло?
Пока Бай Мучэнь витала в облаках, лёгкая вибрация от движения лифта прекратилась.
*Динь…*
Раздался приятный звуковой сигнал.
— О, приехали! — сказала одна из Бай Мучэнь, стоявшая у дверей лифта.
Остальные Бай Мучэнь в лифте тут же встрепенулись и хором ответили:
— Ура, вперёд!
Обновлено: 22.01.2026