Искусственный разум и новая эра человечества - Эрик Шмидт

По мере развития и распространения трансформационных возможностей ИИ ведущие страны будут стремиться к достижению и сохранению превосходства^[58]. Следует ожидать, что противники будут стремиться к тому же, не ограничиваясь полумерами. Важно понимать, что распространение ИИ, как во благо, так и во вред, обязательно произойдет: любые новые функции ИИ будут распространяться быстро и неподконтрольно правительствам.

Поскольку ИИ имеет двойное (гражданское и военное) назначение и может легко копироваться, распространение этих технологий будет крайне сложно контролировать. Попытки контроля будут подавляться наступательным оружием, кроме того, средства контроля будут естественным образом устаревать по мере технологического прогресса. Кроме того, новые пользователи ИИ будут адаптировать базовые алгоритмы к совершенно новым целям. Коммерческий ИИ можно легко перепрофилировать с гражданского использования на военное – например, для целей безопасности или информационной войны. Поскольку разработчиками ИИ по большей части будут негосударственные субъекты, обладающие специальными навыками и знаниями, – университеты, исследовательские лаборатории, операторы сетевых платформ, о которых мы говорили в главе 4, правительства не всегда смогут определять стратегически важные аспекты развития передовых ИИ в соответствии с их концепциями национальных интересов.

Определить «кибербаланс сил» или осуществить «сдерживание ИИ» сейчас очень трудно, если вообще возможно, – хотя бы потому, что эти понятия пока не определены, а планирование будет носить абстрактный характер. Это значит, что стороны будут стремиться сдержать противника угрозой оружия, последствия применения которого не очень хорошо известны. В таком случае менее технологически развитые страны, столкнувшись с державой, обладающей оружием с поддержкой ИИ, о возможностях которого, по сути, ничего не известно, могут не выдержать психологического воздействия такой ситуации и либо постараются вооружиться аналогичными средствами, либо применят непредусмотренные виды оружия и тактики.

Самый революционный и непредсказуемый эффект может вызвать взаимодействие ИИ и человеческого интеллекта. Раньше военные, планируя боевые действия, всегда могли в той или иной степени понять доктрину, тактику и стратегию своего противника. Основываясь на общих для всех людей возможностях и подходах, военные разрабатывали стратегию и тактику противодействия, а также символический язык демонстративных военных действий, таких как перехват самолета, приближающегося к государственной границе, или ввод кораблей в спорные воды. Но если военные будут использовать для планирования или ведения военных действий ИИ – даже как вспомогательное средство во время патрулирования или военного конфликта, – знакомые концепции и символы потеряют смысл, поскольку речь идет о взаимодействии с интеллектом, методы и тактика которого неизвестны. В тех случаях, когда военные будут передавать ИИ определенные функции, очень важно будет уметь прогнозировать и описывать ожидаемые последствия.

Переход к ИИ и системам вооружений с поддержкой ИИ означает как минимум частичную зависимость от интеллекта с огромным аналитическим потенциалом и принципиально иной парадигмой опыта, а в крайних случаях – передачу ему полномочий. В самом мягком случае ИИ будет способствовать обучению военнослужащих, помогая им оттачивать навыки и обнаруживать закономерности, которых люди ранее не замечали. Но даже такой способ использования ИИ может быть рискованным. Программное обеспечение для распознавания лиц на базе ИИ уже приводило к ошибочным арестам – подобные сбои военного ИИ могут привести к тому, что обычные действия сил противника будут идентифицированы как признаки готовящегося вторжения. Это значит, что операторы-люди обязательно должны отслеживать и контролировать действия ИИ, которые могут привести к непоправимым последствиям. Даже если это не позволит избежать всех ошибок, то, по крайней мере, у человека останутся моральная ответственность и подотчетность – те самые ограничения, которые предотвращают беспричинный ущерб и позволяют наказывать злоумышленников.

Однако самый глубокий вызов может быть философским. Чем больше ИИ будет задействован в концептуальных и аналитических аспектах стратегии, недоступных человеческому разуму, тем менее понятными для человека будут его процессы, влияние и результаты деятельности. Если политики придут к выводу, что помощь ИИ необходима для выяснения возможностей и намерений противника (который может иметь собственный ИИ) и своевременного реагирования на них, может оказаться неизбежным делегирование машинам критически важных решений и функций. Скорее всего, каждая страна самостоятельно нащупает свой предел подобного делегирования и соответствующих рисков и последствий. Ведущие державы не должны ждать войны, чтобы начать диалог о последствиях – стратегических, доктринальных и моральных – всех этих перемен.