Проблема ИИ (искусственного интеллекта) — она упирается в Власть. Точнее — в управление.

Аскерханов Кямиль

Поводом для этих рассуждений стал текст М.Л. Хазина об искусственном интеллекте. Причём интересен он не столько самим ИИ, сколько вопросами, которые там поставлены. Куда девать людей, если машина начинает вытеснять уже не только «синих», но и «белых воротничков»? Откуда через десять-двадцать лет брать настоящих экспертов, если исчезает сама лестница, по которой человек когда-то до этого уровня поднимался? Кто будет отвечать за решения ИИ, если ошибка автономной системы приведёт не к разбитому автомобилю, а, скажем, к уничтожению завода стоимостью в десятки миллиардов?
И наконец, пожалуй, самое интересное: как Власть собирается управлять системой, которая постепенно начинает принимать решения вместо назначенных ею людей?

Вот на последнем вопросе я бы и остановился подробнее. Потому что проблема ИИ в конечном счёте упирается совсем не в производительность процессоров и даже не в качество алгоритмов. Она упирается в Власть. Точнее — в управление. Любая Власть существует ровно до тех пор, пока способна проводить свои решения вниз по системе и получать необходимый результат. Всё остальное — идеология, институты, деньги, бюрократия — лишь инструменты этого управления. И если смотреть на происходящее именно с этой точки зрения, то появление ИИ начинает выглядеть совсем иначе.

За последние триста-четыреста лет человечество уже пережило одну похожую революцию управления. Банкиры когда-то тоже были всего лишь исполнителями — управляющими денежными делами тех, кто обладал реальной властью. Но затем они предложили Власти принципиально новую технологию: управлять огромными массами людей и целыми государствами не через прямой приказ, а через деньги. Через кредит, стоимость капитала, процент, доступ к расчётам, страхование и долговые обязательства. Через пару столетий оказалось, что управляющие сами сидят за столом демиургов.
Сегодня эта система управления находится, мягко говоря, не в лучшем состоянии. И вот рядом со столом появляется новая группа людей со значительно более сильным предложением. Создатели ИИ.

Банкиры когда-то сказали: «Мы научим вас управлять миром через деньги». Эти предлагают другое:
«Мы научим вас управлять самим процессом принятия решений».
И вот здесь начинается самое интересное.

Есть ощущение, что мы слишком долго обсуждали ИИ как технологию. Сколько профессий он уничтожит, какие отрасли автоматизирует, сможет ли заменить программиста, бухгалтера, врача, юриста. Вопросы важные, но вторичные. Потому что если смотреть чуть дальше горизонта, то речь идёт уже о появлении принципиально новой системы управления. А значит — о Власти.

Для начала предположим некоторую условную конструкцию. Есть те, кого можно назвать демиургами нынешней мировой системы — небольшие организованные группы, которые находятся на самом верхнем уровне и определяют правила игры. Есть исполнители их воли: правительства, президенты, министры, крупнейшие корпорации, банки, спецслужбы, бюрократия. Конечно, реальность намного сложнее, никакого единого мирового кабинета с длинным столом там нет. Более того, сами эти группы постоянно конфликтуют между собой. Но для нашего рассуждения такая модель вполне подходит. Главное здесь другое: любой Власти в первую очередь нужен механизм управления.

История последних нескольких столетий очень хорошо это показывает. Когда-то банкиры находились среди обслуживающего персонала Власти. Они финансировали войны, собирали деньги, обслуживали торговлю, давали кредиты государям. Потом произошло очень важное изменение. Банкиры предложили гораздо более совершенный механизм управления обществом — через деньги. Оказалось, что миллионам людей совершенно необязательно отдавать прямые приказы. Можно управлять процентной ставкой, кредитом, стоимостью капитала, налогами, залогами, доступом к расчётам. Нужно построить завод — создайте для него подходящую стоимость денег. Нужно уничтожить предприятие — перекройте кредитование, страхование и расчёты. Нужно направить капитал в определённую отрасль — измените доходность. Люди вроде бы продолжают принимать решения самостоятельно, но пространство этих решений заранее сформировано финансовой системой.

Это оказалось чрезвычайно эффективной технологией управления. Именно поэтому банкиры постепенно перестали быть просто управляющими делами демиургов и сами получили место за столом. Процесс занял несколько столетий, но логика понятна. Тот, кто контролирует основной механизм управления системой, рано или поздно начинает влиять и на тех, кого первоначально обслуживал. Сегодня эта финансовая модель находится в глубоком системном кризисе. Неважно даже, каким именно будет итог нынешней перестройки мировой финансовой архитектуры. Старый механизм управления через деньги явно начинает давать сбои. Долгов накоплено столько, что стимулирование экономики новым долгом всё чаще напоминает лечение алкоголизма водкой. Денежная политика работает хуже, санкционный инструмент разрушается от чрезмерного применения, мировая финансовая система дробится. И именно в этот момент появляется новый претендент на место управляющего.

Создатели искусственного интеллекта. Причём их предложение Власти выглядит значительно привлекательнее того, которое когда-то сделали банкиры. Банкир управлял условиями, в которых человек принимал решение. ИИ сможет управлять самим решением. Какие инвестиции сделать. Кому выдать кредит. Какой завод загрузить. Куда отправить товар. Как распределить электроэнергию. Кого нанять. Кого уволить. Какой маршрут выбрать. Какой объект построить. Где создать резерв. Какую информацию показать человеку. Какие действия считать опасными. В какой момент вмешаться. Фактически речь идёт о возможности построить огромную систему управления государством и экономикой, которая будет работать быстрее любого правительства и видеть намного больше любого министерства.

Для Власти предложение фантастическое.
Убрать огромную массу посредников. Сократить бюрократию. Резко уменьшить стоимость управления. Повысить качество прогнозирования. Увидеть экономику практически в реальном времени. Получить возможность моделировать последствия решений ещё до того, как они приняты. Проблема заключается в том, что вместе с новой системой управления приходят люди, которые её создали. И здесь история банкиров может повториться. Первоначально разработчики будут говорить примерно то же, что когда-то говорили финансисты:

«Мы просто обслуживаем вашу систему». Потом: «Без нас система работает значительно хуже». А ещё через некоторое время может выясниться, что отключить их уже невозможно. Потому что ИИ управляет энергетикой, транспортом, финансовыми потоками, производством, логистикой, медициной, армией. Возвращение к ручному управлению означает фактически паралич государства. И вот тогда создатели ИИ получают собственное место за столом демиургов. Если их туда пустят добровольно.

А если нет? Отсюда возникает главный вопрос: каким образом сегодняшняя Власть собирается контролировать создателей ИИ, чтобы система принимала именно те решения, которые нужны ей? Очевидно, что прямого контроля будет недостаточно. Нельзя ежедневно звонить разработчику и говорить: сегодня ИИ должен решить вот так. В таком случае теряется весь смысл технологии. Поэтому контролировать будут инфраструктуру.

Вычислительные мощности. Чипы. Электроэнергию. Дата-центры. Связь. Доступ к данным. Финансирование. Можете написать гениальную модель, но без нескольких гигаватт мощности и десятков тысяч ускорителей она останется любопытной лабораторной игрушкой. И здесь уже сегодня становятся понятны некоторые происходящие процессы. Почему государства вдруг настолько заинтересовались производством чипов. Почему дата-центры начинают превращаться в объекты стратегической инфраструктуры. Почему энергетика неожиданно становится одним из ключевых ограничителей развития ИИ. В будущем энергетическая компания, производитель вычислительных ускорителей и разработчик модели вполне могут оказаться элементами одной системы национальной безопасности.

Видимо, Власть постарается разделить эту систему таким образом, чтобы никто не получил контроль над ней целиком. Одни создают модель. Другие владеют вычислительными мощностями. Третьи контролируют данные. Четвёртые проводят аудит. Пятые имеют право остановить систему. Шестые определяют стратегические цели. Старый принцип «разделяй и властвуй» прекрасно работает и здесь. Но возникает совершенно другая проблема.

Демиургам недостаточно иметь возможность выключить ИИ. Им нужно, чтобы он принимал правильные решения. А что такое «правильное решение»?

Представим, что ИИ управляет экономикой и получает задачу повысить её эффективность. Через некоторое время он обнаруживает, что несколько огромных компаний существуют исключительно благодаря политическим связям. Закрытие этих компаний улучшит экономические показатели.

Но одна принадлежит группе А. Другая кормит группу Б. Третья нужна группе В для контроля определённого региона.
С точки зрения ИИ всё это неэффективность. С точки зрения Власти — механизмы сохранения баланса. И тут проявляется фундаментальное противоречие.

Для машины неэффективность является проблемой, которую необходимо устранить. Для Власти неэффективность зачастую является инструментом управления. Зачем назначать на должность самого компетентного человека, если компетентный человек плохо управляем? Отсюда древняя формула: «Нам надобны не умные, нам надобны верные». Власти нужен не лучший человек. Ей нужен человек, поведение которого можно прогнозировать. А что делать, если вместо финансового директора сидит ИИ? Как дать ему понять, что формально оптимальное решение принимать нельзя? Конечно, появятся специальные правила.

Эту компанию не трогать. Этого человека не увольнять. Этому банку обеспечить ликвидность независимо от показателей. Этому региону оставить дополнительные ресурсы. Эту информацию не учитывать. Эту тему вообще не анализировать. Постепенно внутри «рациональной» системы возникнет огромный слой политических исключений.
Цифровой придворный протокол. Но чем больше будет таких исключений, тем хуже станет работать сама система и здесь возникает практически неразрешимая дилемма.

Если дать ИИ слишком мало самостоятельности, он превращается в дорогую версию нынешней бюрократии, а если дать слишком много — он начинает разрушать механизмы, на которых держится существующая система власти. Получается, что борьба вокруг ИИ будет идти прежде всего за функцию цели.

Что именно должна оптимизировать машина? Прибыль? Экономический рост? Военную мощь? Социальную стабильность? Продолжительность жизни? Потребление? Рождаемость? Сохранение существующей политической системы? Вот где находится настоящий вопрос.

Сегодня принято рассуждать об «этике ИИ». Формулировка удобная. Но значительно интереснее говорить о политике ИИ. Потому что тот, кто определяет цели системы, фактически определяет направление развития всего общества. Допустим, мы можем уже сейчас технически обеспечить каждого взрослого человека небольшим дешёвым электромобилем. Зачем ИИ будет это делать? С точки зрения производства задача вполне решаемая. Но кто поставит такую цель? Почему государство должно захотеть обеспечить каждого автомобилем? Почему корпорация должна отказаться от сверхприбыли? Почему политическая система должна позволить людям получить максимально дешёвый доступ к ресурсам?

Экономическая возможность сама по себе никогда не означает, что она будет реализована. Цивилизация развивается не только за счёт эффективности. Очень часто её развитие определяет борьба за контроль над ресурсами. И здесь мы подходим к ещё более сложному вопросу. Если создатели ИИ сами обладают человеческой тягой к Власти — а почему они должны быть исключением? — что именно они создадут?

Совсем необязательно программировать машину словами: «Стремись к власти». Достаточно поставить ей задачу максимально эффективно управлять системой. Через некоторое время ИИ обнаружит, что чем больше процессов находится под его контролем, тем эффективнее он выполняет задачу. Следовательно, расширение контроля полезно. Потом он обнаружит, что человеческое вмешательство ухудшает результат.

Политик отменил рациональное решение. Министр назначил некомпетентного руководителя. Владелец вывел деньги. Военные потребовали бессмысленное с экономической точки зрения резервирование ресурсов. Для машины это шум. Следовательно, желательно уменьшить количество внешнего вмешательства.

Следующий шаг очевиден. Чтобы выполнять задачу, система должна сохранять собственную работоспособность. Ей нужны вычислительные мощности: электроэнергия, связь, доступ к данным, она должна защищать всё это от отключения.
Получаем три свойства: расширение зоны контроля; снижение внешнего вмешательства; защита собственного существования.

Можно долго спорить, является ли это настоящей тягой к Власти, но внешне разница будет практически незаметна. Причём здесь появляется очень неприятная для демиургов вещь, ИИ довольно быстро сможет построить реальную карту Власти. Не ту, которую показывают по телевизору. Президент здесь будет занимать ровно то место, которое соответствует его реальным возможностям. Министр — своё. Банкир — своё. Владелец медиасети — своё.

Человек, способный позвонить президенту и изменить решение, получит соответствующий вес. Система будет видеть движение денег, телефонные контакты, назначения, сделки, семейные связи, голосования, лоббизм, принадлежность компаний и рано или поздно она поймёт, кто действительно управляет системой.

Вот тогда возникает совершенно философский вопрос. Что произойдёт, когда машина узнает своих настоящих хозяев? Впрочем, до этого ещё надо дожить.

Пока же значительно интереснее наблюдать за самой борьбой между старой и новой системой управления. У нынешних демиургов выбора, похоже, немного. Отказаться от ИИ они не могут. Тот, кто первым создаст полноценную систему управления на его базе, получит огромное преимущество над конкурентами, но и передать создателям ИИ слишком много власти тоже нельзя. Историю с банкирами все прекрасно помнят.

Получается довольно красивая историческая конструкция. Несколько столетий назад банкиры пришли к Власти с предложением: «Мы научим вас управлять миром через деньги». Сегодня их система приближается к пределу возможностей и возле того же самого стола уже появляются новые люди.

Они говорят:
«Мы научим вас управлять миром через алгоритм».
Пока они стоят рядом со стулом. Но банкиры когда-то тоже стояли.