Роботы пашут, сеют и убивают. Нужны новые правила войны

Её отец был одним из создателей самого громкого в СССР достижения в области искусственного интеллекта — программы КАИССА, которая в 1974 году стала первым чемпионом мира среди шахматных программ. Дочь приняла эстафету на сломе времён, когда рухнул Советский Союз.

Ольга Ускова, одна из самых известных российских предпринимателей в области ИИ, рассказала «АиФ», как роботы могут покончить с сегрегацией между людьми, зачем нужен учёт разработчиков ИИ и почему человечество должно создать новый моральный кодекс.

Всё обратно собрать

Марина Набатникова, aif.ru: Об информационных технологиях сейчас говорится так много и так противоречиво, что непонятно: то ли мы догоняем и догоняем кого-то, то ли уже нас пора догонять. Как человек, погружённый в эту сферу, объясните, где мы сейчас находимся?

Ольга Ускова: Технологии — слишком общее понятие. Где-то мы опережаем, где-то мы догоняем. Даже искусственный интеллект — это очень широкая поляна. Например, мы лидируем в области AI-critical, то есть искусственного интеллекта, связанного с технологиями, где в качестве рисковой зоны находится жизнь человека. Это такие критические технологии, как транспорт, оружие и так далее.

В генеративных сетях мы отстали, но нельзя сказать, что сильно. У нас недостаточная языковая база для обучения, и наши генеративные движки не имеют возможности обучаться с такой скоростью, как англоязычные или китайские.

В целом мы точно не находимся в сильном провале. По-другому и быть не может, ведь у нас образование на очень высоком уровне — благодаря советскому периоду, когда убрали неграмотность, создали социальные лифты. Всё это, слава богу, не до конца было разрушено, и ментально нация тоже не разрушена, и я надеюсь, что сейчас начнут всё восстанавливать.

Мы сохранили базовую научную школу и по математике, и по физике, и по химии — по ключевым предметам для технологического развития, поэтому наши дети и показывают такие блестящие результаты на международных олимпиадах.

В чём мы остро сейчас нуждаемся — это в переходе к нормальному промышленному планированию и системной поддержке, в том числе новыми кадрами. Когда нам объясняли, что рынок будет рулить образованием наших детей, то это была огромная ошибка — намеренная, скорее всего. И вот теперь мы должны всё обратно в образовании собрать.

В мире сейчас идёт настоящая борьба за умы — отрадно, что мы это осознали и активно этим тоже занимаемся. Мне кажется, что вопрос подготовки следующего поколения интеллектуальной элиты — это важнейший вопрос, если мы хотим двигаться вперёд.

— А понимаем ли мы, куда это — вперёд? Обязательно в информтехнологии?

— Тут одно направление, вариантов нет никаких. Это вопрос конкурентности — конкурентности нашей страны относительно другой страны, конкурентности человека относительно другого человека, конкурентности человека относительно робота. На текущий момент нет вопроса, куда мы идём, нас гонят со свистом. Направление движения определено, и определено коллективным разумом или богом — я не знаю, но это не индивидуальное определение.

Усиление человека

— Ваши роботы — это же замещение человека, и они его вытесняют, потому что человек проиграл в конкуренции?

— Это не замещение, это усиление человека. У человека есть задача: например, собрать урожай. У одного, допустим, имеется коса, и он с её помощью собирает урожай в определённом количестве за определённое время. У другого есть комбайн с двигателем внутреннего сгорания — он собирает тоже в определённом объёме, очевидно большем, чем человек с косой, и за определённое время — очевидно, меньшее. У третьего есть группа роботов, и при их помощи он собирает ещё больше урожая и ещё быстрее. Это вопрос усиления человека для решения поставленной им функциональной задачи.

Наши сельскохозяйственные роботы решают вопросы, связанные с продовольственной безопасностью, с освоением заброшенных земель, с рекультивацией существующих.

— Хорошо, а те трактористы, комбайнеры, которые раньше работали в полях, куда они пойдут?

— Ну, их вообще-то нет... Городское население в мире с 2009 года превышает сельское и растёт по экспоненте. Это значит, что тех, кто хочет есть, больше, чем тех, кто производит еду. Дефицит кадров в отрасли, как определяет наш Минсельхоз, составляет 240 тысяч человек.

Механизаторы, которые ещё есть, пойдут, к примеру, в диспетчеры и будут на этом месте вносить свой вклад, чтобы кормить страну, да и мир.

Мы владеем одной шестой частью суши, и на нас лежит достаточно большая ответственность относительно остальной планеты. Поэтому, собственно, остальная планета и лезет на нашу территорию, считая несправедливым, что небольшому по численности народу достались такие богатства. Если мы начнём хотя бы снабжать их продовольствием за счёт того, что освоим свои огромные владения, то я думаю, это сгладит международные противоречия.

— Мы их уже снабжали нефтью и газом, но оно не сгладило.

— Почему? Мы продержались на этом достаточно долго. Если брать частоту войн в историческом разрезе, то мы за счёт этого получили один из самых длинных периодов без глобальной войны. И молодцы, что смогли столько протянуть, я считаю.

Человек и кремниевые существа

— А в целом, когда роботы заменяют человека, какие задачи тогда остаются человеку? Он же всё равно должен участвовать в создании общественного блага.

— Он устанавливает техническое задание роботу. Робот, повторюсь, не заменяет человека, он инструмент для оптимального решения задачи. Он нужен для того, чтобы снять с человека чёрный неблагодарный труд.

Долгое время шла сегрегация: более сильные люди заставляли более слабых людей на них работать. Как бы это ни называлось — слабый родственник, или раб, или крепостной крестьянин, или потогонная система, где рабочие на конвейере, — в любом случае это была сегрегация внутри человеческого рода. Одни достойны красивой жизни, а другие менее достойны, поэтому должны были выгребать г...

Сейчас идёт попытка заменить этих менее достойных на роботов. Может быть, когда-то роботы скажут нам, что мы их эксплуатируем. Вполне, думаю, возможен поиск справедливости уже на уровне «человек и кремниевые существа», но это потом, через несколько столетий.

— Такая расстановка ролей и ваш прогноз вновь возвращает к вопросу образования.

— Ну, конечно. Образование должно стать ещё более глубоким, потому что мы входим на новый виток конкуренции. Мы уже соревнуемся не только друг с другом, но и с искусственным интеллектом.

Дарк в ИИ

— Какие угрозы в искусственном интеллекте вы видите?

— Создавая технологии такого уровня, нужно помнить: мир всегда дуален. Когда запустили интернет, тут же возник даркнет. Понятно, что его создала часть тех же разработчиков. С роботами то же самое. Одни и те же люди делают созидательные системы и разрушающие — оружие, или вирусы, или фейковые армии ботов... Не все, конечно, но какая-то часть — намеренно или за большие деньги — это делает. То есть уже начинает возникать дарк, тёмная сторона, в области искусственного интеллекта. И это нужно учитывать.

— Учитывать возможно?

— А почему нет? В первую очередь это касается разработчиков. Нейронные программисты, они все более-менее наперечёт. Вспомним советскую историю — учёт физиков-атомщиков, например. Все выпускники таких закрытых специальностей были известны, им оформляли так называемые допуски, предоставляли льготы, но и накладывались определённые ограничения. И здесь нам нужно заботиться о разумной преемственности подобных практик.

Смерть на экране — это игра

— Выступая в ООН, вы сказали об искусственном интеллекте в период военных действий, который не отличает солдата от женщины или ребёнка.

— На текущий момент в таких ситуациях нет возможности распознавать, военный ли это или мирный человек. И вообще, когда проектируется оружие, ставится задача максимального поражения, и моральные ограничения в такие системы не вкладываются. А если человек не поставил ограничение искусственному интеллекту, то у него ограничений не будет.

Это так же, как задачу для оператора, который сидит за экраном, ставит его командир. Говорит: «Фигачь по красным крестам!» И оператор будет фигачить по красным крестам.

— Сколько мы уже знаем жутких случаев, когда дроны-камикадзе поражали мирных людей. Машину в Курской области, где за рулём сидела женщина и везла ребёнка. Жителей Петропавловки, выходивших с белым флагом в сторону российских войск. Бабушку, на коленях крестившуюся перед дроном под Купянском... И всякий раз задаёшься вопросом: как мог оператор бить в них?

— Знаете, любой переход в дистант, то есть в удалённое управление, меняет мораль и этику войны. Сейчас война другая, потому что дронщик не чувствует личной опасности и запаха крови. То, что происходит на экране, — для него всегда игра. И к этому человечество готовили несколько десятилетий.

Все сетевые игры — это в основном война, то есть стрелялки, поражалки, тушки на экране, танки, мортал-комбаты и так далее. Как минимум, два поколения воспринимало смерть на экране как прикол. А теперь смерть на экране компьютерного героя или жителя Курска, Белгорода или Купянска — это одно и то же, с точки зрения мальчика, который сидит с пультом.

— Поэтому, выступая в совбезе ООН, вы говорили о необходимости принять некие международные правила ведения войн с использованием оружия на базе ИИ?

— Да. Перейдя на такой новый род войны, человечество их не ввело. Между тем всегда, ещё с первобытно-общинного строя, существовал кодекс войны. Когда племя шло на племя или один барон шёл на другого барона-соседа, они знали, что можно делать, а что нельзя. Идёт рыцарский поединок — один участник упал, а другой его добил — этого делать нельзя. Кто-то выбросил белый флаг, а в него выстрелили — нельзя. Нарушители становились изгоями или их уничтожали. То есть у войны были правила. У современной войны правил нет.

Вопрос выживания вида

— Правила номинально существуют — скажем, запрещено применять химическое оружие. Но сколько раз на СВО противник применял его против наших ребят...

— Они не работают. И мы стоим сейчас у черты. Если вообще выживем, то мы, как человечество, должны будем создать новый моральный кодекс — в первую очередь в области действий, которые могут угрожать жизни человека.

— Вы думаете, что он будет соблюдаться?

— Это вопрос выживания нашего вида. Не обязательно он продолжит существовать. Исчезли же динозавры, какие-то виды птиц, те же неандертальцы... Останемся или нет — это сейчас наш общесистемный выбор.

Карине Геворгян, политолог, недавно рассказала мне об исследовании, показавшем, что у стай птиц существуют стражи, которых они выставляют, чтобы те сообщили остальным о приближении хищника. А поскольку стражи начинают кричать первыми, когда видят врага, то их первых он и уничтожает. Но на место убитого стража тут же становится следующий. То есть птицы знают, что страж убит, они всё видели, но занимают его место. Получается, что коллективный интерес стаи выше, чем индивидуальный страх смерти.

Я полезла искать и нашла это исследование — его проводили учёные Калифорнийского университета на Амазонке. Оказалось, что эти стаи собираются не из одного вида, а из разных, что поразило меня ещё больше. Ведь готовые к самопожертвованию особи уберегают не только свой вид, а сообщество видов. А когда учёные начали забирать этих стражей (одного, потом следующего, следующего и так далее), сообщество распалось и птицы улетели в другой регион. Это, по-моему, грандиозный урок нам, людям.

— Собственно, у нас, когда существовали общины, они тоже были разнородные — территориально-соседские, а не кровно-родственные, как на Западе. И в общинах всегда общественное было значимее личного. Да и в советские времена нас так же воспитывали — пионерский салют ведь что означал? Рука над головой — значит, общественное выше личного.

— Собственно, да. Но сейчас начали размахивать национальностью — это плохо, потому что общество выше национальности. Увлечение национальностью — это нарушение базового принципа, потому что у народов (многонациональных) есть важные роли, о чём «русские космисты» говорили. У Гумилёва это очень интересно изложено. Если народ по каким-то причинам начинает забывать о своей роли, то он погибает.