«Война дронов ведёт к моральному отчуждению, к хладнокровным убийствам»

Современные автономные боевые системы способны самостоятельно выбирать цели и устранять противника без участия человека. Оксфордский философ Мариарозария Таддео выражает обеспокоенность по поводу «видеоигрового эффекта» и предлагает ввести новые правила ведения военных действий.

Мариарозария Таддео, 45 лет, итальянский философ и преподаватель цифровой этики и оборонных технологий в Оксфордском интернет-институте.

Интервью провёл Франк Хорнинг

SPIEGEL: Как изменяется восприятие оператора дронов, когда он управляет атакующими вылетами, находясь далеко от боевых действий?

Таддео: Вы имеете в виду ситуацию, когда оператор убивает противника, находящегося на большом расстоянии, а затем, завершив смену, возвращается к повседневной жизни, возможно, забирая детей из школы? Это создаёт эмоциональную дистанцию от войны, и я боюсь, что может привести к моральному отчуждению и хладнокровным убийствам.
SPIEGEL: Ранее солдаты на поле боя рисковали своими жизнями...

Таддео: Это обеспечивало моральное равновесие, своего рода симметрию в войне. Храбрость солдата заключалась в том, чтобы смело встретить врага, разделяя с ним опасности. Операторы дронов теряют это равновесие. Если мы не найдём способ компенсировать это отчуждение, насилие станет более вероятным, ведь удалённые от поля боя солдаты теряют страх и становятся более агрессивными.
SPIEGEL: Сообщается, что армии Украины и России активно привлекают людей из геймерской среды для управления дронами.

Таддео: Важно не путать войну с видеоиграми. Операторы дронов должны иметь военную подготовку — их нельзя просто усадить за компьютер. Эти тенденции указывают на то, что «дроновые» сражения между россиянами и украинцами обозначают значительное изменение в военной истории — сама суть войны претерпела изменения.
SPIEGEL: Украина использует дроны для атак на военные объекты и энергетическую инфраструктуру, в то время как российская армия осуществляет дроновые атаки на гражданских лиц в украинских городах. Разве это не важно?

Таддео: Безусловно. Во втором случае речь идет о произвольном разрушении, и это подчеркивает, что основные проблемы связаны не с технологиями, а с намерениями тех, кто управляет этими технологиями.
SPIEGEL: Разведывательные беспилотники часто предшествуют атакующим дронам, собирая данные и идентифицируя цели. Эти действия могут сделать войну более «гуманной», позволяя осуществлять точечные удары и снижать сопутствующий ущерб.

Таддео: Это так, но я считаю это всё же проблематичным. Мы говорим о массовом наблюдении за некомбатантами и гражданскими лицами, которые не участвуют в боевых действиях. Их права и жизнь должны всегда быть защищены. Где, как долго и с какой целью собирается информация с нарушением правил защиты данных? Это может привести к новым преступлениям и военным злодеяниям.
SPIEGEL: В настоящее время дроны в основном управляются людьми, но их роли в принятии решений уменьшаются и в некоторых случаях могут исчезнуть вовсе. Как далеко продвинулся этот процесс автоматизации?

Таддео: До начала конфликта в феврале 2022 года автономные системы практически не использовались. Я знаю только один случай, зарегистрированный ООН — в Ливии в 2021 году. В целом, государства по всему миру были осторожны в использовании таких технологий. Теперь мы видим, что этот табуированный барьер разрушен. В российско-украинской войне обе стороны как минимум тестируют полностью автономные системы вооружений.





SPIEGEL: Какие конкретные проблемы вы видите?

Таддео: Наиболее важный вопрос — это предсказуемость: мы можем задавать входные данные, но лишь отчасти можем быть уверены в результатах, которые выдаёт ИИ. Он способен создавать и использовать модели решений, о которых мы даже не подозреваем. Представьте, что происходит на поле боя, когда автономные системы начинают определять цели, которые военное командование не собиралось атаковать. Это создаёт разрыв между намерениями воюющей стороны и действиями машин.
SPIEGEL: Кто будет нести моральную ответственность за автоматизированные «команды убийц»?

Таддео: Это ключевая проблема. «Преступления против международного права совершаются людьми, а не абстрактными сущностями. Наказание тех, кто совершает такие преступления, обеспечивает соблюдение норм международного права», — это справедливо и сегодня. Отказ от этого принципа приведёт к утрате моральных норм в войне.

SPIEGEL: Как это относится к военным системам с ИИ?

Таддео: Необходимо четко определить, как распределить моральную ответственность в случае «ИИ-оружия». Вместо абстрактных размышлений о человеческом достоинстве, следует проводить оценку рисков. Обществу нужно решить, какой уровень автономии мы готовы предоставить таким системам при выборе целей, и сколько ошибок мы считаем приемлемыми — устраивает ли нас уровень «десяти процентов»?
SPIEGEL: У вас есть ответ на этот вопрос?

Таддео: Нет, это должен решить сам общественный консенсус. Я привела уровень «десяти процентов» лишь как пример — это уровень ошибок, похоже, который существует в системах ИИ, применяемых Израилем в секторе Газа.


SPIEGEL: Каковы границы, которые мы должны установить для ИИ-оружия?

Таддео: Потенциальный вред не должен превышать предполагаемую пользу и должен быть минимален для достижения легитимной цели. Никогда не следует делать некомбатантов преднамеренными целями. Эти принципы должны адаптироваться к новым технологиям. В результате некоторые сценарии использования могут быть запрещены, тогда как другие будут признаны приемлемыми на основе оценки рисков. Также необходимо четко задокументировать процесс принятия решений для обеспечения подотчетности.
SPIEGEL: Допустимо ли вообще разрешить автоматический выбор целей?

Таддео: Для меня важен вопрос: понимают ли операторы, что именно предлагает система ИИ? Как они могут вмешаться, если посчитают, что произошла ошибка? Речь идет о том, оставляем ли мы выбор целей машине — что, по моему мнению, недопустимо — или дополняем человеческий процесс принятия решений, что может быть желательным.
SPIEGEL: Возможно, лучше полностью запретить ИИ-оружие.

Таддео: Это не приведет к решению проблемы. Такое оружие уже производится, продается и будет применяться повсеместно. Возможно, еще важнее то, что ИИ все активнее интегрируется в «традиционные» виды вооружения. Конфликты всегда требуют компромиссов. Как и в медицине, мы должны взвешивать плюсы и минусы вмешательства. Но есть пределы: полностью автономные, самообучающиеся системы недостаточно контролируемы, чтобы их использование можно было считать этичным.
SPIEGEL: Одним из решений может быть согласие армий включать человека в процесс принятия решений автономных систем, как это делается с пилотами самолетов.

Таддео: Это скорее «витринная политика». По меньшей мере, если вовлеченный человек не успевает осмыслить стремительные решения машины и остановить их в случае сомнений. Настоящий контроль возможен только тогда, когда у человека есть право вмешательства в любое время. Ключевой вопрос: могут ли люди отключить эти системы, если заметят ошибки? И достаточно ли у нас подготовленного персонала, который будет наблюдать за ними?
SPIEGEL: Концепции «справедливой войны» имеют глубокие корни, начиная с Цицерона и Фомы Аквинского. Могут ли они помочь нам сегодня?

Таддео: Да, когда мы говорим о ius in bello, т.е. о праве в войне, эти принципы могут быть напрямую применены к командирам, использующим ИИ. Например, некомбатанты никогда не должны становиться целями. Или обороняющаяся сторона не должна стремиться к целям, выходящим за рамки восстановления статус-кво. Нам не нужно менять старые принципы — необходимо понять, как конкретно их реализовать в современном мире.