Эксперты ООН зафиксировали первое применение дрона с искусственным интеллектом для атаки на людей в Ливии
В ходе боевых действий в Ливии произошло событие, которое эксперты называют новой вехой в истории военных технологий: беспилотный летательный аппарат, действуя в автономном режиме, впервые атаковал человека. Согласно докладу Группы экспертов ООН по Ливии, обнародованному весной 2020 года, инцидент произошел в марте во время наступления сил Правительства национального согласия (ПНС) против Ливийской национальной армии фельдмаршала Халифы Хафтара .
Объектом атаки стал турецкий дрон-камикадзе Kargu-2, произведенный компанией STM. Эти беспилотники оснащены взрывчаткой и могут быть наведены на цель для самоподрыва. Однако главная особенность Kargu-2 — способность к групповым действиям и принятию решений на основе алгоритмов машинного обучения. Искусственный интеллект дрона распознает объекты и способен отличать, например, военную технику от гражданского транспорта .
По данным ООН, дроны преследовали колонну отступающих солдат. Именно в этой ситуации, как считают эксперты, Kargu-2 был запрограммирован атаковать цели без передачи данных от оператора (так называемый режим fire-and-forget). Система ИИ самостоятельно идентифицировала живую силу противника и нанесла удар. Хотя доклад не уточняет, погибли ли военнослужащие в результате этой атаки, сам факт применения автономного оружия против людей вызвал широкий резонанс.
Случай в Ливии вскрыл главную опасность автономных систем вооружения — риск каскадных ошибок. Когда несколько дронов координируют свои действия, как это могут делать Kargu-2, неверная информация, полученная одним аппаратом, может распространиться на всю сеть. Эксперты отмечают, что если наборы данных, на которых обучался ИИ, были ненадежными, он может усвоить «неправильный урок» и в итоге совершить фатальную ошибку, атаковав мирных жителей .
Точность работы ИИ сильно зависит от внешних условий. Исследования показывают, что туман, пыль или дым могут снизить точность распознавания объектов с 92% до 58%. В городской застройке риск ошибок возрастает многократно. Система может не отличить мирного жителя, взявшего в руки оружие, от солдата, использующего грабли, или принять детскую коляску за пусковую установку .
Инцидент в Ливии подлил масла в огонь давней дискуссии о необходимости международного запрета на полностью автономное оружие. Human Rights Watch и другие правозащитные организации призывают к подписанию международного договора, запрещающего системы вооружения, которые сами выбирают цели и сами принимают решение на поражение. На момент событий 30 стран, включая Китай, Бразилию и государства ЕС, высказались за такой запрет, однако Россия и США выступают против . Генеральный секретарь ООН Антониу Гутерриш неоднократно призывал запретить «роботов-убийц» до того, как они станут обыденностью поля боя.
Производитель Kargu-2, компания STM, официально не комментирует выводы ООН, отмечая, что их продукция всегда действует под контролем человека. Однако сам факт того, что эксперты ООН сочли возможным включить этот инцидент в свой доклад, говорит о том, что «оранжевый» уровень автономности (человек только санкционирует применение, но не управляет оружием в реальном времени) уже стал реальностью на поле боя.
Опубликовано 2 апреля 2020 г.