Алексей Гринбаум: «Машину нужно изъять из области человеческой морали»

«Тяжелая неуправляемая вагонетка несется по рельсам. На пути ее следования находятся пять человек, привязанных к рельсам сумасшедшим философом. К счастью, вы можете переключить стрелку — и тогда вагонетка поедет по другому, запасному, пути. К несчастью, на запасном пути находится один человек, также привязанный к рельсам. Каковы ваши действия?» — так в классическом варианте звучит «проблема вагонетки», одна из самых популярных этических дилемм ХХ века.

В современном мире дилеммы такого рода могут стоять уже не только перед человеком, но и перед искусственным интеллектом. Именно им посвящена книга российско-французского философа Алексея Гринбаума «Машина-доносчица». «Как избавить искусственный интеллект от зла?» — такой вопрос задает в своей книге Гринбаум и дает на него ответ, который многим сначала покажется парадоксальным: положиться на случайность.

Важная особенность книги Гринбаума — ее метод. По мнению автора, новая технологическая ситуация совсем не обязательно подразумевает новую этику. И свое решение моральных дилемм, встающих перед искусственным интеллектом, философ выводит из обращения к иудейским, греческим и христианским мифам. Он сравнивает поведение их персонажей с «поведением» ИИ. Причем сравнение идет на уровне гомологии: Гринбаум обращается к общим «мотивам», оставляя за скобками как материальную составляющую цифровых технологий, так и нарративно-фантастический аспект мифа.

В интервью Денису Куренову Алексей Гринбаум рассказал о своей книге, об апологии случайности, о Сатане, живущем в микроволновой печи, о смартфонах как магическом объекте, а также о том, какая связь между Понтием Пилатом и проектом Moral Machine.

— Исторически развитие технологий всегда инициировало дискуссии об этике. Сегодняшняя ситуация чем-то отличается принципиально?

— Действительно, каждое поколение новых технологий, начиная от мореплавания в Древнем мире, вызывало и будет вызывать дискуссии такого рода. Это совершенно стандартная ситуация, которая в современном обществе всегда сопровождается в СМИ апокалиптическими пророчествами и прочими предсказаниями — как катастроф, так и революций. Например, когда в 1840-х — 1850-х годах появились железные дороги, газеты были полны статей о том, что все мы умрем от невиданных болезней, потому что двигаться на поезде со скоростью 40 км/ч очень опасно. Та же дискуссия отражается в философских дебатах. Уже в первой половине XX века проводились конференции, на которых такие темы обсуждались. На одной из них — «Технический прогресс и моральный прогресс» в Женеве в 1948 году — выступал, к примеру, Николай Бердяев.

Чем сегодняшняя ситуация отличается от споров, к которым мы за 200 лет более-менее привыкли? В первую очередь, отношением к технике. Если в 1840-х можно было отойти на несколько километров от железной дороги — и она исчезала из твоей жизни, то сейчас пользователь взаимодействует с техническими объектами 24 часа в сутки. Люди живут со своими смартфонами практически в симбиозе. Да, есть современные луддиты, которые уходят в лес или исповедуют иной тип эскапизма, но, если говорить о большинстве, наше отношение к технологиям, особенно информационным, меняется из-за этого их всепроникновения.

— И какую рамку это задает?

— Если кратко, современный технический объект представляет собой «черный ящик». Возьмите, к примеру, смартфон. Пользователь знает только, как устроены ввод и вывод: если нажать сюда, то произойдет то-то. Но что творится за границей интерфейса, он не знает, хотя ему известно, конечно, что есть эксперты, которые в этом разбираются. В книге я это называю «границей замутнения». То есть для человека, который пользуется смартфоном с утра до вечера, это магический объект.

Конечно, знаний о том, как работают технические устройства, у массового пользователя и раньше особенно не было. Известны истории, как домохозяйки, увидевшие микроволновую печь в первый раз, заявляли, что внутри живет Сатана, потому что так быстро нагреть воду просто нельзя. Но «черные ящики» проникли сейчас повсюду в жизнь и во многом ее определяют. Тем самым в повседневность возвращается магия, которая, казалось бы, еще со времен Просвещения ушла из жизни западного общества.

© Транслит

— Ваша книга называется «Машина-доносчица». Почему машина именно доносчица? И при чем тут Сатана, который, как мы уже выяснили, живет в микроволновых печах?

— Русское название книги мне теперь кажется не очень удачным. На французском она называется более наглядно — «Роботы и зло». Откуда в этике искусственного интеллекта появляется фигура Сатаны?

Первое. В повседневном опыте возникают ситуации, когда обучаемые системы, системы искусственного интеллекта, приводят к конфликтам. Например, беспилотный автомобиль может человека покалечить, чатбот — оскорбить, а робот-андроид, который вам подает чашечку кофе, может прищемить палец, сломать руку и т.д. Спрашивается, оценивает ли машина себя как морального агента, понимает ли, что она совершила зло и спровоцировала конфликт? И как вообще трактовать термин «зло» в этой ситуации?

Второе. С точки зрения пользователя, зло определить довольно просто — ему его причинила машина. А с ее собственной точки зрения? Машина ведь не понимает смысла добра и зла. Она лишь имитирует человеческие действия или выполняет определенный алгоритм, в лучшем случае — умеет оперировать словами «добро» и «зло», но никакого понимания у нее нет. Это чисто функциональная система, которая в процессе выполнения задачи может вовлечь пользователя в конфликтную ситуацию, абсолютно этого не понимая. И раз так, то она сама не может остановиться, не может, в отличие от человека, оценить свои действия, но и не может вовремя отвести от себя моральное суждение. Ее неумолимо ждет приговор.

Третье. Приговор в каком смысле? Машина — не человек, разве ее можно наказать? И вообще, поскольку машина — функциональная система, которая выполняет определенную задачу, как можно рассуждать об ее этике? Оказывается, этот вопрос тоже не нов. В истории культуры уже существовали функциональные индивидуумы, не наделенные, как люди, свободой воли, а существующие ради того, чтобы выполнять некую задачу. Этих индивидуумов мы встречаем в мифологии, и они называются ангелами и демонами. Первые по определению выполняют хорошие задачи, вторые — плохие.

Мой тезис состоит в том, что этические проблемы функциональных индивидуумов-машин можно анализировать на примере того, как решаются проблемы взаимодействия человека с ангелами и демонами. Брать уроки у мифа и пытаться применить их в области искусственного интеллекта. Отсюда в моей книге и появляется Сатана — главный злой демон.

— В вашей книге вы придаете тем же самым беспилотникам и другим функциональным системам статус «цифровой особы». Расскажите об этом.

— С помощью этого термина я решаю следующую задачу. Беспилотник — автономная система, которая сама получает данные об окружающем мире, как-то их обрабатывает и принимает решения. У этой системы, как я уже сказал, есть «граница замутнения». Сначала она кажется в чем-то похожей на нас, людей. Ведь у нас тоже есть «граница замутнения» под названием «кожа» и разные интерфейсы: речь, зрение, слух и т.д.

Но при этом эти системы совсем не похожи на людей. Главное отличие в том, что они выполняют задачу, определенную не ими, а программистом. Поэтому они ни в коем случае не являются лицами в юридическом смысле. И «цифровая особа» — это тот самый промежуточный статус, когда уже есть индивидуализация, но нет персонификации, нет никакого лица.

— А дискуссии в Европарламенте о том, что беспилотникам нужен отдельный юридический статус, все еще продолжаются?

— Что касается юридических дебатов по поводу отдельного статуса для роботов, то в Европарламенте они закончились несколько лет назад. Тема ушла из мейнстрима, хотя отдельные активисты, ратующие за наделение роботов юридическим статусом, безусловно, еще существуют.

— Как тогда должна распределяться ответственность? Вот возьмем случай, когда в марте 2018 года в США беспилотный автомобиль Uber впервые сбил человека насмерть. Случилось это по ошибке — беспилотник не понимал, что люди могут нарушать правила дорожного движения.

— Сначала объясню, кто не должен нести ответственность: не должна нести ее сама машина. Но мы так или иначе спонтанно проецируем на машину эмоции, моральные качества. Мол, этот дурацкий автономный автомобиль создает нам много проблем в жизни, не дай бог, мы на нем попадем в аварию, так что мы им никогда больше пользоваться не будем. Или удалим чатбота на смартфоне, который нас оскорбил. Или робота, который сломал бабушке руку.

От этой проекции нужно уходить. Но как? Недостаточно делать это с помощью простых заклинаний: «Это всего лишь вещь». Проекции все равно продолжатся. Нужно каким-то образом в коде, через алгоритмическое решение реализовать идею, что ответственность не должна распространяться на машину. Машину нужно изъять из области человеческой морали.

— Кстати, комиссия по расследованию аварии в Америке разделила вину между водителем-тестировщиком, пешеходом, Uber и властями штата. В связи с поведением беспилотников снова возник интерес к «проблеме вагонетки», решению которой отчасти посвящена ваша книга. Какие способы сегодня существуют? Как дела, например, у проекта MIT Moral Machine, собирающего ответы на «дилемму вагонетки» у людей по всему миру и учитывающего при этом пол, возраст и регион проживания респондента?

— Круг этических вопросов, связанных с беспилотными автомобилями, конечно, не сводится только к «проблеме вагонетки». Как член разных комитетов по этике, я довольно активно общаюсь с людьми, работающими над беспилотными автомобилями — как в частных компаниях типа Renault, так и в государственных институтах. Этических проблем множество. Например, это проблема безопасности, связанная с нестабильностью обучения и соответствующими ошибками классификации. Трагические случаи, о которых мы знаем, связаны именно с этим. Или, скажем, человек живет на тихой улочке и не хочет, чтобы по ней ездило слишком много транспорта. С беспилотными автомобилями он может довольно легко этого добиться: например, нарисовать правдоподобную картинку с пешеходом, готовящимся перейти дорогу, и повесить ее на заборе. Беспилотник с большой вероятностью не поймет, что это не живой человек, и поэтому не сможет поехать дальше. Или человек может наклеить на дорожный знак незаметную невооруженному глазу пленку так, что алгоритм распознавания образов ошибется и не поймет, что это дорожный знак. Ввести в заблуждение современные обучаемые системы — то, что называют искусственным интеллектом, — по-прежнему не очень сложно. И это одна из фундаментальных проблем для безопасности беспилотного движения.

О «дилемме вагонетки», действительно, много говорят, хотя это идеализированная этическая модель, которая не встречается в настоящем мире. Но это не значит, что она лишена интереса, — дискуссии о «проблеме вагонетки» сегодня настолько интенсивны, что вы не сможете продать беспилотный автомобиль, если вам нечего сказать по этому поводу.

Какие предлагаются решения? Во-первых, в 2017 году немецкая правительственная комиссия по этике беспилотных автомобилей заявила, что этот выбор нельзя производить в зависимости от каких бы то ни было индивидуальных черт — возраста человека, цвета кожи, уровня интеллекта и т.д.

Во-вторых, раз определить метрику для расчета такого решения машиной априори никак нельзя, проект Moral Machine решил спросить, что думают пользователи. Сама идея поставить человека на место алгоритма уже крайне сомнительна, потому что они несут разную ответственность.

Кроме того, собранные в рамках этого проекта ответы продемонстрировали нам, что мир делится на три зоны. В условно «западном» мире, включая Россию, люди предпочитают либо ничего не делать, либо сохранять наибольшее количество жизней. В Южной Америке предпочитают сохранять жизнь тем, кто имеет более высокий социальный статус. В Азии (в частности, в Китае) заметны преференции в пользу законопослушных граждан.

Что это означает для инженера? Основной вывод — технически такое решение имплементировать нельзя. Потому что, если поставить задачу, при которой беспилотное такси определяло бы этническую принадлежность или страну, откуда прибыл пассажир, и в зависимости от этого меняло бы тактику поведения на дороге, инженер подумает, что вы сошли с ума.

Я добавлю, что это решение не просто технически нереализуемое: оно еще и глубоко аморальное. Почему этическую дилемму — например, «проблему вагонетки» — нельзя решать путем референдума? Приведу аналогию.

Все мы помним историю о Понтии Пилате, умывающем руки. К смерти были приговорены, в частности, Иисус и еще один человек, которого обычно зовут Варавва, но на арамейском его имя — Иешуа бар Абба, то есть «Иисус, сын своего отца». Оба приговоренных — Иисусы, формально для Пилата они одинаковы — вот вам дилемма. Одного из них Пилат может помиловать по случаю праздника. И вместо того, чтобы самому принять решение, он спрашивает у народа и умывает руки. Ясно, что для того, кто живет внутри новозаветного мифа, решение Понтия Пилата глубоко аморально. Для христианина оно противоречит всякому пониманию справедливости, преступно. Пользователь новых технологий, как и христианин, должен прийти к выводу, что вершить справедливость через опрос общественного мнения — совершенное безумие. Так что Moral Machine — это красивый социологический и психологический проект, но он не имеет никакого отношения к этике.

— И вы предлагаете решать «дилемму вагонетки» с помощью случайности?

— Функция случайного — это как раз такое изъятие. Чтобы машина сообщала информацию, которая не вовлекала бы пользователя в конфликт, надо учить ее определять конфликтную ситуацию по разным признакам — и если она в наличии, то изымать себя из моральных проекций с помощью случайного выбора.

— И как в профессиональном сообществе относятся к этой идее?

— По моему опыту общения с инженерами скажу, что сначала случайный выбор практически у всех вызывает отторжение. Человек, который никогда об этом не думал, сразу говорит: «Ну уж нет, это слишком странно». Но потом люди начинают думать — и многие соглашаются. Иногда встречаются и те, кто сразу понимает смысл этого решения. Недавно мне написал студент питерского Политеха, который, не читая моей книги, сам пришел к идее случайного выбора в «проблеме вагонетки». Так что это решение витает в воздухе.

Возьмем другой пример, когда техническая система вовлечена в этический конфликт. В ноябре 2018 года компания Google решила убрать местоимения «он» и «она» из сервиса Smart Compose. Smart Compose — это инструмент искусственного интеллекта, который дописывает фразу, начатую пользователем. Но Smart Compose не всегда правильно использует местоимения, изменяющиеся по родам. На волне #MeToo и текущей гендерной повестки Google решил, что это серьезная этическая проблема, и просто убрал личные местоимения из языка.

Таким образом, язык, на котором говорит гугловский чатбот, становится более нечеловеческим, отдаленным от нашего. Люди же часто говорят «он» или «она»! Получается, что те, кто часто общается с чатботами и несознательно повторяет их стандартные фразы (дети, например), тоже либо перестанут, либо станут гораздо реже пользоваться личными местоимениями. И тем самым их язык изменится. С моей точки зрения, это очень плохое решение.

— Вы и здесь предлагаете обратиться к случайности?

— Да, но не во всех случаях, конечно. Нужно определить пороговые значения, за которыми наступает ситуация конфликта, неясность, амбивалентность. Это не так сложно сделать. За этими порогами нужно выбирать «он» или «она» случайным образом и обязательно информировать пользователя, что личное местоимение было выбрано случайно. Но ни в коем случае не выкидывать эти слова из языка.

В ситуации, когда техническая система попадает в серьезный моральный конфликт, ее нужно с помощью случайного оттуда изымать. На примере с чатботом — значительно менее драматическом, чем «проблема вагонетки», — мы видим, как это работает. То есть это решение можно реализовать технически.

Нести ответственность должны не машины, а люди. Этика — их дело и должна таковым оставаться. В каждом конкретном случае ответственность может быть разделена между производителем, программистом, тренером, который отбирал данные для обучения, пользователем и т.д. Но все действующие лица тут — люди, а машина из области человеческой этики должна себя изъять, чтобы не быть выброшенной на помойку.

— Когда вы сравнивали проект Moral Machine с историей Понтия Пилата, спрашивающего у народа, кого помиловать, а кого казнить, я сразу вспомнил о книге Давида Ван Рейбрука «Против выборов». В ней Ван Рейбрук критикует институт выборов и расправляется с иллюзией, что демократия без них невозможна. Альтернативу выборам Ван Рейбрук видит как раз в жеребьевке и напоминает, что такой инструмент при назначении органов правления уже был в истории и функционировал достаточно успешно. Случайность — это универсалия справедливости?

— Случайное, конечно, используется всюду и везде, начиная еще с античного мира: в политике, юриспруденции, религии и т.д. Это лишь одна из функций случайного. Есть еще множество других — выбор присяжных, например. Но я пишу о конкретной роли случая для функциональных индивидуумов, причем находящихся в ситуации морального конфликта.

— Это наталкивает меня еще на вопрос о биоэтике. Заложенные в человека гены — это же работа биологического случайного. Можно ли вмешиваться в случайности, заложенные природой?

— Рождение человека (да и вообще любого существа) связано с природным случайным. И современные законы о биоэтике — например, во Франции — это охраняют. Религия и юридические системы — тоже. Но это только одна часть проблемы.

Другая состоит в том, что граница между медицинской нормой и болезнью постоянно меняется. У понятия «здоровье» нет научного определения, оно зависит от общества — то, что считалось нормальным пятьдесят лет назад, сегодня становится болезнью, которую надо лечить. Об этом, в частности, писал философ Иван Иллич.

Так вот, природное случайное мы охраняем именно в границах постоянно меняющейся нормы. Как только что-то начинает считаться болезнью, с этим надо бороться, а все случайное выкинуть. Будем ли мы в будущем считать болезнью, к примеру, слабый интеллект? Или какую-то неправильную форму носа? Вопрос открытый.

И тут интересно, как политика вторгается в работу природного случайного. Скажем, в Калифорнии общество в плане личных свобод настроено очень по-либертариански. Там возможность провести границу между медицинскими нормами и болезнью — личное дело родителей, а не общества. То есть норма здоровья задается по желанию индивидуума, и это, с моей точки зрения, довольно опасная ситуация. Но в Европе это не так: здесь нормы задаются коллективно, существуют «умные» законы о биоэтике (во Франции, например), они должны переписываться каждые семь лет. И при этой регулярной ревизии как раз хорошо видно, как эволюционируют нормы.

— Возвращаясь к вашей книге, хочу спросить: как давно в философии существует эта тематическая спайка религии и техники? Среди российских авторов я вспоминаю только хорошо знакомого вам Михаила Куртова. Что в этом смысле происходит на Западе? Распространен такой тематический синтез?

— И да, и нет. В поколении, к которому условно принадлежу я, таких исследований практически нет. Но если мы посмотрим на философию техники в историческом аспекте, то увидим, что такие классики, как, например, Ханс Йонас или Жак Эллюль, по своей основной специальности были историками религии. Хотя об этом писали и те, кто к философии религии отношения не имел. Тот же Жильбер Симондон, которого сейчас активно переводят на русский. Сейчас мы готовим в «Новом литературном обозрении» книгу Жан-Пьера Дюпюи «Знак священного». Это фундаментальный труд, который посвящен как раз этому. На русском языке у Дюпюи уже выходила одна книга — «Малая метафизика цунами».

Так что эта тема действительно существует, но на Западе мы ее находим в основном у авторов старшего поколения, для которых философия религии не была чем-то запретным, странным, не соответствующим современному обществу и т.д. Современный западный человек гораздо меньше думает о религии, но это не значит, что фундаментальная антропология священного вдруг исчезла и больше ничего не объясняет. Наоборот — она объясняет очень многое в том, как работает современное общество, — именно потому, что эти механизмы скрыты, действуют неявно, но при этом исключительно эффективно.

— А как вы вообще пришли к идее случайности в аспекте этики? Это было решение конкретной стоящей перед вами задачи?

— С 2012 года я состою во французском Комитете по этике искусственного интеллекта, который недавно получил статус национального. Так что этикой цифровых технологий занимаюсь не первый год. Лет шесть назад мы с коллегами готовили большой доклад про этические вопросы робототехники, и мне довольно быстро стало понятно, что в нем чего-то не хватает. Доклад состоял из длинного списка вопросов, которые должен задать себе инженер. Все, о чем надо не забыть подумать. Эти вопросы, бесспорно, важны, но как на них отвечать? В докладе об этом практически ничего не говорилось.

И тогда я вспомнил, что в 2005 году мы с Анри Атланом как раз занимались похожей проблемой и даже написали вместе довольно большой текст о случайном выборе, но в итоге так его и не опубликовали. И в нашей совместной работе уже было обращение к мифу, чтобы понять, как работает случайное. Так что моя книга и ее метод уходят корнями в работу с Атланом и в меньшей степени — с Дюпюи.

— А нет ли проблемы в том, что на таких, как вы говорите, гомологических параллелях все же всегда лежит глубокий отпечаток авторского взгляда? Ваш коллега может написать книгу по той же теме, используя этот же метод, но прийти к совсем иным выводам из-за различия оптики, из-за обращения к другому мифу, который дает другой ответ на рассматриваемую этическую дилемму.

— Да, вы совершенно правы. То, что мы смогли провести сравнение, еще не значит, что мы нашли истину в последней инстанции. Нет никакой истины в этике, как нет ее и в области мифа. Да, другой человек может провести сравнение с другим мифом и сделать другой вывод. Именно поэтому сравнение с мифом — опасный прием.

Но это способ уйти от паралича новизны, который неплохо сформулировал Ханс Йонас. Наша технологическая ситуация совершенно новая: проблемы климата, редактирование генома, искусственный интеллект и т.д. Такого раньше никогда не было. И кажется, что эта ситуация требует совершенно новой этики. Но где ее взять? Этика ведь не растет на деревьях.

Поэтому задача состоит в том, чтобы эти новые в техническом плане вещи ввести в непрерывную традицию размышлений об этике. И это можно сделать при помощи фундаментальных мотивов, которые позволяют строить сравнения, гомологии. Мы смотрим на новую технологию и не знаем, что с ней делать. Но если она ставит, к примеру, вопросы об обратимости действия, о степени контроля, о размывании границ между природным и искусственным, то мы понимаем, что эти мотивы возникают не впервые, что они проявляются в разных других историях — от мифов до фильмов, и видим, какие суждения по ним выносятся. И это позволяет уйти от паралича новизны.

И еще важный момент. Это должно быть интересно обязательно и самим инженерам. Потому что в этой ситуации власть над техникой принадлежит инженеру. А инженер обычно — довольно умный человек. Убедить его, заинтересовать, открыть ему глаза на не самые очевидные аргументы — сложная задача, которую я пытаюсь решать.