Троянское обучение в среде «Вредные пчелы»
Даже насекомые (пчелы, шмели и мухи) могут обучать и учиться друг у друга [1]. При этом чем выше уровень организации живого существа, тем оно способнее и к сложным обучающим воздействиям, и к эгоистическим манипуляциям по отношению к другим. В ряде случаев цель обучающих воздействий — как раз эгоистическая манипуляция. Я назвал это явление троянским обучением [2]. Это обучение другого — со скрытыми, не декларируемыми целями — тому, что для него невыгодно, вредно, опасно, но отвечает интересам организатора обучения (термин построен на метафоре троянского коня). Примеры троянского обучения отражены в разнообразных формах фольклора (в сказках разных народов, сходных по сюжету с русской, в которой лиса учит волка ловить рыбу на собственный хвост в проруби; в актерских рассказах о ложных инструкциях молодому актеру со стороны опытного, ведущих к смешным ситуациям на сцене; и т. п.), в описаниях обучения в финансовых пирамидах, взаимодействий между конкурентами в студенческой среде, в офисной среде, бизнесе и т. д. Термин стал использоваться специалистами [3, 4, 5].
Из забавных, но важных примеров следует упомянуть исследование, в котором дошкольников четырех — шести лет учили (не троянски) обращению с несложной технической игрушкой. Потом ребенку предлагали:
а) показать кукле, как работает это устройство, чтобы она поняла указание;
б) подшутить над куклой — показать ей, как работает это устройство, чтобы она поняла это неправильно.
Оказалось, что дети и принимают задачу этого обманного обучения (готовы ее выполнить), и придумывают его ходы [6]. (А во взрослом возрасте всё может быть уже не так шутливо.)
Клеточный автомат «Вредные пчелы»
Конструируя модели троянского обучения, я разработал клеточный автомат. Под клеточным автоматом понимается математическая модель пространства, состоящего из множества ячеек (клеток), каждая из которых может находиться в любом из заданного множества состояний и переходить в другие состояния под влиянием соседних клеток в соответствии с установленными правилами перехода. Несмотря на простоту правил взаимодействия клеток между собой, клеточные автоматы демонстрируют неожиданные эффекты самоорганизации исходных элементов, возникновения из хаоса сложноорганизованных структур, их упорядочивания, развития и гибели [7].
В моем автомате моделируется три типа социальных взаимодействий интеллектуальных агентов:
а) помощь одного агента другому, после которой последний начинает принимать более правильные решения;
б) блокирование третьим агентом оказания этой помощи;
в) троянское обучение (агент учит вредному — ухудшает важные характеристики поведения другого агента, побуждая того принимать неправильные решения).
Агенты: виртуальные «пчелы» трех видов. Внутри каждого вида — опытные «пчелы» (агенты, способные воздействовать на других) и молодые (объекты воздействия). «Пчелы» летают по полю, питаются нектаром и конкурируют за этот ресурс.
«Ниша проживания»: поле размером 200×200 клеток, с цветами. Каждый цветок может пребывать в двух фазах: а) фазе, когда он продуцирует полезный нектар; б) фазе продуцирования снотворного, усыпляющего «пчелу» на d раундов. Опытные «пчелы» правильно распознают фазы и пьют то, что им надо. Молодые действуют случайным образом. Проспав k раз подряд или оставшись без нектара t раз подряд, «пчела» умирает.
Правила взаимодействия «пчел»
Опытная «пчела» в каждом раунде осматривает свою «сферу влияния» (ее размер регулируется экспериментатором) и при обнаружении молодой «пчелы» своего вида обучает ее распознавать живительную фазу; при обнаружении молодой «пчелы» второго вида — «троянски» обучает ее пить из цветка в снотворной фазе (жесткая конкуренция); а при обнаружении пары «опытная — молодая» третьего вида блокирует обучение в этой паре, не занимаясь «троянством» (умеренная конкуренция). Если молодая «пчела» оказывается в радиусе действия опытной «пчелы» своего и чужого вида, она подчиняется влиянию «пчелы» чужого, а не своего вида. Молодая «пчела», отпившая нектар n раз подряд, становится опытной, рождает молодую и обучает ее.
Отношения влияния между видами — по принципу нетранзитивной конкуренции (камень — ножницы — бумага): А «троянит» В, В — С, С — А; А противодействует взаимопомощи С, В — А, С — В. Выбор этой схемы обоснован широкой представленностью нетранзитивной конкуренции в мире живого, являющейся одной из основ поддержания биоразнообразия [8, 9].
Цель исследования: сравнить численности и пространственные распределения популяций этих интеллектуальных агентов при разном радиусе троянского обучения, а также при его отсутствии (изучение эффектов блокировки чужого обучения как стратегии умеренной конкуренции я здесь не проводил).
Поскольку модель имеет много параметров, которые может изменять экспериментатор (насыщенность среды цветами; время их пребывания в полезной для «пчел» и ядовитой фазе; максимально возможная продолжительность жизни «пчелы»; средняя дальность перелета, ведущая к разной степени перемешивания агентов на каждом шаге; и т. д.), то она не претендует на обобщенность. Задачей было показать сам факт того, что радиус троянского обучения может иметь значение.
Результаты моделирования
Исходное состояние: по 30 опытных и по 30 молодых «пчел» каждого вида, случайно разбросанных по полю (всего 180). После запуска взаимодействий начиналась динамика, результаты которой после 500 циклов показаны на рис. 1.
а) три исходные группы «пчел» на начальном этапе;
б) вид популяций после 500 циклов взаимодействий, в которых была только помощь в обучении внутри своего вида
(без троянского обучения);
в–е) то же — при введении троянского обучения с радиусом R клеток.
Темно-красным цветом обозначены опытные «пчелы» одного вида, светло-красным — молодые того же вида; темно-синим — опытные «пчелы» второго вида, голубым — молодые того же вида; коричневым — опытные «пчелы» третьего вида, желтым — молодые того же вида. Исходный цвет поля без «пчел» — черный (цветы не показаны). N — общая численность трех популяций
Можно видеть, что при наличии только помощи в обучении внутри своего вида (без троянского обучения со стороны другого) численность популяций максимальна, продуцируется равномерное распределение всех трех видов «пчел». На любой, даже небольшой, площадке представлены все три вида — пространственных кластеров по видовому признаку нет.
При введении троянского обучения, по мере увеличения его радиуса, появляется и усиливается пространственная кластеризация — она возникает даже при минимальном радиусе (в одну клетку), кластер состоит из агентов одного вида. Численность популяций снижается: из-за растущего «дальнодействия», «дальнобойности» троянского обучения становятся шире «мертвые зоны» — каналы и площадки между кластерами, всё больше «пчел» гибнет в результате троянского обучения. Растет число случаев, когда два вида вымирают, и остается один победитель. На изображениях видно, что в «арьергарде» (впячиваемой стороне кластера) больше опытных «пчел», т. к. молодые там не выживают из-за давления «троянящих» «пчел» вида-конкурента. В «авангарде» (выпячиваемой стороне кластера) молодых больше, т. к. там нет этого давления и условия размножения лучше, чем на других участках кластера. Эти эффекты более заметны при большем радиусе троянского обучения.
В целом, радиус троянского обучения оказался (в данных условиях, в данной среде) значимым фактором, влияющим на численность агентов и на их пространственные распределения — всё более кластеризованные и отдаленные друг от друга.
Перспективы будущего исследования
Подчеркну: в этой модели обучаемость интеллектуальных агентов была неизменной характеристикой. Но теоретически возможно конструирование агентов не с фиксированным, а с изменяемым уровнем обучаемости, который поддается воздействиям других агентов — как в сторону повышения, так и понижения.
Интересно, что сейчас среди огромного количества научной и ненаучной литературы, эксплуатирующей тему столкновения систем искусственного интеллекта (например, роботов, враждующих суперкомпьютеров и т. д.) как их физической схватки, перепрограммирования друг друга и т. д., не удается обнаружить даже самой идеи того, что полем конкуренции систем искусственного интеллекта может стать обучаемость, ее повышение и понижение. И это при том, что способность приобретать знания, обучаемость оценивается невероятно высоко и рассматривается как важнейшая составляющая интеллекта — искусственного в том числе.
Представляет интерес разработка сред, в которых развертывается конкуренция интеллектуальных агентов (и их коалиций) за более высокие уровни обучаемости — с повышением свой обучаемости и понижением чужой и поиском оптимального диапазона обучаемости (максимальный уровень может быть не оптимален, не полезен). Будет интересно посмотреть на картинки и графики.
Александр Поддьяков, докт. психол. наук, проф. НИУ ВШЭ,
гл. науч. сотр. Института психологии РАН
1. Алексенко А. Мухи разных народов, или Уроки мультикультурализма // Сноб. 10 ноября 2018.
2. Поддьяков А.Н. Троянское обучение в экономическом сознании и поведении // Культура и экономическое поведение / Под ред. Н.М. Лебедевой, А.Н. Татарко. М.: МАКС Пресс, 2011. С. 421–444.
3. Финансовая киберграмотность и борьба с мошенничеством. Памятка для потребителей от Роспотребнадзора.
4. «Удочка» как приманка в троянском обучении // СтопПирамида.рф.
5. Кларин М.В. Корпоративный тренинг, наставничество, коучинг: учебное пособие для бакалавриата и магистратуры. М.: Издательство Юрайт, 2019.
6. Rhodes M., Bonawitz E., Shafto P., Chen A., Caglar L. Controlling the message: preschoolers’ use of information to teach and deceive others // Frontiers in Psychology. 2015. № 6.
7. Фишман Р. Клеточный автомат: возможна ли автоматическая жизнь? // Популярная механика. 4 мая 2019.
8. Перфильева К. «Камень-ножницы-бумага» или еще раз о логике и математике в экологии.
9. Special feature: Intransitive competition and species coexistence // Journal of Ecology. 2018. Vol. 106. No. 3.