«Компьютер изменил задания специально для меня». Иллюзия адаптивности неадаптивного тестирования - Троицкий вариант — Наука
Эффект Лачинсов
Начну с кажущейся идиотской задачи:
Даны три сосуда объемом 26, 10 и 3 литра. Как с их помощью отмерить ровно 10 л воды?
Сколько-нибудь внимательный читатель тут же заметит, что два сосуда здесь лишние — требуемые 10 литров можно сразу отмерить сосудом в 10 л. Что тут решать? Но при определенных условиях (о них ниже) многие, не видя этого короткого способа, решают задачу намного более длинным:
26–10–3–3 = 10.
Иначе говоря, люди предлагают набрать воду в сосуд 26 л, отчерпнуть из него сосудом 10 л и затем дважды — сосудом в 3 л, тогда останется 10 л. Толково, правда? Что же это за условия, при которых люди используют длинный способ, не видя короткого?
Речь идет о батарее задач немецких психологов-супругов Лачинсов. В эксперименте участнику предлагается последовательность однотипных по условиям задач про наливание воды определенного объема с помощью трех имеющихся ведер заданного объема.
Даны три сосуда: 37 л, 21 л, 3 л. Как с их помощью отмерить ровно 10 л воды?
Первые пять задач были таковы, что их можно решить по одному алгоритму
А — В — С — С,
где А, В, С — количество воды в первом, втором и третьем сосудах соответственно.
Для задачи выше соответствующее решение таково:
37–21–3–3 = 10.
После этих пяти так называемых установочных задач даются две задачи, которые решаются не только таким длинным способом, но и более коротким — просто сложением двух последних чисел. Например:
Даны три сосуда: 74 л, 28 л, 6 л. Как с их помощью отмерить ровно 34 л воды?
(Ответ: 28 + 6; но старый способ тоже возможен:
74–28–6–6 = 34).
И одной из последних дается задача, которую я привел в начале статьи:
Даны три сосуда объемом 26, 10 и 3 литра. Как с их помощью отмерить ровно 10 л воды?
— решаемая двумя способами — стандартным, обнаруженным и заученным в ходе предыдущих проб, и коротким — просто взять сосуд в 10 л.
Как установлено в многочисленных исследованиях, есть участники, у которых в ходе решения первых пяти задач (с одним и тем же способом решения) формируется слишком сильная установка на использование этого ранее обнаруженного способа. Тогда они не видят более короткий способ, когда он возможен. Также они испытывают большие трудности при решении задачи, не поддающейся старому способу, хотя и с более простым решением (типа «19–11»). А некоторые участники не решают ее вообще (!) — настолько они зациклены на старом способе 1.
Задачи Лачинсов являются хорошим примером «антиобучающей последовательности», если использовать термин Л. Ашкинази, или своеобразного «троянского обучения». Как писал Г. А. Нижарадзе, «явления, аналогичные рассмотренному эффекту, нередко встречаются в самых различных сферах повседневной жизни. К примеру, эффект Лачинса может проявляться при изучении школьного курса математики, когда преподаватель демонстрирует определенный способ решения задач, а ученики затем упражняются в их решении» 2. Добавим: также при изучении курса физики, химии и т. д.
Адаптивное тестирование и его ожидание участником
Оставим на время старую задачу Лачинсов, известную с 1940-х годов. Обратимся к современному виду компьютерного тестирования — адаптивному тестированию в психологии, образовании и др. Основная черта адаптивного тестирования состоит в том, что новые предъявляемые испытуемому задания учитывают его ответы на уже выполненные задания и на ходу адаптируются под выявляемый уровень этого участника. Если ответил на задание теста одним образом — получи такое последующее задание, если ответил другим образом — получи другое. О многочисленных преимуществах адаптивного тестирования можно прочитать в «Большой российской энциклопедии» 3. Рост адаптивности — ключевая характеристика современных компьютерных систем проведения тестов.
При этом, зная о самой возможности адаптивного тестирования, тот или иной участник в зависимости от ряда факторов (от своих личностных особенностей и особенностей мышления, опыта прохождения компьютерных тестов, а также и просто в силу случайных привходящих обстоятельств) может строить свою субъективную картину тестирования. Он может ошибочно считать реакции компьютерной системы на свои действия адаптивными, максимально полно учитывающими действия и ответы испытуемого, или же, наоборот, неадаптивными. Возможны также градации, когда участник приписывает системе несколько меньшую или большую адаптивность, чем есть на самом деле.
Я обращусь к варианту адекватной и завышенной оценки адаптивности системы. Завышенная оценка адаптивности может вести к тому, что участник начинает видеть скрытый замысел разработчиков там, где его нет, и считать, что система реагирует и дает обратную связь на те параметры ответов, которые как-то могут свидетельствовать об участнике, на которые она на самом деле не реагирует. Такая, не всегда адекватная рефлексивная работа участника может сказываться на результатах исследования — хотя бы просто потому, что отнимает у человека ресурс и время, не говоря уже о качественных изменениях стратегий ответов.
Интересно, что предъявление теста отпечатанным на бумаге, как это было сто лет назад, такой опасности не содержало. Участнику со здоровой психикой в голову не могло прийти, что в зависимости от того, какие ответы он вписывает в верхних листах теста, тут же меняются вопросы на листах, лежащих в этой же стопке ниже, и так с каждым новым его ответом; такое было технически невозможно. Напротив, сейчас участник с нормальной психикой может вполне обоснованно полагать, что предъявляемый ему по ходу компьютерного тестирования материал как раз зависит от предшествующих действий и ответов этого участника, и что современные технологии предоставляют здесь широкие возможности.
Эксперимент на иллюзию адаптивности тестирования
Для изучения самой возможности того, что участники могут давать завышенные оценки адаптивности компьютеризованной методики, я провел эксперимент с использованием задач по типу батареи Лачинсов.
Участникам сообщалось:
Мы изучаем представления людей о тестировании и математических задачах. вам будут предложены девять арифметических задач. Ваша цель: решить их и затем высказать мнение о том, задачи какого типа (или нескольких типов) вам предъявлялись: «простушки», «ловушки», «неберушки» 4.
Затем испытуемым предлагалась серия задач. Я сделал компьютерную программу, которая генерировала задачи (и установочные, и проверяющие влияние установки) по тому же принципу, который был использован в батарее задач Лачинсов, причем генерировала в неадаптивной последовательности — предъявление участнику последующей задачи не зависело от его ответа на предыдущую. В принципе, это был очень простой генератор задач 5.
После решения всех девяти задач участникам предлагалось заполнить опросник следующего содержания.
1. Выскажите, пожалуйста, ваше мнение о том, какие задачи вам предъявлялись (строгих определений нет, отметьте то, что считаете более подходящим; можно отметить несколько типов, если вы считаете, что их было несколько):
- «простушки»;
- «ловушки»;
- «неберушки»;
- другое (что именно).
Если возможно, поясните, пожалуйста, почему вы считаете, что вам предъявлялись задачи этих типов…2. Тестирование бывает адаптивным и неадаптивным. При адаптивном тестировании предъявление последующей задачи зависит от того, как участник ответил на предыдущие задачи (новая задача зависит от предыдущих ответов). При неадаптивном тестировании последующая задача не зависит от того, как участник решал предыдущие.Как вы считаете, было ли тестирование в этом эксперименте адаптивным или же неадаптивным? (варианты ответов: «адаптивным», «неадаптивным», «затрудняюсь ответить»).Если возможно, объясните, пожалуйста, почему вы считаете, что это тестирование было адаптивным или же неадаптивным.
Наибольший интерес с точки зрения обсуждаемой темы представляли те участники, которые сочли тестирование адаптивным, т. е. таким, где каждая новая задача, трудность создается в ответ именно на его, испытуемого, ответы (хотя объективно это было не так).
В эксперименте участвовали 33 человека. Выборка не является репрезентативной, но полученные ответы могут дать качественное представление о типах возможных ответов.
Ответили, что тестирование было адаптивным, девять человек (27%). Некоторые варианты их пояснений: «Я склонна считать так, поскольку после того, как я не решила одну из задач, мне были предъявлены задания, сходные по трудности с заданием, предшествовавшим неверному ответу», «В случаях, если человек успешно справлялся с заданием, ему давали более сложную».
Ответили, что тестирование было неадаптивным, 18 человек (55%). Варианты пояснений: «При правильном решении (как я думаю) должна предъявляться более сложная задача, а к последнему заданию они упрощались», «Мне кажется, последующая задача не зависела от предыдущей, так как после сложной могла пойти легкая, хотя я знала, что решила правильно, и наоборот. В моем понимании адаптивные тесты подстраиваются под испытуемого в ходе проведения».
Два человека (6%) пометили обе опции, сочтя, что тестирование было и адаптивным, и неадаптивным (в разных аспектах).
Четыре человека (12%) выбрали опцию «затрудняюсь ответить». Варианты пояснений: «Недостаточно проб, чтобы выявить это», «Я затрудняюсь ответить, потому что сначала мне показалось, что тест неадаптивный, но потом вспомнила, что после того, как я довольно долго думала над определенной задачей, следующие пошли проще».
Итак, в обследованной выборке примерно четверть участников ошибочно сочла тестирование адаптивным, несколько больше половины участников правильно квалифицировали его как неадаптивное. Это соотношение не является репрезентативным, но полученные данные позволяют поставить задачу дальнейшего изучения причин и условий возникновения явления, которое можно назвать «иллюзией адаптивности компьютерного тестирования». Ведь далеко не всякое тестирование является адаптивным, и не всегда к нему стремятся разработчики (причины этого могут быть вполне разумными).
О возможных причинах явления: иллюзия адаптивности компьютерного тестирования, видимо, может порождаться комплексом взаимосвязанных факторов разного уровня и содержания — начиная с общих установок современного человека на «разумность» компьютерных систем и заканчивая теми или иными конкретными когнитивными ошибками, возникающими в процессе тестирования, например, по типу иллюзий причинно-следственной связи («после того, как я довольно долго думала над определенной задачей, следующие пошли проще»), при том, что причинно-следственной связи на самом деле не было.
Перспективы
В дальнейшем представляет интерес изучение следующих вопросов.
1. В каких случаях установка на адаптивность компьютерного тестирования может значимо влиять на его результаты?
2. Каково это влияние: как меняются стратегии участника и появляются ли новые стратегии, например экспериментирования с компьютерной системой, соревнования с ней и т. д.? Каков процесс и результаты деятельности участника при наличии этой иллюзии?
3. Какие личностные и когнитивные факторы (особенности) участника могут усиливать и ослаблять данную иллюзию?
4. Какие факторы «поведения» компьютерной системы могут ее усиливать и ослаблять, менять ее характер?
Представляется особо важным изучить эти вопросы в зависимости от социального контекста: в тех ситуациях экспериментов и тестов, когда трудности, с которыми сталкивается участник, интерпретируются им как дружественные, конструктивные или же, наоборот, как недружественные — например, цель организатора понимается участником как завал и отсев на компьютерном тесте. Тогда подозрительность участника значительно возрастает, он ждет подвохов разного рода (возможно, обоснованно) 6.
И заслуживает изучения противоположная иллюзия — иллюзия неадаптивности компьютерного тестирования, когда оно является адаптивным. Как она может работать и к каким результатам —положительным и отрицательным — вести?
Александр Поддьяков, докт. психол. наук
1 Подробнее см.: Коровкин С. Ю. Эффект Лачинсов.
2 Нижарадзе Г. А. О двух типах ригидности при решении интеллектуальных задач // Вопросы психологии. 1987. № 3.
3 Трухан Е. А. Адаптивное тестирование.
4 Эти термины взяты из статьи: Беляев С. А. Задачи по математике: «простушки», «ловушки» и «неберушки» // Полином. 2009. № 4. С. 99–105.
5 О перспективах будущих компьютерных генераторов задач см.: Ашкинази Л. Генератор, который заменит нас // ТрВ-Наука. 2023. № 389. с. 5.
6 О последствиях приписывания исследователю враждебных намерений в другой области — психологических и социологических исследованиях — см.: Поддьяков А. Психология: отношение участника к исследованию и исследователю // ТрВ-Наука. 2017. № 230.