О манипуляции с эмпирическими данными в научных работах
Эта публикация открывает цикл статей, посвященных десятилетию «Диссернета». Помочь «Диссернету» можно тут: donate.dissernet.org.
Данная статья написана на основе сокращенного варианта доклада «Диссернета», полная версия доклада в ближайшее время будет выложена на сайте «Диссернета» (dissernet.org). В докладе представлен материал, касающийся манипуляции эмпирическими данными в диссертациях и статьях российских авторов, опубликованных за последние двадцать лет. Работа выполнена на основе анализа более 1500 примеров фальсификации данных, полученных в результате десятилетней работы «Диссернета».
Манипуляция с данными в контексте других нарушений
Манипуляция с данными — это представление недостоверных данных, которое может включать изменение, добавление или удаление данных с целью соответствиям гипотезам, рассуждениям и выводам. Для достижения этих целей могут использоваться манипуляции с организацией работы, дизайном и методами исследования.
Одним из видом манипуляции является представление выдуманных (фантомных) данных: например, когда сбор данных, эксперимент или иное исследование полностью или частично не проводятся.
Манипуляция с данными часто сочетается с некорректными заимствованиями текста, изображений или идей без соответствующего цитирования или ссылки на автора. Существует также широкий спектр манипуляций с авторством и новизной научной работы: «подаренное» или «похищенное» авторство, множественная публикация текста, а также «покупное соавторство» — предмет недавнего исследования «Диссернета» [1]. Поскольку такие действия являются обманом со стороны всех соавторов, при выявлении данного вида нарушений не имеет значения, содержит ли работа верные или неверные положения.
Что мы не рассматриваем в качестве манипуляции с данными
Экзотическим видом подтасовок в научных исследованиях является написание заведомо бессмысленного «теоретического» научного произведения, представляющего собой грамматически связный набор слов, относящихся к валидным областям знания. В данном тексте такие манипуляции не рассматриваются, хотя в ряде случае это привело к бессмыслице в тексте. При этом отметим, что публикация такого текста может быть и экспериментом, проверяющим качество рецензирования в журналах — например, известный читателям «Корчеватель» [2].
От фальсификации эмпирических данных следует отличать написание работ умозрительного характера на основе некритического принятия лженаучных концепций (например, гомеопатия, астрология, хиромантия).
От манипуляций с эмпирическими данными следует отличать ошибки, которые сделаны добросовестными исследователями в ходе сбора эмпирических данных и написания статьи; ошибки в постановке эксперимента, построении моделей и гипотез и т. п. Как правило, недобросовестность авторов легко выявляется по типичным признакам, появляющимся в силу трудности правдоподобной намеренной подтасовки данных.
Также не является манипуляцией с данными написание научных работ по шаблону. Замена и предмета, к которому отнесены фактические данные, и самих данных (в действительности собранных в отношении нового предмета) является примером такой «шаблонной» работы. Написание шаблонной работы может иметь разную степень приемлемости в разных дисциплинах; несомненно, шаблонные работы не являются примером высококачественной научной деятельности, однако их изучение выходит за рамки этой статьи. Заведомой манипуляцией является ситуация, когда заменяется предмет, но данные, которые должны были бы измениться, не меняются.
Ущерб научному знанию, наносимый манипуляцией с данными
Если заимствования чужого текста дублируют уже известные в науке положения, которые могут быть верны, то манипуляция с данными и результатами всегда есть искажение данных, что ведет к неверным научным выводам и рекомендациям: это подрывает доверие к результатам, исследованиям и науке в целом, а также может привести к очень тяжелым последствиям. Так, статья об исследовании связи вакцинации против кори, паротита и краснухи с аутизмом была процитирована более трех тысяч раз [3]. Это исследование стало важной опорой для движения антипрививочников в мире. Впоследствии данная статья была ретрагирована (отозвана журналом) из-за вскрывшейся фальсификации данных, но остается в арсенале псевдонаучной борьбы с вакцинацией и двадцать лет спустя.
Манипуляция с данными и изображениями могут быть как спорадическими поступками отдельных исследователей, так и регулярными действиями, т. е. выполняться одними и теми же или связанными между собой лицами, в одних и тех же или сходных обстоятельствах. В последнем случае речь может идти о «фабриках» диссертаций и «фабриках» по написанию научных статей за вознаграждение. По нашим данным, в таких «фабриках» изготовлено и защищено [4] по меньшей мере 10 000 диссертаций с недобросовестными заимствованиями.
Мировая статистика манипуляций с данными
Согласно базе данных Retraction Watch, которая отслеживает ретракции в международной научной среде, по состоянию на начало декабря 2020 года 1245 журнальных статей [5] были подвергнуты ретракции из-за манипуляций с данными. Статьи по следующим специальностям были ретрагированы (диаграмма 1, категории не исключительны).
Вероятность совершения научных нарушений ниже в странах, которые разработали политику рассмотрения заявления о научной недобросовестности, в особенности если данная политика институционально закреплена. Помимо этого, вероятность нарушения норм академической этики выше там, где публикационная активность вознаграждается финансовыми бонусами [6].
Особенности манипуляций с данными в российской науке
В России подтасовки данных, как правило, соседствуют с другими нарушениями академической этики, в частности, с некорректными заимствования [7]. Как правило, недобросовестные российские авторы предпочитают вместо полностью выдуманных данных использовать данные, полученные другими авторами и на другом объекте. Это не делает эти данные сколь-нибудь более достоверными, чем данные, полностью фиктивные, и тоже является вариантом манипуляции. В качестве примера приведем получившую большую известность замену, которую произвел в своей диссертации И. Н. Игошин [8]: шоколад из диссертации-источника превратился в мясо, причем черный шоколад был заменен на отечественную говядину, белый шоколад — на импортную говядину, а шоколад с орехами — на говядину на кости. Более драматичный пример относится к медицине: доктор Ю. Е. Царапкин в своей диссертации кровь из диссертации-источника заменил на лимфу, оставив результаты без изменений.
До настоящего времени такая причина, как манипуляции с данными, редко становилась причиной ретракции статей в России.
Исследование манипуляций с данными в российских научных работах
Методика исследования
База статей и диссертаций «Диссернета», послужившая основой данного доклада, на момент исследования содержала около 4000 статей в научных журналах и около 9000 диссертаций, про которые было уже известно, что они имеют совпадения текстов с другими работами.
Эти статьи и диссертации были проанализированы программным образом на наличие незначительных разночтений между совпадающими фрагментами текста c некорректными заимствованиями и его источниками. Под «разночтениями» понимаются отдельные несовпадающие числа (1–2 числа) или слова (1–2 слова) в крупных (от одного абзаца) фрагментах совпадающего текста. Разночтения затем были проверены вручную для исключения разночтений, вызванных ошибками сканирования и редакторскими правками.
Из совокупности разночтений удалялись те, которые отвечали шаблонным работам (то есть изменены и предмет исследования, и относящиеся к нему данные, при этом в данных нет явных признаков их фиктивности).
К массиву найденных машинным образом разночтений были добавлены также те факты подтасовки данных, которые были выявлены путем экспертного анализа во время работы «Комиссии РАН» над докладами «О переводном плагиате» [9], «О кандидатах в члены РАН» [10], а также рассмотрения диссертационных работ в ВАК.
Полученная совокупность разночтений была проверена вручную и классифицировалась по основным признакам, в частности, по перечисленным ниже: изготовление подложных данных «с нуля», подмена предмета исследования, заведомо недостоверные или обновленные ссылки в списке использованных источников.
Отдельные виды манипуляций в зависимости от характера изменяемых данных
• Подмена данных
Это манипуляции с данными путем их изменения, добавления, удаления с целью соответствиям гипотезам, рассуждениям и выводам, при этом текст, сопровождающий фактические данные, как правило, копируется без изменений. Приведем основные виды таких манипуляций с примерами.
• Изменение даты, к которой отнесены данные
Это самый распространенный вид подмены данных (обнаружен более чем в 900 диссертаций из приблизительно 1400 диссертаций с фальсификацией данных и более чем в 70 журнальных статьях): как правило, годы, к которым относятся данные, обновляются. Проще всего этот вид фальсификации выявляется в экономических науках в связи с обилием численных данных, которые не могли совпасть случайно.
Ильин С. Г., экономические науки: ко всем датам в работе добавляется десять лет, в связи с чем получается, что дефолт был в 2008 году, залоговые аукционы начались в 2005-м, приватизация — в 2003-м, ЮКОС в 2008 году создавал управляющие компании.
• Изменение географической привязки данных
Один из самых распространенных способов фальсификации как наиболее простой к исполнению и сравнительно сложно детектируемый.
В диссертациях двух таджикских экономистов Амирова Н. И. и Шамсова И. С. был применен один и тот же прием: Россия заменялась на Таджикистан (в первом случае еще и «свиноводство» заменялось на «овцеводство»).
Таймасханов Х. Э., экономические науки: данные по Калмыкии выдавались за данные по Чечне.
Ужахов А. С., юридические науки: «Северо-Запад» меняется на «Северный Кавказ», данные о лицах, совершавших незаконный оборот наркотиков, не меняются.
Михайлова Е. И., педагогические науки: Калининград заменен на Якутск.
• Изменение когорты обследованных
Выявление таких фальсификаций затруднено, так как совпадающие данные — описание когорты (больных, учеников и т. д.) и описание предмета исследования — находятся в разных разделах диссертации. Скорее всего, значительная часть таких фальсификаций пока осталась невыявленной.
Найн М. В., педагогические науки: экспериментальная часть работы заявлена как выполненная в 2002–2004 гг. «в школе-лицее № 11, школе-гимназии № 80 и МОУ № 154 г. Челябинска», однако все результаты совпадают с экспериментом источника, выполненном в других школах в 1994–1996 гг.
• Изменение названия болезни, органа или химического вещества
Помимо уже упомянутой выше замены доктором Царапкиным крови на лимфу, упомянем диссертацию Шогенова Р. С. по сельскохозяйственным наукам: «флавобактерин» был заменен на «мизорин и гумат калия».
• Изменение хозяйствующего субъекта, замена ведомства или отрасли
Все примеры, приведенные ниже, относятся к экономическим наукам.
Балакин М. Д.: «Воронежский керамический завод» заменяется на «Стройхолдинг»
Сагитов А. Т.: «Авиационная промышленность» заменяется на «атомную отрасль». В другом месте работы «медицина» также заменена на «атомную отрасль».
Никифоров Н. А. (экс-министр связи): защищая диссертацию по государственному управлению с использованием работы по медицине, выполнил замену «здравоохранения» на «государственное управление».
Шимоханская Т. В.: данные по «предприятию машиностроительной отрасли» представлены как данные бухучета «Йошкаролинского мясоперерабатывающего завода».
• Замена профессии, специальности или учебного предмета
Типично для психологических и педагогических наук.
Гуров С. В., психологические науки: «врачи-урологи» становятся «студентами-гуманитариями», а «врачи-терапевты» — «студентами-естественниками».
Антохина Ю. А., экономические науки: ткацкая фабрика с 10 станками и 10 рабочими превратилась в лабораторию микроэлектроники научно-исследовательского центра ГУАП с 10 стендами и 10 операторами путем механической замены «станков» на «стенды» и «рабочих» на «операторов».
• Библиографические манипуляции
Имеются в виду манипуляции со ссылками в списке использованных источников.
• Использование тех же «твердых» номеров, что и у предшественника (источника текста), которым соответствуют другие библиографические ссылки
Межидова Д. В., экономические науки: один и тот же текст в диссертации Межидовой и диссертации-источнике ссылается на [80, 81], однако в списке литературы под номерами 80 и 81 в этих диссертациях указаны разные публикации.
• Обновление дат в списке литературы («библиомашина времени»), имеющее своей целью создать ложное впечатление новизны и актуальности работы
Пьянова О. В., экономические науки: в 42 случаях обновление годов в лжесссылках, часто на 40–50 лет.
Представление несуществующих данных
• Издание «лжекниг» — публикаций с признаками недостоверности выходных данных
Эта манипуляция связана с изданием книги или статьи в единственном или ограниченном количестве экземпляров «задним числом» для оправдания некорректных заимствований. В статье [11] разбирается несколько примеров таких подтасовок. Ряд монографий и статей с подмененной датой публикации разбирался «Комиссией РАН» [12, 13].
Аношина Ю. Ф. [14], экономические науки: представила в ВАК пять никем до того не виданных публикаций, изданных якобы раньше защиты диссертации.
Городецкий Д. И. [15], экономические науки: одна из «лжекниг» — с доказанной подменой даты публикации.
• Фантомная публикация или диссертация
Это манипуляция с публикацией, которой в реальности не существует. Например, в автореферате к диссертации приводятся статьи, которые никогда не были опубликованы. Такая ситуация может возникнуть в результате незлонамеренной ошибки: например, перепутан номер журнала, в котором публикация имела место. Однако если заявленная публикация не существовала вовсе, а особенно когда в одном журнале оказывается несколько таких публикаций [16], возникает подозрение в том, что читатель библиографии вводится в заблуждение намеренно. Подобной манипуляции подвергались и диссертации [17].
• Нарушение связности работы вследствие манипуляции с данными
Следствием манипуляции с данными являются явные несообразности в логической структуре научного труда, которые служат потенциальными индикаторами для выявления нарушений норм научной работы. Перечислим наиболее частые и очевидные.
• Представление частного под видом общего без объяснения причин расширения применимости выводов
• Указание выводов, которые не следуют (не могут следовать) из предшествующих рассуждений и фактов
• Превращение осмысленного текста в бессмысленный
Этнюков В. Е., юридические науки: заимствуя чужой текст, заменил «хартию короля [Англии]» на «хартию контроля», оставляя все прочие фактические сведения неизменными.
Сафаралиев К. Г., юридические науки: проведена замена тюремных бунтов на отмывание денег в условиях пенитенциарных учреждений, что привело к бессмыслице, так как ни наличные, ни безналичные деньги не имеют хождения в местах лишения свободы.
Организации, в которых выявлено наибольшее количество случаев подмены данных в диссертациях
На диаграмме представлены основные вузы, в отношении которых выявлено наибольшее количество случаев диссертаций с манипуляциями. Подчеркнем, что количество выявленных работ, которые приводятся в данной диаграмме, зависит в том числе и от степени изученности данного вуза.
Профессора — участники наибольшего числа защит диссертаций, содержащих манипуляции с данными
Профессора, при чьем руководстве, консультировании, оппонировании или в чьих собственных работах обнаружено максимальное количество случаев подмены данных, перечислены ниже (табл. 1). Приведены лица, причастные более чем к десяти работам с подменой данных.
Выводы и рекомендации
«Диссернет» полагает, что журналы, которые опубликовали статьи с подтасованными данными и не ретрагировали их после обнаружения манипуляции, должны быть изъяты из РИНЦ.
«Диссернет» считает, что лица, причастные к манипуляциям с эмпирическими данными в качестве авторов статей, соискателей или научных руководителей, профессионально не соответствуют должностям научных и научно-педагогических сотрудников. Это должно быть учтено в ходе аттестации и при проведении конкурсов на должность. Такие лица должны быть по инициативе организаций, при которых функционируют диссертационные советы, отозваны из числа членов этих советов.
«Диссернет» приходит к выводу, что сотни случаев манипуляций с данными, которые прошли незамеченными при защите диссертаций в диссертационных советах и в ВАК, равно как и десятки случаев, когда уже после представления доказательств подмены данных некачественная экспертиза в ВАК «не обнаружила» манипуляции, позволяют выразить недоверие существующей системе научной аттестации.
Лица, причастные к некачественной экспертизе работ с подменой данных, должны быть навсегда отстранены от деятельности системы научной аттестации.
1. Мелихова Л., Ростовцев А. Катастрофа, которая стала нормой.
2. Гельфанд М. Уроки «Корчевателя».
3. Wakefield A. J. (1998). Ileal-lymphoid-nodular hyperplasia, non-specific colitis, and pervasive developmental disorder in children. The Lancet. Vol. 351, 9103, P. 637–641.
4. [Доклад «Диссернета» I]. Структура, объем и ключевые игроки диссеродельной индустрии в России.
5. The Retraction Watch Database. retractiondatabase.org
6. Fanelli D., Costas R., Larivière V. (2015) Misconduct Policies, Academic Culture and Career Stage, Not Gender or Pressures to Publish, Affect Scientific Integrity. PLoS ONE10(6): e0127556.
7. Абалкина А. Научный фальсификат.
8. Здесь и далее, где приводится пример экспертизы диссертации, вы можете посмотреть подробности на сайте «Диссернета», страница Экспертизы dissernet.org/expertise: для этого введите фамилию диссертанта (Игошин) на панели Фильтры справа.
10. Доклад Комиссии РАН «Кандидаты в члены-корреспонденты и академики РАН».
11. Метелкин В. ВАК в темпоральном капкане.
14. Персоны: Аношина Юлия Федоровна на сайте «Диссернета».
15. Персоны: Городецкий Дмитрий Игоревич на сайте «Диссернета».
16. Мелихова Л. Ландшафт журнального фейка по данным «Диссеропедии журналов».