Знаете ли вы, что если вы будете долго смотреть на скульптуры, то это сделает вас менее религиозными? Возможно, вы слышали, что сделав список того, что вас тревожит на экзамене, вы сможете вытянуть счастливый билет? И конечно же, все мы слыхали, что Google влияет на наши воспоминания. Эти выводы могут показаться сенсационными, но все они основаны на исследованиях в области социальных наук, которые представляют разные авторитетные журналы. Например, «Сайенс» («Наука»). То есть, им можно доверять.
Но тут есть только одна проблема: вся эта информация может быть неверной.
Фейки в науке?
Согласно недавнему анализу, опубликованному в журнале Nature Human Behavior, даже к исследованиям, опубликованным в ведущих журналах, следует относиться с осторожностью. Когда ученые попытались воспроизвести результаты 21 исследования социальных наук, опубликованных в период между 2010 и 2015 годами, они обнаружили, что почти в двух пятых случаев исходные результаты не могут быть получены.
Используя методы, одобренные авторами оригинальных исследований, группа ученых, возглавляемая Брайаном Носеком из Виргинского университета, проверила ключевой вывод каждой статьи. Чтобы повысить уровень уверенности, они даже увеличили размер выборки в среднем на пять.
Неутешительные результаты проверки
Удивительно, но результаты не могли быть воспроизведены в восьми из 21 исследования, что составляет 38%. А в 13 исследованиях, которые привели к результатам, соответствующим первоначальным выводам, измеренный эффект составлял лишь половину того, о чем говорили авторы. Это, по мнению Носека, очень удручающе, а реальная цифра может быть еще меньше при меньшем размере выборки. В заявлении для прессы ученый объяснил, что даже авторы проверенных исследований с подтвержденными результатами преувеличивают фактические размеры достигнутого ими эффекта. Другими словами, даже в ученом журнале можно встретить фейк.
Тенденциозность
Но и это еще не все. Многие публикации чрезвычайно тенденциозны. То есть публикуются исследования, где выводы преподносятся в провокационной и даже несколько рекламной манере, хотя на самом деле их результаты очень скучные и ничем особенным или необычным не выделяются. Это представляет собой угрожающую проблему, которая может иметь тревожные последствия.
«В последнее время теоретики начинают увлекаться подчеркиванием новизны и необычных открытий, - объясняет Ричард Клейн, который работал с Носеком в предыдущих исследованиях по верификации, - и на практике это приводит к публикациям, не соответствующим осторожным, основанным на доказательствах, выводах, на которых основана научная методология."
А как отреагировали ученые?
Хотя некоторые из авторов исследований, которые проверила группа Носека, протестуют против его обличений. другие относятся к этому более философски.
«Когда мы оглядываемся назад, то видим, что наше исследование было ужасно глупым», - заявил Уилл, чье знаменитое исследование 2011 года было признано одним из восьми, результаты которого невозможно воспроизвести. «Размер выборки был очень маленьким… Мне кажется, сегодня я бы вообще не стал этого публиковать», - добавил он. Именно Жерве предположил, что способность к аналитическому мышлению, которая пробуждается у нас, когда мы смотрим на статую Родена, вместе с другими факторами может повлиять на религиозные убеждения. «Мыслитель», без сомнения, является гениальным произведением, но вряд ли он может как-то повлиять на вашу веру в бога.
Другие ученые тоже прекрасно осознают эту проблему. Наряду с экспериментами по воспроизводимости результатов, Носек и его команда создали «рынок прогнозов», где исследователи могут делать ставки, какие результаты могут быть воспроизведены, а какие окажутся фейком. Они пришли к выводы, что в среднем можно воспроизвести около 61 процента результатов исследований – что очень близко к действительности. «Если исходный результат оказывается неожиданным, то есть высокая вероятность того, что автор неправ, - заметил Носек. - Следовательно, здесь очень актуален афоризм о том, что чрезвычайные заявления требуют чрезвычайных доказательств».
Реформация в социальных науках
Это не первый случай, когда Носек бросил вызов научному сообществу. В 2015 году он опубликовал исследование, целью которого было воспроизвести результаты 100 статей по психологии. Итог был таков, что почти две трети выводов этих исследований не могли быть проверены. Но, несмотря на такие неутешительные данные, ученый на удивление оптимистично смотрит в будущее научных исследований.
«Исследователи начинают серьезно воспринимать проверяемость результатов и ищут способы повысить доверие к своим работам, - уверяет он. - Это очень захватывающее время».
Представители научных изданий заявили, что они в последнее время поощряют авторов как можно больше проверять и объяснять свои результаты, чтобы обеспечить лучшую оценку и воспроизведение результатов. В последнее время издатели требуют от авторов заполнять анкету с информацией об их методике и полученных результатах начиная с 2013 года.
«Сейчас социально-поведенческие науки переживают своего рода реформацию, - пишет Носек в своих твитах. - Изменения происходят благодаря усилиям отдельных лиц и целых лабораторий, а также политике прозрачности со стороны редакторов и научных изданий ... И эти изменения ширятся… Надеюсь, что все заинтересованные лица извлекут выгоду из этой реформации, когда станет больше научной строгости с одной стороны, и прозрачности – с другой».
