Установено е, че психологическите изследвания са фалшиви в повече от 50% от случаите

2024 Автор: Seth Attwood | [email protected]. Последно модифициран: 2023-12-16 15:58

Има "силни пози", които изграждат увереност и намаляват хормоните на стреса. Когато хората държат чаша топла напитка в ръцете си, те стават по-приятелски настроени към околните. Силата на волята е ресурс, който изразходваме, когато устояваме на изкушението. Способността за отлагане на наградата определя бъдещия успех на детето.

Тези твърдения са много сходни едно с друго: зад тях стоят известни психологически изследвания, научнопопулярни бестселъри, колони в популярни списания и TED лекции.

Имат и още нещо общо: всички се оказаха сгрешили.

Кризата на възпроизводимостта постави под съмнение цели области на науката. Много от резултатите, които бяха широко цитирани в медиите, сега се считат за преувеличени или фалшиви. Когато учените се опитаха да повторят както класическите, така и последните психологически експерименти, резултатите бяха изненадващо последователни, като около половината от случаите бяха успешни, а другата половина бяха неуспешни.

Кризата най-накрая стана очевидна през 2015 г., когато учени, ръководени от Брайън Носек, провериха 100 психологически изследвания. Те са успели да постигнат първоначални резултати само в 36 случая. Главният редактор на Lancet Ричард Хортън скоро заяви:

„Обвиненията срещу науката са доста прости: поне половината от научната литература е просто погрешна. Страдайки от изследвания с малък размер на извадката, оскъден ефект и неправилни анализи, както и мания за модни тенденции със съмнителна важност, науката се обърна към невежеството.

Възпроизводимостта е едно от ключовите изисквания за научното познание. Колкото по-добре се възпроизвежда резултатът, толкова по-надежден е той - това е единственият начин да се отделят истинските модели от простите съвпадения

Но се оказа, че това изискване не винаги е изпълнено.

Кризата започна с медицината, но най-много засегна психологията. През лятото на 2018 г. учените се опитаха да възпроизведат селекция от психологически изследвания, публикувани в Science and Nature, най-престижните научни списания в света. От 21 експеримента само 13 бяха потвърдени - и дори в тези случаи първоначалните резултати бяха преувеличени с около 50%.

Често тестът за възпроизводимост се проваля от онези изследвания, които бяха широко тиражирани в медиите и успяха да повлияят на общественото съзнание. Например, произведенията, които търсачките нарушават паметта, а четенето на художествена литература развива способността за съпричастност. Ако повторните експерименти се провалят, това не означава, че първоначалните хипотези са безполезни. Но сега са необходими по-добри изследвания, за да се докажат.

Как да предскажем бъдещето със статистика

През 2011 г. известният американски психолог Дарил Бьом публикува статия, която доказва възможността за ясновидство. Това заключение не е продукт на буйното му въображение, а се основава на десетилетни изследвания, в които участват стотици хора. Мнозина подозираха, че Бьом е решил да уреди нещо като измама на Сокал и да разобличи психологията с фалшива статия с умишлено абсурдни заключения. Но по всички методологични стандарти статията беше много убедителна.

В един от експериментите на Behm пред участниците бяха поставени два екрана – те трябваше да отгатнат кое изображение се крие зад. Картината беше генерирана на случаен принцип веднага след избора. Ако участниците са свършили добра работа, това би означавало, че по някакъв начин могат да предвидят бъдещето. Експериментът използва два вида изображения: неутрални и порнографски.

Бьом предполага, че ако шестото чувство съществува, то вероятно има древен еволюционен произход. Ако е така, тогава е по-вероятно тя да е настроена към нашите най-древни нужди и пориви

Участниците предполагаха порнографски изображения в 53% от времето - малко по-често, отколкото би трябвало, ако бяха чиста случайност. Предвид големия брой експерименти, Бьом може да твърди, че предвидливостта съществува.

По-късно експертите откриха, че при анализиране на резултатите той използва не съвсем правилни методи. По правило резултатът от изследването се счита за надежден, ако вероятността да е получен случайно не надвишава 5%. Но има много начини да намалите тази стойност до необходимото ниво: променете първоначалните параметри на анализа, добавете или премахнете необходимия брой примери от извадката, използвайте по-успешни хипотези след събиране на данните.

Проблемът е, че не само Бьом, но и много други учени са използвали същите техники. Според проучване от 2011 г. почти половината от психолозите признават това

Когато ясновидската статия излезе, социалните учени Джоузеф Симънс, Лийф Нелсън и Ури Симонсън осъзнаха, че науката върви към собствената си гибел. Те изградиха няколко компютърни модела и установиха, че с помощта на доста стандартни статистически техники можете да увеличите нивото на фалшиво положителни резултати няколко пъти. Това означава, че формално научните методи могат лесно да доведат до напълно абсурдни заключения.

За да илюстрират това, учените проведоха експеримент, който потвърди, че слушането на песента „Когато съм на шестдесет и четири“прави слушателя с година и половина по-млад.

„Всички знаеха, че е грешно да се използват подобни техники, но смятаха, че това е нарушение по своята значимост – като пресичане на пътя на грешното място. Оказа се по-скоро като банков обир “, заключи Симънс.

Как да различим лошите изследвания от добрите

Скоро стана ясно, че проблемите с възпроизводимостта не се ограничават само до психологията. В изследванията на рака научните доказателства се подкрепят в 10-25% от случаите. В икономиката 7 от 18 лабораторни експеримента не успяха да се повторят. Изследванията на изкуствения интелект също показват признаци на криза.

Но загубата на вяра в науката, изглежда, все още не си струва. Учените вече са измислили няколко начина, които значително са подобрили надеждността и качеството на новите изследвания

Преди няколко години почти никой не публикува резултатите от повторни експерименти, дори и да са били проведени. Това не беше прието, не донесе стипендии и не допринесе за успешна научна кариера. Според проучване на Nature, повече от 70% от психолозите са се опитвали и не са успели да възпроизведат изследванията на други хора, около половината не са успели да повторят своите и почти никой не се е опитвал да публикува тези резултати.

Когато кризата на възпроизводимостта се появи, много се промени. Повтарящите се изследвания постепенно стават нещо обичайно; експериментални данни започнаха да се публикуват все по-често в публичното пространство; списанията започнаха да публикуват отрицателни резултати и да записват цялостния план на изследването още преди да са започнали.

Изследванията станаха по-обширни - извадка от 30–40 души, което беше съвсем стандартно в психологията, сега отговаря на много малко хора. Големи международни организации - като Psychological Science Accelerator - тестват същите хипотези в няколко лаборатории по света.

Преди да проверят статиите от Nature and Science, за които писахме в началото, учените бяха помолени да залагат на лотарията. Те трябваше да предскажат кое изследване ще премине теста и кое ще се провали. Като цяло тарифите бяха много точни. „Това означава, първо, че научната общност може да предвиди кои произведения ще могат да бъдат повторени, и второ, че невъзможността за възпроизвеждане на изследването не е просто съвпадение“, казват организаторите на експеримента.

Като цяло учените са добри в разграничаването на надеждни от ненадеждни изследвания - това е добра новина. Сега експерти от Центъра за отворена наука, заедно с агенцията DARPA, се опитват да създадат алгоритъм, който да изпълнява същата задача без човешка намеса.

Има твърде много статии, публикувани всяка година, за да се провери ръчно дори малка част от тях. Ако изкуственият интелект се заеме с работата, всичко ще бъде много по-лесно.

Още в първите тестове AI успешно се справи с прогнозите в 80% от случаите.

Какво прави изследванията най-често ненадеждни? Малки проби, несъответствия в числата, твърде красиво потвърждение на хипотези. А също и - желанието за усещания и твърде прости отговори на трудни въпроси.

Прекалено хубаво, за да е истина

Най-лесният начин да създадете сензационно изследване е чрез измама. Известният социален психолог Дидерик Стапел използва измислени данни в няколко десетки научни статии. Изследванията на Стапел се разпространяват из вестници и списания с голяма скорост, той получава няколко престижни научни награди, публикуван е в Science и е смятан за един от най-големите специалисти в своята област.

Веднъж се оказа, че дълго време Стапел изобщо не е провеждал изследвания, а просто измисля данни и ги дава на студентите за анализ.

Това е много рядко в науката. Много по-често шумните, но неправилни твърдения възникват по други причини. Хората отчаяно търсят прости, разбираеми и ефективни отговори на вълнуващи въпроси. Може да бъде много лесно да се изкушите да мислите, че имате тези отговори, дори ако наистина нямате. Стремежът към простота и сигурност е една от основните причини, поради които много изследвания не успяват да тестват за възпроизводимост. Ето някои забележителни примери.

Експеримент с маршмелоу

В експеримент децата бяха помолени да избират между една малка награда - като маршмелоу - която може да бъде получена веднага, и двойна награда, ако могат да изчакат малко. По-късно се оказа, че децата, получили втората награда, стават по-успешни в зряла възраст. Изследването стана много популярно и повлия на някои училищни програми.

През 2018 г. експериментът беше повторен на по-широка извадка. Оказа се, че богатството в семейството е много по-важен фактор, от който зависи и нивото на самоконтрол.

"Пози на сила" и "Пози на слабост"

Участниците в експеримента заеха една от двете пози за две минути: те се облегнаха на стол и хвърлиха краката си на масата („поза на силата“) или кръстосаха ръце на гърдите си („поза на слабост“). В резултат на това участниците от първата група се чувстваха по-уверени и по-често се съгласяваха да поемат рискове в хазарта. Тези, които седяха в силна позиция, повишават нивата на тестостерон, а тези, които седяха в слаба позиция, повишават кортизола. При многократни експерименти е възпроизведен само един ефект: „силовите пози“помагат на участниците да се чувстват по-уверени, но не променят тяхното поведение или хормонални параметри.

Асоциациите със старостта ви карат да се движите по-бавно

Участниците в експеримента бяха помолени да решат няколко пъзела. Ако в тях бяха вмъкнати думи, които се свързват със старостта – „забравил“, „възрастен“, „самотен“– тогава участниците напускаха стаята с по-бавно темпо.

В последните проучвания експериментът беше успешно възпроизведен само в един случай: ако самите експериментатори знаеха, че в тестовете участниците намекват за напреднала възраст. Самият ефект остана, но причините вече бяха други.

Топлите предмети правят хората по-дружелюбни

На участниците в експеримента беше позволено да държат чаша горещо или студено кафе за кратко време и след това бяха помолени да оценят личността на човека с кратко описание. Участниците, които държаха чаша горещо кафе, оцениха лицето като по-приятно. В друг експеримент участниците получиха артикул в топла или студена опаковка и след това бяха помолени да го запазят или да го дадат на приятел. Ако артикулът е бил увит в топла опаковка, участниците е по-вероятно да изберат втория вариант. Многократните експерименти с по-широка проба не дадоха такива резултати. Изглежда, че топлите дрехи няма да ви направят алтруист.

Силата на волята се изчерпва, когато устояваме на изкушенията

Пред участниците в експеримента бяха поставени две чинии – с бисквитки и репички. В първата група на участниците беше позволено да ядат бисквитки, а във втората - само репички. След това всеки участник беше помолен да реши невъзможен пъзел. Участниците, които ядоха само репички в първата част на експеримента, се отказаха много по-рано от останалите. При многократни експерименти резултатите не бяха потвърдени.

В някои случаи способността за самоконтрол не се изчерпва, а дори се засилва с времето. Сега много психолози смятат концепцията за „сила на волята“за твърде опростена.

В световната психология вече е направено много, за да направят изследванията по-надеждни и възпроизводими. В Русия този проблем все още не е разбран.

„В руската психология проблемите на кризата се занимават основно с научната младеж, която до голяма степен е ориентирана към западната наука“, каза Иван Иванчей, доцент в RANEPA, пред Knife. - Контролът върху качеството на публикациите на руски език по принцип не е много висок. Списанията рядко отхвърлят статии, така че се публикуват много нискокачествени изследвания. Често се използват малки проби, което също намалява вероятността за успешно възпроизвеждане. Има подозрение, че ако се заеме сериозно с въпроса за възпроизводимостта на рускоезичните произведения, могат да бъдат открити много проблеми. Но никой не участва пряко в това."

През януари 2019 г. стана известно, че руското правителство ще разшири значително изискванията към учените по отношение на броя на публикациите: минималният брой статии, публикувани годишно, трябва да нарасне с 30-50%.

Учени от влиятелния академик „Клуб 1 юли“разкритикуваха инициативата: „Задачата на науката не е да произвежда максимален брой публикации, а да изследва Вселената и да се възползва от знанията, придобити за човечеството“. Най-вероятно новите изисквания само ще увеличат мащаба на проблема.

Историята за кризата на възпроизводимостта не е история за идващия апокалипсис и нашествието на варварите. Ако кризата не беше настъпила, всичко щеше да бъде много по-лошо: все още щяхме да се позоваваме на погрешни изследвания с пълна увереност, че знаем истината. Може би времето на смелите заглавия като „британските учени доказаха“е към своя край. Но слуховете, че науката е мъртва, трябва да се считат за малко преувеличени.