Около 50% от научните експерименти се оказаха НЕвъзпроизводими

2024 Автор: Seth Attwood | [email protected]. Последно модифициран: 2023-12-16 15:58

Случайно в поток от новини и информация попаднах на статия в Nature Scientific Reports. В него са представени данни от проучване на 1500 учени относно възпроизводимостта на резултатите от научните изследвания. Ако по-рано този проблем беше повдиган за биологични и медицински изследвания, където от една страна е обясним (грешни корелации, общата сложност на изследваните системи, понякога дори научен софтуер), от друга страна, той има феноменологично характер (например, мишките са склонни да се държат различно с учени от различен пол (1 и 2)).

Не всичко обаче е гладко и с Повече ▼ природни науки като физика и инженерство, химия, екология. Изглежда, че точно тези дисциплини се основават на "абсолютно" възпроизводими експерименти, проведени при най-контролирани условия, уви, невероятен - във всеки смисъл на думата - резултат от проучването: до 70% изследователите са изправени пред Невъзпроизводим експерименти и резултати, получени не само от други групи учени, НО и от авторите/съавторите на публикувани научни трудове!

Всеки пясъчник хвали ли своето блато?

Въпреки че 52% от анкетираните посочват криза на възпроизводимостта в науката, по-малко от 31% смятат публикуваните данни за фундаментално неверни и мнозинството посочиха, че все още се доверяват на публикуваната работа.

Разбира се, не бива да се махнете от рамото и да линчувате цялата наука като такава само въз основа на това проучване: половината от анкетираните все още са учени, свързани по един или друг начин с биологичните дисциплини. Както отбелязват авторите, във физиката и химията нивото на възпроизводимост и увереност в получените резултати е много по-високо (виж графиката по-долу), но все още не е 100%. Но в медицината нещата са много зле в сравнение с останалите.

В съзнанието ми идва една шега:

Маркъс Мунафо, биологичен психолог от университета в Бристол, Англия, има дългогодишен интерес към възпроизводимостта на научните данни. Спомняйки си дните от студентските си дни, той казва:

Веднъж се опитах да възпроизведа експеримент от литература, който ми се струваше прост, но просто не успях. Имах криза на увереността, но след това осъзнах, че преживяването ми не е толкова рядко.

Проблем с дълбочината на географската ширина и дължина

Представете си, че сте учен. Попадате на интересна статия, но резултатите/експериментите не могат да бъдат възпроизведени в лабораторията. Логично е да пишете за това на авторите на оригиналната статия, да поискате съвет и да зададете уточняващи въпроси. Според проучването, по-малко от 20% са правили това някога в своята научна кариера!

Авторите на изследването отбелязват, че може би подобни контакти и разговори са твърде трудни за самите учени, защото разкриват тяхната некомпетентност и непоследователност по определени въпроси или разкриват твърде много подробности от настоящия проект.

Освен това, абсолютно малцинство учени се опитаха да публикуват опровержение на невъзпроизводими резултати, като същевременно се сблъскаха с опозиция от редактори и рецензенти, които поиска омаловажаване на сравнение с оригиналното изследване. Чудно ли е, че шансът да се отчете невъзпроизводимостта на научните резултати е около 50%.

Може би тогава си струва поне да се направи тест за възпроизводимост в лабораторията? Най-тъжното е, че една трета от анкетираните дори НИКОГА и не мисли за създаване на методи за проверка на данните за възпроизводимост. само 40% посочиха, че редовно използват такива техники.

Друг пример, биохимик от Обединеното кралство, който не пожела да разкрие името си, казва, че опитите за повторение, възпроизвеждане на работа за нейния лабораторен проект просто удвояват разходите за време и материали, без да дават или добавят нищо ново към работата. Допълнителни проверки се извършват само за иновативни проекти и необичайни резултати.

И, разбира се, вечните руски въпроси, които започнаха да измъчват чуждестранните колеги: кой е виновен и какво да прави?

Кой е виновен?

Авторите на работата идентифицират три основни проблема с възпроизводимостта на резултатите:

• Натиск от началниците да бъде публикуван навреме работата
• Селективно отчитане (очевидно това означава потискане на някои данни, които "развалят" цялата картина)
• Недостатъчен анализ на данните (включително статистически)

Какво да правя?

От 1500 анкетирани повече от 1000 специалисти се изказаха в полза на подобряването на статистиката при събирането и обработката на данни, подобряването на качеството на надзора от шефовете и по-стриктното планиране на експериментите.

Заключение и малко личен опит

Първо, дори за мен, като учен, резултатите са зашеметяващи, въпреки че съм свикнал с известна степен на невъзпроизводимост на резултатите. Това е особено очевидно в произведенията, изпълнявани от китайци и индийци без "одит" на трети страни под формата на американски/европейски професори. Добре е проблемът да бъде разпознат и да се помисли за неговото(ите) решение(я). Ще замълча тактично за руската наука във връзка с неотдавнашния скандал, въпреки че мнозина честно си вършат работата.

Второ, статията игнорира (или по-скоро не разглежда) ролята на научните метрики и рецензираните научни списания за възникването и развитието на проблема за невъзпроизводимостта на резултатите от изследванията. В преследване на бързината и честотата на публикациите (четене, увеличаване на индексите на цитиране), качеството рязко спада и няма време за допълнителна проверка на резултатите.

Както се казва, всички герои са измислени, но базирани на реални събития. Някак си един студент имаше възможност да прегледа статия, защото не всеки професор има време и енергия да чете обмислено статиите, така че се събира мнението на 2-3-4 студенти и лекари, от което се формира рецензията. Беше написан преглед, който посочи невъзпроизводимостта на резултатите според метода, описан в статията. Това беше ясно демонстрирано на професора. Но за да не се развалят отношенията с "колегите" - в края на краищата те успяват във всичко - прегледът беше "коригиран". И има публикувани 2 или 3 такива статии.

Получава се порочен кръг. Ученият изпраща статията до редактора на списанието, където посочва „ желано"И главно" нежелан »Рецензенти, тоест всъщност оставят само тези, които са положително настроени към авторския екип. Те преглеждат работата, но не могат да се „сраят в коментарите“и да се опитват да изберат по-малкото от двете злини - ето списък с въпроси, на които трябва да се отговори, и след това ще публикуваме статията.

Друг пример, за който редакторът на Nature говори само преди месец, са слънчевите панели на Grazel. Поради огромния интерес към тази тема в научната общност (в края на краищата те все още искат статия в Nature!), редакторите трябваше да създадат специален въпросник, в който трябва да посочат много параметри, да предоставят калибриране на оборудване, сертификати и др., за да се потвърди, че методът за измерване на панелите за ефективност отговаря на някои общи принципи и стандарти.

И, трети, когато за пореден път чуете за чудодейна ваксина, която завладява всичко и всички, нова история за Джобс в пола, нови батерии или опасностите/ползите от ГМО или излъчването на смартфони, особено ако е рекламирана от жълти писатели от журналистиката, след това се отнасяйте с разбиране и не правете прибързани заключения. Изчакайте потвърждението на резултатите от други групи учени, натрупването на масива и пробите от данни.

PS: Статията е преведена и написана набързо, за всички забелязани грешки и неточности, моля пишете в LAN.