Meta-știință II: Publicarea selectivă

În articolul trecut am discutat despre problemele din cercetare pornind de la un studiu celebru de-al lui John Ioannidis și concentrându-ne pe importanța replicării rezultatelor. O altă problemă la fel de mare sunt și erorile sistematice de publicare –publication bias–, la care o să ne uităm mai în detaliu în acest articol.

Cuprins

Publication bias

Medicină

Psihologie și științe sociale

Neuroștiință

Psihiatrie

Alte domenii

Exemple

Wishful seeing

Ego depletion

Reboxetina

Soluții

Detecție

Prevenție

Concluzii

 

Publication bias

În luna martie în 2006, șase voluntari au ajuns la un spital din Londra ca să participe la un studiu clinic. Era prima dată când un medicament numit TGN1412 era dat oamenilor și fiecare a primit câte 2.000£ pentru a participa. După o oră, cei șase au început să aibă dureri de cap și mușchi, să aibă temperatură ridicată și să uite temporar cine și unde sunt. În scurt timp toți aveau frisoane, pulsuri foarte mari și tensiune foarte scăzută. Apoi unul dintre ei a intrat în insuficiență respiratorie și plămânii i s-au umplut cu lichid. Altul a ajuns să aibă o tensiune foarte mică, n-a mai respirat și a fost dus inconștient la urgențe. N-a trecut nici o zi și toți aveau probleme de acest tip. Până la urmă, cu mari eforturi din partea medicilor, toți au scăpat cu viață.1

Întrebarea pe care și-a pus-o toată lumea a fost: putea fi anticipat acest dezastru? TGN1412 era un tratament experimental ce interacționa cu sistemul imunitar într-un mod puțin înțeles și greu de testat pe animale. Dar în acest caz exista o experiență cu o intervenție similară, doar că n-a fost publicată. Un cercetător a făcut un studiu pe o singură persoană înainte cu 10 ani, studiu în care a folosit un anticorp ce se ataşa de trei receptori, printre care şi CD28, cel de care se ataşa TGN1412. Şi participantului din acest studiu i s-a făcut rău, însă aceste rezultate n-au fost publicate. Cel care a condus experimentul s-a gândit că nu are rost să publice – până la urmă medicamentul testat n-a fost bun, deci cine ar putea fi interesat de el? În plus toată lumea făcea asta, nimeni nu publica toate experimentele. Și chiar dacă ar fi vrut să le publice, ce jurnal le-ar fi acceptat? Un studiu din 2009 a verificat câte dintre aceste experimente în care medicamentele sunt testate prima dată pe oameni sunt publicate. După ce autorii au luat în considerare toate experimentele aprobate de o comisie de etică într-un an, s-au uitat câte erau publicate după 4 ani: 9 din 10 erau nepublicate. După 8 ani? 4 din 5 erau încă nepublicate.1

Această întâmplare este descrisă în primele pagini din Bad Pharma de Ben Goldacre, care continuă cu un alt exemplu interesant. În anii ’80 în Statele Unite medicii au început să dea medicamente antiaritmice tuturor pacienților care au avut un atac de cord. Practica era justificată în teorie: antiaritmicele previn ritmurile cardiace anormale, cei care au suferit un atac de cord au ritmuri anormale, iar acestea sunt de multe ori nediagnosticate și netratate. Din nefericire, deși avea logică și era făcută din cele mai bune intenții, a fost o greșeală și a omorât oameni. Iar cum atacurile de cord erau destul de comune, în jur de 100.000 de oameni au murit înainte să se constate că pentru pacienții fără ritmuri cardiace anormale riscurile erau mai mari decât beneficiile.1

Putea cineva să prezică asta înainte să se întâmple? Ben Goldacre spune că da pentru că în 1980 a fost făcut un studiu clinic mic în care a fost testat un antiaritmic nou, numit lorcainidă. Participanții au fost bărbați care avuseseră un atac de cord în trecut. 9 din 48 care au luat lorcainidă au murit, comparativ cu doar 1 din 47 care au luat placebo. La scurt timp compania producătoare a renunțat la acest medicament din motive comerciale și nimeni nu s-a gândit să mai publice rezultatele experimentului. Dacă le-ar fi publicat, medicii ar fi fost mai precauți pentru că ar fi avut motive să fie. Din păcate, studiul a fost publicat abia după mai mult de un deceniu, ca exemplu de publication bias.1

Deci ce e publication bias? Pe scurt, în loc să fie publicate toate studiile, sunt publicate doar unele. Motivele pentru care se întâmplă asta sunt variate, de la lipsa de interes (rezultatul e unul plictisitor), la refuzul jurnalelor de a accepta studii (din nou, în mare parte pentru că sunt plictisitoare) și până la suprimarea rezultatelor care nu convin.

Existența erorilor sistematice de publicare a fost demonstrată de multă vreme. Să luăm ca exemplu un studiu din 1991. Autorii s-au uitat la 285 de proiecte de cercetare aprobate de o comisie de etică din Oxford în perioada 1984-1987. În 1990 rezultatele arătau cam așa:2

  • doar 52% erau publicate;
  • studiile cu rezultate semnificative au fost publicate mai des și în jurnale mai bune decât cele care n-au găsit diferențe între grupurile comparate;
  • studiile cu mai mulți participanți au fost publicate mai des decât cele cu mai puțini;
  • erorile sistematice de publicare au fost mai mari în cazul studiilor observaționale sau făcute în laboratoare comparativ cu studiile clinice.

Încă din anii ’80 existau registre de înregistrare a studiilor în anumite domenii, iar în 1990 Iain Chalmers (cel ce a fondat Colaborarea Cochrane în 1993) a declarat că neraportarea tuturor studiilor este fraudă științifică.3 Însă lucrurile s-au mișcat încet.

În prezent există dovezi mai mult decât suficiente că există erori sistematice de publicare și, cum zicea Ben Goldacre, nu mai avem nevoie de studii despre existența acestor erori, avem nevoie de soluții.4 Dar înainte să ne uităm la soluții, să vedem cum se manifestă problema.

Ce zic autorii studiilor? De ce nu le publică pe toate? Mai multă lume a fost curioasă de-a lungul timpului, așa că avem niște sondaje la care să ne uităm. Când autorii au fost întrebați de ce nu publică au zis că nu are niciun rost pentru că jurnalele oricum le-ar respinge rezultatele negative. Așa au zis 20% dintre cercetătorii din domeniul medical în 1998 și 61% dintre cei din psihologie și educație în 1991. Cele mai comune scuze au fost „rezultatele negative”, lipsa de interes (rezultatele au fost plictisitoare) sau lipsa de timp. Acestea rămân și în prezent principalele cauze ale publicării selective a rezultatelor. Interesant e că jurnalele deși resping anumite studii pe motiv că au rezultate negative, reprezintă doar o mică parte din problemă. De fapt, există unele jurnale care și-au făcut o regulă în a publica orice studii, indiferent de rezultate (Trials este unul dintre primele care a adoptat această practică).5

 

Medicină

Publicarea selectivă este un fenomen răspândit în medicină și urmează regulile generale: studiile cu rezultate pozitive sunt publicate mai des decât cele cu rezultate negative, studiile cu mai mulți participanți sunt publicate mai des decât cele cu mai puțini, studiile desfășurate în mai multe centre sau mai multe țări sunt publicate mai des, studiile finanțate de industrie sunt publicate mai rar decât cele independente, de-a lungul timpului nu s-a înregistrat o îmbunătățire a situației de la sine, iar cei care fac recenzii nu verifică suficient de mult dacă există publicare selectivă.35 Atunci când sunt incluse datele nepublicate (dar înregistrate la FDA), efectele sunt variate: în 46% din cazuri eficiența medicamentelor scade, în 7% rămâne la fel, iar în 46% crește. În studiile pe animale eficiența e exagerată și mai mult.36 Cu alte cuvinte, în aproape jumătate dintre cazuri, eficiența medicamentelor este mai mică decât spun studiile publicate. Asta e o problemă ce trebuie rezolvată.

Un alt mod de a evalua cât de mult se practică publicarea selectivă e să ne uităm la abstractele prezentate la conferințe. O recenzie Cochrane a făcut asta și din 30.000 de abstracte, doar 63% au fost publicate ulterior. Bineînțeles, cele cu rezultate pozitive au fost publicate mai des.37 În unele specializări numerele sunt și mai mici. De exemplu, doar 32% dintre abstractele prezentate la conferințe de neurochirurgie, doar 47% dintre cele de la conferințele de gastroenterologie și doar 42% dintre cele de la conferințe de nefrologie au fost publicate după patru ani și jumătate.38 În mod surprinzător nu jurnalele par să aibă vina principală ci autorii, care în cele mai multe cazuri nici nu încearcă să publice rezultate negative. Spre exemplu, dintre abstractele nepublicate de la conferințele de gastroenterologie, trei sferturi n-au fost trimise niciunde spre publicare.39

O să revenim la medicină mai târziu, când discutăm despre soluțiile propuse.

 

Psihologie și științe sociale

Și în psihologie avem parte de publication bias. Problema începe să fie recunoscută tot mai des și în ultimii ani au apărut mai multe studii care au încercat să estimeze magnitudinea ei. În 2012 a fost făcută o analiză a 91 de meta-analize publicate în jurnalele produse de American Psychological Association și Association for Psychological Science (practic în cele mai bune jurnale din domeniu). Doar 70% dintre aceste meta-analize au încercat să verifice dacă există publication bias și 41% au găsit că există. 63% au încercat să rezolve problemele căutând studii nepublicate, însă metoda pe care o foloseau probabil creștea numărul de erori în loc să îl scadă pentru că autorii de obicei „găseau” studii nepublicate de-ale lor. Se uitau ce studii nepublicate au prin sertare, le includeau în meta-analiză și considerau că au rezolvat problema erorilor de publicare.6

Într-un studiu foarte recent, autorii s-au uitat la un tip de experimente finanțate de National Science Foundation, în care s-a putut face comparație între ceea ce au colectat autorii și ceea ce au raportat, și au descoperit că 40% dintre studii nu au raportat toate condițiile experimentale, iar 70% nu au raportat toate variabilele incluse. Iar efectele care au ajuns să fie raportate erau de două ori mai mari decât cele care au rămas neraportate.67

Alți autori s-au uitat la articolele publicate recent în Psychological Science și în Science (aici doar la cele legate de psihologie). În ambele cazuri au descoperit un exces de rezultate pozitive de 82-83%.7 Din nou avem studii din jurnale de top și din nou găsim erori sistematice de publicare. Iar dacă ne uităm pe domenii, găsim aceeași imagine: există publication bias în cercetarea din științele sociale, din științele cognitive, în domeniul deciziilor (decision-making), în psihologia experimentală etc.8 Pe lângă erorile de publicare mai sunt și erori de raportate (se schimbă rezultatele primare cu cele secundare, se fac analize pe sub-grupuri etc.).

Toate aceste practici duc la un fenomen interesant: unele teorii nu mor niciodată. Deși sunt greșite. Cât timp sunt populare există riscul să fie considerate corecte pentru că cele mai multe studii sunt făcute de cei ce cred în ele, iar rezultatele negative nu sunt publicate. Pe urmă se fac meta-analize care arată că în medie există un efect. Dacă studiile individuale nu sunt înregistrate dinainte și nu se insistă pe replicare, orice teorie poate părea susținută de date. Acest lucru se întâmplă chiar și când cercetătorii au cele mai bune intenții și nu există deloc fraude. De multe ori în psihologie meta-analizele nu duc la rezolvarea unei controverse, ci la apariția a două meta-analize cu rezultate contradictorii.

Un exemplu este ideea că generațiile de azi sunt mai narcisiste decât cele de acum câteva decenii. În 2008 a fost publicată o meta-analiză care arăta că această idee e adevărată și alta care arăta exact opusul.  Autorii celei de-a doua au criticat-o pe prima din mai multe motive, printre care și faptul că a inclus multe studii mici care pot suferi de selecție preferențială, în timp ce meta-analiza lor a inclus date din studii mari și în total a avut de vreo 10 ori mai mulți participanți.9 Uitându-mă doar la aceste două meta-analize aș zice că narcisismul nu a crescut de-a lungul timpului, dar n-am citit și alte studii care au apărut de atunci. Însă partea interesantă este că două meta-analize pot atât de ușor să ajungă la concluzii diferite. Meta-analizele nu pot să compenseze lipsa replicărilor sau să elimine erorile sistematice de publicare – mai ales în cazurile în care efectele observate sunt mici. Efectul obținut într-o meta-analiză poate fi lipsit de sens dacă este mic și literatura e afectată de publicare selectivă.10

Așadar, dacă ai o ipoteză preferată, dar care nu a fost replicată cu succes (pentru că e falsă), fă o meta-analiză care o să-ți spună că ipoteza e „în medie” adevărată. Iar când apar critici, susține că e nevoie de mii de studii ascunse (nepublicate) pentru a neutraliza rezultatul obținut (mai multe despre asta într-un articol viitor).

În jur de 96% dintre articolele din psihologie care au testat o ipoteză au ajuns să o confirme, deși unele dintre ele nici măcar nu aveau puterea necesară să descopere efectele pe care le-au descoperit. Paradoxul e explicat de trei cercetători din Olanda arătând că strategia cea mai bună pentru a găsi rezultate semnificative e să faci cât mai multe studii mici, să te folosești de p-hacking, publicare selectivă și alte tehnici chestionabile. De exemplu, dacă ai la dispoziție 1000 de participanți și vrei niște rezultate frumoase, cel mai ușor e să faci mai multe experimente cu câte o sută și ceva de participanți în locul unuia mare în care să-i incluzi pe toți. Astfel, dacă îți ies 5 din 10 tot publici ceva.40

 

Neuroștiință

Există erori sistematice de publicare și în neuroștiință. Studiile în general au număr mic de participanți și, dacă regula observată în alte domenii se aplică, acestea au risc mai mare de a fi publicate selectiv. În practică, printre altele, se observă un astfel de efect la studiile de imagistică, la cele care care studiază volumul unor părți din creier sau la cele pe animale (pentru studierea unor tulburări neurologice).11

 

Psihiatrie

Să ne uităm la antidepresive. În 2008 Erick Turner, fost cercetător pentru FDA, a obținut datele despre studiile înregistrate la FDA pentru aprobarea antidepresivelor și le-a comparat cu ceea ce era publicat în jurnalele de specialitate. Cam așa arată ce-a descoperit:12

Antidepresive Rezultate
Pozitive Negative
Publicate 37 11*
Nepublicate 1 22

*Au fost publicate cu concluzii pozitive.

Aproape toate studiile cu rezultate pozitive au fost publicate, în schimb doar în jur de o treime dintre cele cu rezultate negative au fost publicate, dar n-au fost publicate ca studii negative, ci în concluzii scria că antidepresivele sunt bune, chiar dacă nu erau. Turner și colegii au observat că dacă ne uităm la literatura publicată, 94% dintre studiile despre antidepresive sunt pozitive, în timp ce dintre studiile înregistrate la FDA doar 51% sunt pozitive. Efectul perceput al antidepresivelor a fost umflat cu până la 69% (cu o medie de 32%).12 Analize mai noi arată rezultate asemănătoare, dar măcar efectul nu pare să fie umflat așa mult atunci când antidepresivele sunt folosite contra anxietății.13

La alte medicamente psihofarmacologice erorile sistematice de publicare nu sunt chiar așa de mari ca la antidepresive. De exemplu, în cazul neurolepticelor (folosite pentru schizofrenie) există publicare selectivă moderată. Aceeași situație e și în cazul intervențiilor psihoterapeutice pentru schizofrenie.14 Însă, în general, publicarea selectivă e foarte răspândită în psihiatrie.41

Și dacă am amintit de psihoterapie, există publicare selectivă și în cazul psihoterapiei pentru depresie, ceea ce probabil duce la o supraestimare a beneficiilor sale cu 25%. Și psihoterapia și antidepresivele sunt utile pentru depresie, dar efectele lor sunt mai mici decât se credea.15 În plus, dacă cel puțin unul dintre autorii unui studiu este practicant al psihoterapiei testate, efectul este mai mare cu 30%.16

O evaluare foarte recentă a studiilor clinice din psihiatrie publicate în jurnale care cer neapărat preînregistrarea arată că deși ar fi trebuit ca studiile să fie înregistrate înainte de a fi începute, mai puțin de 15% au fost înregistrate corespunzător și fără modificări ulterioare.17 Așa că metoda nu funcționează încă suficient de bine și trebuie implementată cu mai multă fermitate.

 

Alte domenii

Un articol din 2010 a sumarizat situația din mai multe domenii și a făcut o ierarhie în funcție de procentul de rezultate „pozitive”. Un rezultat „pozitiv” e unul care confirmă ipoteza testată. Rezultatele le puteți vedea mai jos.

Meta II. Publication bias
Procentul articolelor care au rezultate „pozitive”. Sursa: Fanelli (2010).

Procentul de rezultate pozitive a crescut de-a lungul timpului, iar anumite țări produc mai multe rezultate pozitive decât altele. Rusia, China și alte țări asiatice sunt în top, în anumite domenii lipsind complet rezultatele negative (tot ce se testează în Rusia și China se confirmă); la mijoc sunt Statele Unite; iar situația cea mai bună este în Europa, în special în Marea Britanie.18

Mai există și un alt fenomen asociat cu publication bias, citarea selectivă. Atunci când este publicat un articol, autorii ar trebui să prezinte și situația din domeniu până la momentul publicării, însă în loc să citeze și studii pro și studii contra, cei mai mulți citează doar studii care sunt în concordanță cu rezultatele experimentului lor. Într-o analiză a 150.000 de articole, doar 2,4% dintre citări au fost negative.22

Și cum tot există atât de multe studii despre publication bias, doi autori s-au gândit să verifice dacă și acestea suferă de publication bias. Ar fi fost ironic să afle că da, însă din fericire măcar acestea sunt lipsite de erori de publicare.19

 

Exemple

Ca și în articolul despre replicare, o să dau câteva exemple concrete. De data asta doar trei: percepția deziderativă (wishful seeing), epuizarea voinței/controlului (ego depletion) și un antidepresiv (reboxetina).

 

Wishful seeing

În 2010, doi cercetători (Balcetis și Dunning) au făcut o serie de cinci experimente în care participanții au dorit un obiect (de ex. un pahar cu apă când le era sete) și au fost puși să estimeze la ce distanță se află acel obiect. Distanța percepută a fost estimată în două feluri: unii au fost pur și simplu întrebați cât de departe li se pare obiectul, iar alții au fost puși să arunce ceva către acel obiect (de exemplu, vă puteți imagina că vă e sete și aruncați o monedă spre un pahar). Rezultatele celor cinci experimente arată că obiectul dorit este perceput ca fiind mai aproape.20 Prin extensie, putem spune că percepția este modelată de dorințele și stările noastre interioare – o idee care a apărut prin anii ’50 în ceea ce se numea psihologia „New Look”.

În 2012 apare o critică a acestui articol. Autorul acestei critici, Gregory Francis, argumentează că din cele 5 experimente făcute de Balcetis & Dunning este de așteptat ca doar 3 să aibă rezultate pozitive (dacă ne luăm după puterea lor de detecție a efectelor), dar toate rezultatele sunt pozitive. Sunt sugerate două posibile explicații. Pe de o parte ar putea fi vorba despre publication bias, ori pentru că autorii au făcut mai multe experimente și le-au raportat doar pe cele reușite, ori pentru că redactorul jurnalului a insistat ca articolul final să conțină doar experimentele reușite. Pe de altă parte, e posibil ca experimentele să fi fost făcute într-un mod impropriu ceea ce a crescut șansa ca rezultatele obținute să fie pozitive. Prin urmare, Francis recomandă să privim aceste rezultate ca „ne-științifice sau anecdotice” și, înainte de a crede că obiectele par mai aproape când ni le dorim, ar trebui să cerem experimente mai bune.21

 

Ego depletion

În 1998, Roy Baumeister a publicat un articol în care descria patru experimente pe care le-a făcut.23

  • În primul, oamenii care s-au forțat să mănânce ridichi în loc de ciocolată s-au dat bătuți mai repede când au fost puși să rezolve un puzzle fără soluție, comparativ cu oamenii care n-au trebuit să se abțină de la vreo mâncare;
  • În al doilea, participanții au fost puși într-o stare de disonanță cognitivă și apoi s-a observat aceeași răbdare scăzută la rezolvarea unui puzzle;
  • În al treilea, participanții au fost puși să-și suprime emoțiile, iar asta a dus la scăderea performanței la rezolvarea unor anagrame;
  • În al patrulea, participanții au fost puși să facă două lucruri foarte plictisitoare și pentru a renunța la al doilea unii trebuiau să apese un buton, iar alții să înceteze să apese un buton (pe care l-au ținut apăsat în continuu). Dacă primul lucru a necesitat mai multă concentrare, participanții au fost mai pasivi;

Aceste experimente au arătat că sinele are o voință care este limitată și „consumată” de activități care aparent nu au legătură unele cu altele. De-a lungul timpului au fost făcute mai multe experimente de acest fel și Roy Baumeister a formulat teoria că puterea voinței funcționează ca o resursă comună ce poate fi epuizată de diverse activități – ego depletion. Această teorie a fost confirmată de o meta-analiză din 2010 care a găsit că există un efect moderat.24

Mie îmi place mult Baumeister, mi-a plăcut și cartea sa, Willpower,25 deși în mod ironic mi-a luat foarte mult să o citesc. N-am avut o voință suficient de puternică să o citesc mai repede. Dar mi-a plăcut.

Totuși, începând cu 2013, o echipă de psihologi în frunte cu Evan Carter a început să pună sub semnul întrebării existența acestui efect de ego depletion. Principalul argument este că efectul obținut este în mare parte rezultatul unor studii mici și există semne de publicare selectivă. După corectarea acestor erori de publicare, Carter și colegii concluzionează că efectul dispare. Deși au primit un răspuns de la autorii meta-analizei din 2010, argumentul lor pare să reziste, iar ultimul articol, publicat în 2015,  continuă să arate că efectul este un artefact al publicării selective. Singura situație în care voința se epuizează este în cazul în care ne abținem de la ceva înainte de un test standardizat (un examen, să zicem), dar la modul general, puterea voinței nu funcționează ca o resursă limitată.26 Iar o altă meta-analiză de la sfârșitul anului 2015 a ajuns la concluzia că efectele sunt eterogene și în mare parte apar strict la deciziile legate de mâncare, nu la alte tipuri de decizii.27

Cu toate că îmi place Baumeister, sunt nevoit să fiu rezervat și să nu cred (încă) în ego depletion pentru că dovezile nu sunt convingătoare.

 

Reboxetina

Reboxetina este un medicament antidepresiv de tip SNRI (Selective Norepinephrine Reuptake Inhibitor) produs în principal de Pfizer. A fost aprobat în unele țări europene (ex.: Marea Britanie, Germania, Italia, Spania), dar nu și în Statele Unite. Studiile publicate arătau că este un antidepresiv la fel de bun ca și alte antidepresive.28

Apoi în 2009 a fost făcută o meta-analiză care a comparat 12 antidepresive și a descoperit că reboxetina e cel mai slab dintre toate:

„… în termeni de acceptabilitate, reboxetina a fost agentul cel mai puțin tolerat dintre cele 12 antidepresive și a fost semnificativ mai puțin eficient decât toate celelalte 11 medicamente. Prin urmare, reboxetina nu ar trebui folosită ca primă opțiune în tratarea depresiei majore.”29

Tot în 2009 a fost terminat raportul Institutului pentru Calitate și Eficiență în Sănătate din Germania (IQWiG) care a avut concluzii asemănătoare: reboxetina este ineficientă și posibil periculoasă.30 Cum s-a putut întâmpla așa ceva?

Pentru că au vrut să evalueze cât mai corect reboxetina, autorii raportului IQWiG au căutat toate studiile publicate și au cerut firmei Pfizer să pună la dispoziție și studiile nepublicate. Bineînțeles că Pfizer n-a fost prea bucuroasă și a refuzat de mai multe ori să facă asta, așa că autorii au decis să scrie în raport că nu se poate stabili dacă reboxetina este sigură și eficientă. În situația asta, Pfizer a fost forțată să pună la dispoziție studiile, iar raportul a putut fi întocmit și a avut concluziile pe care le-am scris mai sus.

În 2010, o meta-analiză a fost publicată în BMJ și a avut aceleași concluzii. În plus, a detaliat cum anume a fost posibil ca studiile de dinainte de 2009 să spună că reboxetina e la fel de eficientă ca alte antidepresive, când în realitate este inutilă. Răspunsul e simplu: publicarea selectivă a studiilor de către Pfizer. Mai exact, datele despre 74% dintre participanți n-au fost publicate! Iar datele publicate au supraestimat efectul reboxetinei cu 115% față de placebo.31

Ăsta e efectul pe care îl poate avea publicarea selectivă. Apropo, dacă vreți să vă jucați de-a firma producătoare, există un simulator în care puteți să faceți studii și apoi publicați ce vreți. Puteți să-l încercați aici.

 

Soluții

Detecție

De-a lungul timpului au fost propuse mai multe metode de a detecta publicarea selectivă. Cea mai populară (și simplă) metodă e construirea unei diagrame de tip pâlnie (funnel plot).32 Se iau toate studiile găsite și se ordonează în funcție de mărimea efectului (de exemplu, cât de bun e medicamentul) și de numărul de participanți (sau alte măsuri, cum ar fi eroarea standard, care depind direct de numărul de participanți). Dacă toate studiile făcute au fost publicate e de așteptat să obținem un grafic simetric. Dar mai bine să explic pe un exemplu concret.

Să zicem că participi la un experiment psihologic în care la început ești expus unor stimuli legați de reproducere (ex.: vezi poze cu o persoană atrăgătoare). Tocmai ai fost „ancorat”. Apoi ești pus să faci ceva fără legătură cu prima parte – să zicem că ești pus să răspunzi la niște întrebări cum ar fi „Cât bani ești dispus să dai pe acest ceas?”. Comparativ cu cei care n-au fost ancorați, studiile spun că o să ai tendința să cheltuiești mai mult. Efectul se numește ancorare romantică deși nu sună prea romantic. A, și probabil nici adevărat, dar pentru asta trebuie să vedem un funnel plot în acțiune.

Meta II Funnel Plot
Detectarea erorilor sistematice de publicare printr-o diagramă-pâlnie. Sursa: Neuroskeptic (iar sursa primară e Shanks et al., 2015).

Avem două tipuri de studii: originale și replicări. Dacă ne uităm la cele originale observăm că nu sunt distribuite simetric și că există o tendință ca studiile mai mari să fie mai aproape de zero decât cele mai mici (tendință indicată de linia roșie). Asta ne spune că probabil sunt studii care au fost făcute dar n-au fost publicate pentru că aveau rezultate neinteresante (sau nedorite de către promotorii ancorării romantice). Acum să ne uităm la replicări. Acestea sunt foarte aproape de forma ideală –un triunghi cu vârful în sus– ceea ce ne arată că probabil nu suferă de publicare selectivă. Și mai sunt cumva: centrate în jurul valorii 0. Combinând ce știm despre replicare cu ce am învățat despre publicarea selectivă putem trage concluzia că ancorarea romantică nu este un efect real. Sau poate sunt eu prea radical. Om trăi și-om vedea.

Mai există și alte teste prin care publicarea selectivă poate fi detectată. Unul dintre acestea, propus de John Ioannidis, ia în calcul numărul de studii cu rezultate pozitive și puterea acelor studii. Dacă sunt studii care nu au puterea de a găsi atâtea efecte câte au găsit, e semn de publicare selectivă.33 Aceasta este metoda folosită de Gregory Francis în exemplul de mai sus cu wishful seeing, în care autorii au prezentat 5 experimente și toate au găsit ce au vrut ei, deși era de așteptat ca doar 3 să facă asta, chiar dacă efectul ar fi fost real. Altă metodă propusă folosește distribuția valorilor p, alta folosește metode de corecție și mai sunt și altele.34

 

Prevenție

Metodele de mai sus sunt utile, dar nu sunt cea mai bună soluție. Există o soluție aproape magică: pre-înregistrarea (cercetătorii spun „o să fac acest studiu” înainte să-l facă).

Efectul pre-înregistrării studiilor. Sursa: Kaplan & Irvin (2015).
Efectul pre-înregistrării studiilor. Sursa: Kaplan & Irvin (2015).

În figura de mai sus, înainte ca studiile să fie pre-înregistrate, 57% dintre ele au avut rezultate pozitive. După, doar 8% au mai avut rezultate pozitive. Problema nu constă doar în publicarea sau nepublicarea unor studii ci și în felul în care sunt făcute. Dacă studiile sunt doar înregistrate, dar nu se dau detalii (care e ipoteza testată, ce o să fie măsurat la sfârșit, când o să fie sfârșitul, câți participanți o să fie înrolați etc.) și nu se publică toate datele la sfârșit, înregistrarea e aproape inutilă.42 Tocmai de aceea a fost propus și standardul CONSORT. Pentru ca un studiu să adere la acest standard, trebuie să îndeplinească mai multe criterii care asigură transparența (de exemplu, autorii trebuie să spună și să justifice dacă au făcut o modificare față de protocolul pre-înregistrat; trebuie să aibă un sumar clar care să nu omită măsurătorile principale și să conțină informații în concordanță cu articolul; ș.a.).43 Claritatea, transparența, pre-înregistrarea și publicarea datelor după încheierea studiului sunt soluția și pentru erorile sistematice de publicare și pentru tehnicile nepotrivite (ex.: HARKing). Din păcate, momentan aderența la CONSORT este mică, iar jurnalele nu sunt suficient de stricte, dar este și o veste bună: în ultima vreme a fost făcut progres – lucrurile merg spre bine.44

Încă din 2004, Comisia Internațională a Redactorilor de Jurnale Medicale (ICMJE) a propus ca toate jurnalele să accepte doar studii pre-înregistrate. Jurnalele mari au adoptat această propunere (ex. BMJ, Cortex), însă jurnalele mici încă nu.45 Într-un sondaj din 2013, doar 55 din 200 de jurnale au cerut pre-înregistrarea (și încă două au încurajat-o). Redactorii și editurile au explicat că nu au adoptat propunerea ICMJE din cauză că nu vor să piardă articole în favoarea altor jurnale concurente și că nu vor să respingă articole din țările în curs de dezvoltare. Redactorii BMJ spun că încă mai primesc multe studii care nu au fost înregistrate (în doar câteva luni cât au ținut evidența au primit 69). Mulți dintre autori cred că dacă nu au fost finanțați de industrie nu sunt afectați de erorile sistematice de publicare și deci nu e nevoie să înregistreze studiile. Alții spun că nu au avut timp sau cred că regulile nu se aplică în țările în curs de dezvoltare. Din fericire, majoritatea covârșitoare a studiilor trimise către BMJ sunt înregistrate corespunzător.46

Pre-înregistrarea nu funcționează dacă nu este însoțită de publicarea rezultatelor, așa că o parte din soluție este publicarea a ceea ce a fost înregistrat. În ultimii ani tot mai multe studii au început să fie înregistrate și tot mai multe publicate (chiar dacă uneori cu întârzieri). În tabelul următor am încercat să prezint pe scurt cum stau lucrurile pentru diverse domenii sau intervenții din domeniul medical. Nu este o analiză sistematică și e posibil ca între timp să fi apărut alte studii mai noi care prezintă situația mai recentă, chiar dacă am încercat să folosesc cele mai recente studii pe care le-am găsit.

Domeniu, tip Detalii Ref.
Chirurgie 65% înregistrate (dintre care 29% au avut discrepanțe favorizând în proporție de 90% rezultatele semnificative)

Dintre care 79% înregistrate corespunzător

47
Psihosomatică 53% înregistrate

Dintre care 62% înregistrate adecvat

Acum 5 ani: 20% înregistrate

48
Dureri de cap 26% înregistrate (39% dintre cele finanțate de industrie, 27% finanțate de mediul academic, 0% finanțate de guvern)

Doar 5% au fost înregistrate corespunzător

49
Cardiovascular (general) 45% înregistrate 50
Cardiovascular (dispozitive) 49% publicate, dintre care

26% au avut discrepanțe

51
Migrene 57% publicate (și încă 13% cu rezultate disponibile în alte locuri) 52
Sindromul durerilor regionale complexe 45% publicate 53
Durerea post AVC 45% publicate 53
Neurostimulare 46% publicate 53
Vaccinuri 82% publicate (cuprinzând 90% dintre participanți) 54
Pediatrie 29% publicate dintre cele duse până la capăt (dar doar 70% au fost duse până la capăt) 55
Medicamente pentru sportivi 59% publicate (80% au avut cel puțin o discrepanță) 56
Psihiatrie 33% înregistrate corespunzător

14% publicate fără alterări

57
Oncologie 82% înregistrate (67% corespunzător)

14% au avut discrepanțe la publicare

22% au avut rezultate interpretate greșit

58
Artrită 64% publicate 59
Boli rare 63% publicate sau cu date disponibile pe ClinicalTrials.gov 70
Acupunctură 19% înregistrate dintre care doar

55% corespunzător

60
Studii finanțate de NIH 68% publicate 61
Efecte adverse grave 74% publicate (dintre care 7% cu probleme)

Dintre cele publicate:

13% nu au menționat efecte adverse

2% nu au raportat niciunele

16% nu au raportat numărul lor

Dintre toate:

doar în 11% dintre cazuri a fost concordanță completă între înregistrare și publicație

62
Studii clinice mari 71% publicate 63
Studii observaționale 39% publicate 66

Situația studiilor publicate sau înregistrate în diverse domenii/sub-domenii.

 

Înregistrarea și publicarea studiilor trebuie îmbunătățite pentru a avea rezultate cât mai corecte. Dacă un studiu nu este pre-înregistrat nu înseamnă că putem să-l ignorăm. Rezultatele unui studiu nu sunt automat greșite dacă nu este înregistrat. Este vorba doar de un nivel mai înalt de dovezi. În unele cazuri este necesar, în altele nu – la fel cum studiile clinice sunt necesare pentru majoritatea tratamentelor, dar nu neapărat pentru toate (în articolul trecut dădeam ca exemplu insulina pentru diabetici). Dacă efectul observat este foarte mare, putem să fim siguri pe rezultat și fără o pre-înregistrare (ex: un vaccin cu o eficiență de 90%).

În medicină lucrurile merg spre bine pentru că tot mai multe studii sunt pre-înregistrate. De exemplu, în perioada 2004-2007 au fost înregistrate 29 mii, iar în perioada 2007-2010 au fost 41 mii, iar detaliile lipsă în general au devenit mai puține. Din 2004 până în 2013, numărul de studii înregistrate a crescut de cinci ori.64 Pe lângă faptul că nu toate studiile sunt înregistrate, alte probleme care trebuie rezolvate sunt întârzierile și discrepanțele între ceea ce se înregistrează („o să măsurăm asta”) și ceea ce se raportează la final („am măsurat altceva”). Nu vorbim aici de fraudă (adică schimbarea datelor), ci de flexibilitate prea mare în ceea ce este considerat important și ajunge să fie scos în evidență. În ce privește diferențele între studii în funcție de sursa de finanțare (industrie vs. fonduri guvernamentale), în unele cazuri sunt înregistrate și publicate mai mult cele finanțate de guverne, în alte cazuri cele finanțate de industrie, iar diferența nu este foarte mare.65 Recunosc că mă surprinde. Mă așteptam ca industria să stea mai rău pentru că în general opoziția față de transparență a venit din partea ei. Totuși, în studiile finanțate de industrie sunt făcute mai des schimbări față de protocoale.68

Până în prezent 538 de jurnale și 58 de organizații au semnat susținerea principiilor TOP (propuse de Center for Open Science) pentru transparență și date libere. Asta înseamnă că susțin transparența și se angajează ca într-un an de la semnare să facă un audit pentru adoptarea acestor practici. Majoritatea covârșitoare a jurnalelor semnatare sunt din domeniul medical, dar există și unele din psihologie sau științe sociale. Mai important de atât, TOP este un pas înainte și cu cât primește mai multă susținere, cu atât ne apropiem de momentul în care aceste principii vor deveni standard, așa cum sunt de facto în alte domenii, precum fizica. De exemplu, după descoperirea undelor gravitaționale, LIGO a pus la dispoziție toate datele și toate analizele, inclusiv codul sursă pentru anumite calcule.

În psihologie pre-înregistrarea nu este încă o practică răspândită. Există unele registre care pot fi folosite de cercetători: OSF (Open Science Framework), ClinicalTrials.gov (poate fi folosit pentru orice fel de studii, nu doar medicale), WHO Registry Network. Câteva jurnale importante au aderat deja la Registered Reports, sistem propus de OSF. Registered Reports e o idee cât se poate de bună: jurnalele acceptă sau resping un articol înainte ca datele să fie colectate. Poate o să întrebați ce-i nebunia asta. Cum să accepți să publici înainte ca omul să facă experimentul? Simplu: descrie în cel mai mic detaliu ce vrea să facă. Dacă metodologia e bună, trece de peer-review și poate să înceapă colectarea datelor (experimentul în sine). Dacă nu apar abateri importante, articolul e publicat, indiferent cât de interesante sunt rezultatele. Astfel se elimină și publicarea selectivă și practicile chestionabile folosite pentru analiza datelor. E un sistem pe care orice jurnal ar trebui să-l adopte.69

Pe lângă asta mai există și un sistem de embleme propus în 2014, astfel că fiecare articol primește niște embleme dacă pune la dispoziție datele sau dacă a fost preînregistrat. E o idee bună, dar nu cred că este suficientă pentru a rezolva problema publicării selective.

Articol din Psychological Science cu embleme pentru punerea la dispoziție a datelor și a materialelor.
Exemplu de articol din Psychological Science cu embleme pentru punerea la dispoziție a datelor și a materialelor.

O altă idee care încearcă să-i împingă pe cercetători în direcția potrivită e un premiu pentru pre-înregistrare. Center for Open Science va oferi în următorii ani 1000 de premii de câte 1000 $ unor cercetători care și-au pre-înregistrat experimentele.

Concluzii

Publicarea selectivă este una dintre problemele importante din știință care trebuie rezolvate. Ea apare în toate domeniile, dar în unele este mai gravă decât în altele. Din fericire această problemă începe să fie tot mai cunoscută și se depun eforturi pentru eliminarea ei. Există metode de detectare, dar soluția ideală este înregistrarea experimentelor înainte ca ele să fie făcute, precizând de la început detalii importante cum ar fi ce anume se urmărește, ce va fi măsurat sau cum vor fi analizate rezultatele.

Publicarea selectivă apare mai des la studii mici sau la studii observaționale. E important să fie publicate toate studiile pentru că altfel rezultatele sunt distorsionate. Pericolul cel mai mare este în situațiile în care efectele observate sunt mici. Am văzut că reboxetina (un antidepresiv) a părut eficientă din cauza erorilor sistematice de publicare, nu pentru că într-adevăr era, dar acest caz nu poate fi generalizat la toată medicina. Cu cât un efect este mai mic, cu atât riscul să fie un rezultat al publicării selective este mai mare. Nu e cazul să intrăm în panică, dar e cazul să ne dorim cercetare mai bună.

 

Recomandări:

Chris Chambers: My commitment to open science is valuing your commitment to open science. NeuroChambers, 2015.

Cancer Research UK: Good progress in clinical trials transparency, but we need to do more. ScienceBlogs, 2016.

Steven Novela: Registering Studies Reduces Positive Outcomes. Science-Based Medicine, 2015.

McGauran, N., Wieseler, B., Kreis, J., Schüler, Y. B., Kölsch, H., & Kaiser, T. (2010). Review: Reporting bias in medical research-a narrative. Trials 11:37.

AllTrials: Study finds poor clinical trial reporting from leading academic centres. 2016.

 

Note:

1: Goldacre (2012): pg. 8-11;
2: Easterbrook et al. (1991);
3: pentru registre vezi referințele 34-36 din Dickersin (1990), sau Chalmers et al. (1986) pentru un exemplu concret; pentru eforturile lui Iain Chalmers vezi Chalmers (1990) și Chalmers et al. (1992);
4: Vickers et al. (1998); Jennions & Møller (2002a, 2002b); Dwan et al. (2008); Turner et al. (2008); Young et al. (2008); Song et al. (2009); Francis (2012a); Kepes et al. (2012); Kicinski (2013); Kicinski et al. (2015); etc. etc.; pentru afirmația lui Ben Goldacre vezi articolul ăsta de pe Bad Science;
5: Goldacre (2012): pg. 36-37; Song et al. (2009); Song et al. (2014);
6: Ferguson & Brannick (2012);
7: Francis (2014); Francis et al. (2014);
8: Franco et al. (2014); Ioannidis et al. (2014); Renkewitz et al. (2011); Francis (2012a); Laws (2013);
9: Twenge et al. (2008); Trzesniewski et al. (2008);
10: Ferguson & Heene (2012);
11: Ioannidis (2011); Jennings & Van Horn (2012); Tsilidis et al. (2013);
12: Turner et al. (2008);
13: Naudet et al. (2013); Roest et al. (2015);
14: pt. neuroleptice: Turner, Knoepflmacher & Shapley (2012); pt. psihoterapie: Niemeyer et al. (2012);
15: Cuijpers et al. (2010); Driessen et al. (2015); Flint et al. (2015); dar vezi și Niemeyer et al. (2013) care a descoperit că eficiența psihoterapiei pentru depresie e doar marginal afectată de publicarea selectivă;
16: Dragioti et al. (2015); vezi și Researcher allegiance: the Achilles’ heel of psychotherapy trials;
17: Scott et al. (2015);
18: Fanelli (2012); Fanelli & Ioannidis (2013); Vickers et al. (1998);
19: Dubben & Beck-Hornboldt (2005);
20: Balcetis & Dunning (2010);
21: Francis (2012b);
22: Catalini et al. (2015); Ball (2015);
23: Baumeister et al. (1998);
24: Hagger et al. (2010);
25: Baumeister & Tierney (2011);
26: Carter & McCullough (2013), urmat de un răspuns de la Hagger & Chatzisarantis (2014); urmat de alte analize de la echipa lui Carter: Carter & McCullough (2014); Carter et al. (2015);
27: Orquin & Kurzban (2015);
28: Ferguson et al. (2002); Page (2003); Chuluunkhuu et al. (2008);
29: Cipriani et al. (2009);
30: IQWiG (2011);
31: Eyding et al. (2010);
32: Egger et al. (1997);
33: Ioannidis & Trikalinos (2007);
34: p-curve: Simonsohn, Nelson & Simmons (2014), dar vezi și critici precum Bishop & Thompson (2016) și Bruns & Ioannidis (2016); corecție: Talebi (2013);
35: Hall et al. (2007); von Elm et al. (2008); Hopewell et al. (2009); McGauran et al. (2010); Ahmed et al. (2012);
36: Hart et al. (2012); studiile pe animale: Sena et al. (2010);
37: Scherer et al. (2007);
38: Patel et al. (2011); Timmer et al. (2002); Harel et al. (2011); durata de 4,5 ani se referă doar la conferințele de nefrologie;
39: Lee et al. (2006); Timmer et al. (2002);
40: Bakker et al. (2012);
41: Turner (2013); McGauran et al. (2010);
42: Rasmussen et al. (2009);
43: Turner, Shamseer et al. (2012a);
44: Stevanovic et al. (2015); Münter et al. (2015); Turner, Shamseer et al. (2012b); To et al. (2013);
45: Taichman et al. (2016); Journal Cortex launches registred reports;
46: Wager & Williams (2013); Weber et al. (2015);
47: Killeen et al. (2014); vezi și Hannink et al. (2013), cu rezultate asemănătoare (67% studii înregistrate, dar 49% cu discrepanțe);
48: Riehm et al. (2015);
49: Rayhill et al. (2015);
50: Emdin et al. (2015);
51: Chang et al. (2015);
52: Dufka et al. (2014);
53: Dufka et al. (2015);
54: Manzoli et al. (2014);
55: Shamliyan & Kane (2012);
56: Chahal et al. (2012);
57: Scott et al. (2015);
58: You et al. (2011);
59: Khan et al. (2014);
60: Su et al. (2015);
61: Ross et al. (2012);
62: Tang et al. (2015); vezi și Hartung et al. (2014);
63: Jones et al. (2013);
64: Califf et al. (2012); Viergever & Li (2015);
65: Anderson et al. (2015); Jones et al. (2013);
66: Baudart et al. (2016);
67: Franco et al. (2016);
68: Ramagopalan et al. (2015);
69: Chambers (2015);
70: Dechartres et al. (2016);

Referințe:

Ahmed, I., Sutton, A. J., & Riley, R. D. (2012). Assessment of publication bias, selection bias, and unavailable data in meta-analyses using individual participant data: a database survey. BMJ, 344, d7762.

Anderson, M. L., Chiswell, K., Peterson, E. D., Tasneem, A., Topping, J., & Califf, R. M. (2015). Compliance with results reporting at ClinicalTrials.gov. New England Journal of Medicine, 372(11), 1031-1039.

Bakker, M., van Dijk, A., & Wicherts, J. M. (2012). The rules of the game called psychological science. Perspectives on Psychological Science, 7(6), 543-554.

Balcetis, E., & Dunning, D. (2010). Wishful seeing more desired objects are seen as closer. Psychological science, vol. 21, no. 1, pp. 147-152. (Abstract)

Ball, Philip (2015). Science papers rarely cited in negative ways. Nature News. doi:10.1038/nature.2015.18643

Baudart, M., Ravaud, P., Baron, G., Dechartres, A., Haneef, R., & Boutron, I. (2016). Public availability of results of observational studies evaluating an intervention registered at ClinicalTrials.gov. BMC medicine, 14(1), 1.

Baumeister, R. F., Bratslavsky, E., Muraven, M., & Tice, D. M. (1998). Ego depletion: is the active self a limited resource?. Journal of personality and social psychology, 74(5), 1252.

Baumeister, R. F., & Tierney, J. (2011). Willpower: Rediscovering the greatest human strength. Penguin.

Bishop, D. V., & Thompson, P. A. (2016). Problems in using p-curve analysis and text-mining to detect rate of p-hacking and evidential value. PeerJ, 4, e1715.

Bruns, S. B., & Ioannidis, J. P. (2016). p-Curve and p-Hacking in Observational Research. PloS one, 11(2), e0149144.

Califf, R. M., Zarin, D. A., Kramer, J. M., Sherman, R. E., Aberle, L. H., & Tasneem, A. (2012). Characteristics of clinical trials registered in ClinicalTrials. gov, 2007-2010. JAMA, 307(17), 1838-1847.

Carter, E. C., & McCullough, M. E. (2013). Is ego depletion too incredible? Evidence for the overestimation of the depletion effect. Behavioral and Brain Sciences, 36(06), 683-684.

Carter, E. C., & McCullough, M. E. (2014). Publication bias and the limited strength model of self-control: has the evidence for ego depletion been overestimated?. Frontiers in psychology, 5.

Carter, E. C., Kofler, L. M., Forster, D. E., & McCullough, M. E. (2015). A Series of Meta-Analytic Tests of the Depletion Effect: Self-Control does not Seem to Rely on a Limited Resource. Journal of Experimental Psychology: General, Vol 144(4), 796-815.

Catalini, C., Lacetera, N., & Oettl, A. (2015). The incidence and role of negative citations in science. Proceedings of the National Academy of Sciences, 112(45), 13823-13826. (Abstract)

Chahal, J., Tomescu, S. S., Ravi, B., Bach, B. R., Ogilvie-Harris, D., Mohamed, N. N., & Gandhi, R. (2012). Publication of sports medicine–related randomized controlled trials registered in ClinicalTrials.gov. The American journal of sports medicine, 0363546512448363. (Abstract)

Chalmers, I. (1990). Underreporting research is scientific misconduct. JAMA, 263(10), 1405. (Abstract)

Chalmers, I., Hetherington, J., Newdick, M., Mutch, L., Grant, A., Enkin, M., … & Dickersin, K. (1986). The Oxford Database of Perinatal Trials: developing a register of published reports of controlled trials. Controlled clinical trials, 7(4), 306-324.

Chalmers, I., Dickersin, K., & Chalmers, T. C. (1992). Getting to grips with Archie Cochrane’s agenda. Bmj, 305(6857), 786-788.

Chambers, C. D. (2015). Ten reasons why journals must review manuscripts before results are known. Addiction, 110(1), 10-11.

Chang, L., Dhruva, S. S., Chu, J., Bero, L. A., & Redberg, R. F. (2015). Selective reporting in trials of high risk cardiovascular devices: cross sectional comparison between premarket approval summaries and published reports. bmj, 350, h2613.

Chuluunkhuu, G. A. N. D. U. L. A. M., Nakahara, N., Yanagisawa, S., & Kamae, I. (2008). The efficacy of reboxetine as an antidepressant, a meta-analysis of both continuous (mean HAM-D score) and dichotomous (response rate) outcomes. Kobe J Med Sci, 54(2), E147-58.

Cipriani, A., Furukawa, T. A., Salanti, G., Geddes, J. R., Higgins, J. P., Churchill, R., … & Tansella, M. (2009). Comparative efficacy and acceptability of 12 new-generation antidepressants: a multiple-treatments meta-analysis. The Lancet, 373(9665), 746-758.

Cuijpers, P., Smit, F., Bohlmeijer, E., Hollon, S. D., & Andersson, G. (2010). Efficacy of cognitive–behavioural therapy and other psychological treatments for adult depression: meta-analytic study of publication bias. The British Journal of Psychiatry, 196(3), 173-178. (Abstract)

Dechartres A, Riveros C, Harroch M, Faber T, Ravaud P (2016). Characteristics and Public Availability of Results of Clinical Trials on Rare Diseases Registered at Clinicaltrials.gov. JAMA Intern Med. Published online March 07. doi:10.1001/jamainternmed.2016.0137. (Abstract)

Dickersin, K. (1990). The existence of publication bias and risk factors for its occurrence. JAMA, 263(10), 1385-1389.

Dragioti E, Dimoliatis I, Fountoulakis KN, Evangelou E (2015). A systematic appraisal of allegiance effect in randomized controlled trials of psychotherapy. Ann. Gen. Psychiatry 14, 25.

Driessen E, Hollon SD, Bockting CLH, Cuijpers P, Turner EH (2015). Does Publication Bias Inflate the Apparent Efficacy of Psychological Treatment for Major Depressive Disorder? A Systematic Review and Meta-Analysis of US National Institutes of Health-Funded Trials. PLoS ONE 10(9): e0137864. doi:10.1371/journal.pone.0137864

Dubben, H. H., & Beck-Bornholdt, H. P. (2005). Systematic review of publication bias in studies on publication bias. BMJ, 331(7514), 433-434.

Dufka, F. L., Dworkin, R. H., & Rowbotham, M. C. (2014). How transparent are migraine clinical trials?: Repository of Registered Migraine Trials (RReMiT). Neurology, 83(15), 1372–1381. doi:10.1212/WNL.0000000000000866

Dufka, F. L., Munch, T., Dworkin, R. H., & Rowbotham, M. C. (2015). Results availability for analgesic device, complex regional pain syndrome, and post-stroke pain trials: comparing the RReADS, RReACT, and RReMiT databases. Pain, 156(1), 72–80. doi:10.1016/j.pain.0000000000000009

Dwan K, Altman DG, Arnaiz JA, Bloom J, Chan A-W, et al. (2008). Systematic Review of the Empirical Evidence of Study Publication Bias and Outcome Reporting Bias. PLoS ONE 3(8): e3081. doi:10.1371/journal.pone.0003081

Easterbrook, P. J., Gopalan, R., Berlin, J. A., & Matthews, D. R. (1991). Publication bias in clinical research. The Lancet, 337(8746), 867-872. (Abstract)

Egger, M., Smith, G. D., Schneider, M., & Minder, C. (1997). Bias in meta-analysis detected by a simple, graphical test. Bmj, 315(7109), 629-634.

Emdin, C., Odutayo, A., Hsiao, A., Shakir, M., Hopewell, S., Rahimi, K., & Altman, D. G. (2015). Association of Cardiovascular Trial Registration With Positive Study Findings: Epidemiological Study of Randomized Trials (ESORT). JAMA internal medicine, 175(2), 304-307. (Abstract)

Eyding D, Lelgemann M, Grouven U, Harter M, Kromp M, Kaiser T, et al. (2010). Reboxetine for acute treatment of major depression: systematic review and meta-analysis of published and unpublished placebo and selective serotonin reuptake inhibitor controlled trials. BMJ. Oct 12;341:c4737–c4737

Fanelli, D. (2010). “Positive” results increase down the hierarchy of the sciences. PLoS One, 5, Article e10068. doi:10.1371/journal.pone.0010068

Fanelli, D. (2012). Negative results are disappearing from most disciplines and countries. Scientometrics, 90(3), 891-904.

Fanelli, D., & Ioannidis, J. P. (2013). US studies may overestimate effect sizes in softer research. Proceedings of the National Academy of Sciences, 110(37), 15031-15036.

Ferguson, J. M., Mendels, J., & Schwartz, G. E. (2002). Effects of reboxetine on Hamilton Depression Rating Scale factors from randomized, placebo-controlled trials in major depression. International clinical psychopharmacology, 17(2), 45-51. (Abstract)

Ferguson, C. J., & Brannick, M. T. (2012). Publication bias in psychological science: prevalence, methods for identifying and controlling, and implications for the use of meta-analyses. Psychological methods, 17(1), 120.

Ferguson, C. J., & Heene, M. (2012). A vast graveyard of undead theories publication bias and psychological science’s aversion to the null. Perspectives on Psychological Science, 7(6), 555-561.

Flint, J., Cuijpers, P., Horder, J., Koole, S. L., & Munafò, M. R. (2015). Is there an excess of significant findings in published studies of psychotherapy for depression? Psychological Medicine, 45(2), 439–446. http://doi.org/10.1017/S0033291714001421

Francis, G. (2012a). Publication bias and the failure of replication in experimental psychology. Psychonomic Bulletin & Review, 19(6), 975-991.

Francis, G. (2012b). The same old New Look: Publication bias in a study of wishful seeing. I-Perception, 3(3), 176–178. http://doi.org/10.1068/i0519ic

Francis, G. (2014). The frequency of excess success for articles in Psychological Science. Psychonomic bulletin & review, 21(5), 1180-1187. (Abstract)

Francis G, Tanzman J, Matthews WJ (2014). Excess Success for Psychology Articles in the Journal Science. PLoS ONE 9(12): e114255. doi:10.1371/journal.pone.0114255

Franco, A., Malhotra, N., & Simonovits, G. (2014). Publication bias in the social sciences: Unlocking the file drawer. Science, 345(6203), 1502-1505.

Franco, A., Malhotra, N., & Simonovits, G. (2016). Underreporting in Psychology Experiments Evidence From a Study Registry. Social Psychological and Personality Science, 7(1), 8-12. (Abstract)

Goldacre, Ben (2012). Bad Pharma: How Drug Companies Mislead Doctors and Harm Patients. Faber and Faber, Inc.

Hagger, M. S., Wood, C., Stiff, C., & Chatzisarantis, N. L. (2010). Ego depletion and the strength model of self-control: A meta-analysis. Psychological Bulletin, 136, 495–525.

Hagger, M. S., & Chatzisarantis, N. L. (2014). It is premature to regard the ego-depletion effect as “Too Incredible”. Frontiers in psychology, 5. http://dx.doi.org/10.3389/fpsyg.2014.00298

Hall, R., de Antueno, C., & Webber, A. (2007). Publication bias in the medical literature: a review by a Canadian Research Ethics Board. Canadian Journal of Anesthesia, 54(5), 380-388.

Hannink, G., Gooszen, H. G., & Rovers, M. M. (2013). Comparison of registered and published primary outcomes in randomized clinical trials of surgical interventions. Annals of surgery, 257(5), 818-823. (Abstract)

Harel, Z., Wald, R., Juda, A., & Bell, C. M. (2011). Frequency and factors influencing publication of abstracts presented at three major nephrology meetings. International archives of medicine, 4(1), 1.

Hart, B., Lundh, A., & Bero, L. (2012). Effect of reporting bias on meta-analyses of drug trials: reanalysis of meta-analyses. BMJ, 344, d7202.

Hartung, D., Zarin, D. A., Guise, J.-M., McDonagh, M., Paynter, R., & Helfand, M. (2014). Reporting Discrepancies between the ClinicalTrials.gov Results Database and Peer Reviewed Publications. Annals of Internal Medicine, 160(7), 477–483. http://doi.org/10.7326/M13-0480

Hopewell, S., Loudon, K., Clarke, M. J., Oxman, A. D., & Dickersin, K. (2009). Publication bias in clinical trials due to statistical significance or direction of trial results. Cochrane Database Syst Rev, 1(1).

Institute for Quality and Efficiency in Health Care (IQWiG) (2011). Bupropion, mirtazapine, and reboxetine in the treatment of depression: Executive summary of final report A05-20C, Version 1.1.

Ioannidis, J. P. (2011). Excess significance bias in the literature on brain volume abnormalities. Arch. Gen. Psychiatry 68, 773–780.

Ioannidis, J. P., & Trikalinos, T. A. (2007). An exploratory test for an excess of significant findings. Clinical Trials, 4(3), 245-253.

Ioannidis, J. P. A., Munafò, M. R., Fusar-Poli, P., Nosek, B. A., & David, S. P. (2014). Publication and other reporting biases in cognitive sciences: detection, prevalence and prevention. Trends in Cognitive Sciences, 18(5), 235–241. http://doi.org/10.1016/j.tics.2014.02.010

Jennions, M. D., & Møller, A. P. (2002a). Relationships fade with time: a meta-analysis of temporal trends in publication in ecology and evolution. Proceedings of the Royal Society B: Biological Sciences, 269(1486), 43–48. http://doi.org/10.1098/rspb.2001.1832

Jennions, M. D., & Møller, A. P. (2002b). Publication bias in ecology and evolution: an empirical assessment using the ‘trim and fill’ method. Biological Reviews of the Cambridge Philosophical Society, 77(02), 211-222.

Jennings, R. G., & Van Horn, J. D. (2012). Publication bias in neuroimaging research: Implications for meta-analyses. Neuroinformatics, 10(1), 67–80. doi:10.1007/s12021-011-9125-y

Jones, C. W., Handler, L., Crowell, K. E., Keil, L. G., Weaver, M. A., & Platts-Mills, T. F. (2013). Non-publication of large randomized clinical trials: cross sectional analysis. BMJ, 347, f6104. (Abstract)

Kaplan RM, Irvin VL (2015). Likelihood of Null Effects of Large NHLBI Clinical Trials Has Increased over Time. PLoS ONE 10(8): e0132382. doi:10.1371/journal.pone.0132382

Kepes, S., Banks, G. C., McDaniel, M., & Whetzel, D. L. (2012). Publication bias in the organizational sciences. Organizational Research Methods, 15(4), 624-662.

Khan, N. A., Singh, M., Spencer, H. J., & Torralba, K. D. (2014). Randomized controlled trials of rheumatoid arthritis registered at ClinicalTrials.gov: what gets published and when. Arthritis & Rheumatology, 66(10), 2664-2674.

Kicinski M (2013). Publication Bias in Recent Meta-Analyses. PLoS ONE 8(11): e81823. doi:10.1371/journal.pone.0081823

Kicinski, M., Springate, D. A., & Kontopantelis, E. (2015). Publication bias in meta-analyses from the Cochrane Database of Systematic Reviews. Statistics in medicine. (Abstract)

Killeen, S., Sourallous, P., Hunter, I. A., Hartley, J. E., & Grady, H. L. (2014). Registration rates, adequacy of registration, and a comparison of registered and published primary outcomes in randomized controlled trials published in surgery journals. Annals of surgery, 259(1), 193-196. (Abstract)

Laws, K. R. (2013). Negativland – a home for all findings in psychology. BMC Psychology, 1(1), 2. doi:10.1186/2050-7283-1-2

Lee, K. P., Boyd, E. A., Holroyd-Leduc, J. M., Bacchetti, P., & Bero, L. A. (2006). Predictors of publication: characteristics of submitted manuscripts associated with acceptance at major biomedical journals. Medical Journal of Australia, 184(12), 621.

Manzoli, L., Flacco, M. E., D’Addario, M., Capasso, L., De Vito, C., Marzuillo, C., … & Ioannidis, J. P. (2014). Non-publication and delayed publication of randomized trials on vaccines: survey. BMJ; 348:g3058.

McGauran, N., Wieseler, B., Kreis, J., Schüler, Y. B., Kölsch, H., & Kaiser, T. (2010). Review Reporting bias in medical research-a narrative. Trials 11:37.

Münter, N. H., Stevanovic, A., Rossaint, R., Stoppe, C., Sanders, R. D., & Coburn, M. (2015). CONSORT item adherence in top ranked anaesthesiology journals in 2011: A retrospective analysis. European Journal of Anaesthesiology (EJA), 32(2), 117-125. (Abstract)

Naudet, F., Millet, B., Charlier, P., Reymann, J. M., Maria, A. S., & Falissard, B. (2013). Which placebo to cure depression? A thought-provoking network meta-analysis. BMC Medicine, 11, 230. http://doi.org/10.1186/1741-7015-11-230

Niemeyer, H., Musch, J., & Pietrowsky, R. (2012). Publication bias in meta-analyses of the efficacy of psychotherapeutic interventions for schizophrenia. Schizophrenia research, 138(2), 103-112. (Abstract)

Niemeyer, H., Musch, J., & Pietrowsky, R. (2013). Publication bias in meta-analyses of the efficacy of psychotherapeutic interventions for depression. Journal of consulting and clinical psychology, 81(1), 58.

Orquin, J., & Kurzban, R. (2015). A Meta-Analysis of Blood Glucose Effects on Human Decision Making. Psychological Bulletin DOI: 10.1037/bul0000035 (Abstract)

Page, M. E. (2003). The promises and pitfalls of reboxetine. CNS drug reviews, 9(4), 327-342.

Patel, A. J., Cherian, J., Fox, B. D., Whitehead, W. E., Curry, D. J., Luerssen, T. G., & Jea, A. (2011). Publication patterns of oral and poster presentations at the annual meetings of the Congress of Neurological Surgeons and the American Association of Neurological Surgeons: Clinical article. Journal of neurosurgery, 115(6), 1258-1261.

Ramagopalan, S. V., Skingsley, A. P., Handunnetthi, L., Magnus, D., Klingel, M., Pakpoor, J., & Goldacre, B. (2015). Funding source and primary outcome changes in clinical trials registered on ClinicalTrials.gov are associated with the reporting of a statistically significant primary outcome: a cross-sectional study. F1000Research, 4.

Rasmussen, N., Lee, K., & Bero, L. (2009). Association of trial registration with the results and conclusions of published trials of new oncology drugs. Trials, 10(116), 4.

Rayhill, M. L., Sharon, R., Burch, R., & Loder, E. (2015). Registration status and outcome reporting of trials published in core headache medicine journals. Neurology, 85(20), 1789-1794. (Abstract)

Renkewitz, F., Fuchs, H. M., & Fiedler, S. (2011). Is there evidence of publication biases in JDM research. Judgment and decision making, 6(8), 870-881.

Riehm, K. E., Azar, M., & Thombs, B. D. (2015). Transparency of outcome reporting and trial registration of randomized controlled trials in top psychosomatic and behavioral health journals: A 5-year follow-up. Journal of psychosomatic research. Vol. 79, No. 1, pp 1-12. http://dx.doi.org/10.1016/j.jpsychores.2015.04.010  (Abstract)

Roest, A. M., de Jonge, P., Williams, C. D., de Vries, Y. A., Schoevers, R. A., & Turner, E. H. (2015). Reporting bias in clinical trials investigating the efficacy of second-generation antidepressants in the treatment of anxiety disorders: a report of 2 meta-analyses. JAMA psychiatry, 72(5), 500-510.

Ross, J. S., Tse, T., Zarin, D. A., Xu, H., Zhou, L., & Krumholz, H. M. (2012). Publication of NIH funded trials registered in ClinicalTrials.gov: cross sectional analysis. Bmj, 344, d7292.

Scott A, Rucklidge JJ, Mulder RT (2015). Is Mandatory Prospective Trial Registration Working to Prevent Publication of Unregistered Trials and Selective Outcome Reporting? An Observational Study of Five Psychiatry Journals That Mandate Prospective Clinical Trial Registration. PLoS ONE 10(8): e0133718. doi:10.1371/journal.pone.0133718

Scherer, R. W., Langenberg, P., & von Elm, E. (2007). Full publication of results initially presented in abstracts. Cochrane Database Syst Rev, 2(2).

Scott, A., Rucklidge, J. J., & Mulder, R. T. (2015). Is Mandatory Prospective Trial Registration Working to Prevent Publication of Unregistered Trials and Selective Outcome Reporting? An Observational Study of Five Psychiatry Journals That Mandate Prospective Clinical Trial Registration. PLoS ONE, 10(8), e0133718. http://doi.org/10.1371/journal.pone.0133718

Sena, E. S., Van Der Worp, H. B., Bath, P. M., Howells, D. W., & Macleod, M. R. (2010). Publication bias in reports of animal stroke studies leads to major overstatement of efficacy. PLoS Biol, 8(3), e1000344.

Shamliyan, T., & Kane, R. L. (2012). Clinical research involving children: registration, completeness, and publication. Pediatrics, 129(5), e1291-e1300.

Shanks DR, Vadillo MA, Riedel B, Clymo A, Govind S, Hickin N, Tamman AJ, & Puhlmann LM (2015). Romance, Risk, and Replication: Can Consumer Choices and Risk-Taking Be Primed by Mating Motives? Journal of experimental psychology. General PMID: 26501730

Simonsohn, U., Nelson, L. D., & Simmons, J. P. (2014). P-curve: A key to the file-drawer. Journal of Experimental Psychology: General, 143(2), 534.

Song, F., Parekh-Bhurke, S., Hooper, L., Loke, Y. K., Ryder, J. J., Sutton, A. J., … & Harvey, I. (2009). Extent of publication bias in different categories of research cohorts: a meta-analysis of empirical studies. BMC Medical research methodology, 9(1), 79.

Song F, Loke Y, Hooper L (2014). Why Are Medical and Health-Related Studies Not Being Published? A Systematic Review of Reasons Given by Investigators. PLoS ONE 9(10): e110418. doi:10.1371/journal.pone.0110418

Stevanovic A, Schmitz S, Rossaint R, Schürholz T, Coburn M (2015). CONSORT Item Reporting Quality in the Top Ten Ranked Journals of Critical Care Medicine in 2011: A Retrospective Analysis. PLoS ONE 10(5): e0128061. doi:10.1371/journal.pone.0128061

Su, C. X., Han, M., Ren, J., Li, W. Y., Yue, S. J., Hao, Y. F., & Liu, J. P. (2015). Empirical evidence for outcome reporting bias in randomized clinical trials of acupuncture: comparison of registered records and subsequent publications. Trials, 16(1), 28.

Taichman DB, Backus J, Baethge C, Bauchner H, de Leeuw PW, Drazen JM, et al. (2016). Sharing Clinical Trial Data: A Proposal From the International Committee of Medical Journal Editors. Ann Intern Med. doi:10.7326/M15-2928 (Publicat în mai multe jurnale simultan)

Talebi, M. (2013). Study of publication bias in meta-analysis using trim and fill method. International Research Journal of Applied and Basic Sciences, 4(1), 31-36.

Tang, E., Ravaud, P., Riveros, C., Perrodeau, E., & Dechartres, A. (2015). Comparison of serious adverse events posted at ClinicalTrials.gov and published in corresponding journal articles. BMC medicine, 13(1), 189.

Timmer, A., Hilsden, R. J., Cole, J., Hailey, D., & Sutherland, L. R. (2002). Publication bias in gastroenterological research–a retrospective cohort study based on abstracts submitted to a scientific meeting. BMC medical research methodology, 2(1), 1.

To, M. J., Jones, J., Emara, M., & Jadad, A. R. (2013). Are reports of randomized controlled trials improving over time? A systematic review of 284 articles published in high-impact general and specialized medical journals. PLoS One, 8(12), e84779.

Trzesniewski, K. H., Donnellan, M., & Robins, R. W. (2008). Do today’s young people really think they are so extraordinary? An examination of secular trends in narcissism and self-enhancement. Psychological Science, 19, 181–188. doi:10.1111/j.1467-9280.2008.02065.x

Tsilidis KK, Panagiotou OA, Sena ES, Aretouli E, Evangelou E, Howells DW, et al. (2013) Evaluation of Excess Significance Bias in Animal Studies of Neurological Diseases. PLoS Biol 11(7): e1001609. doi:10.1371/journal.pbio.1001609

Turner, E. H., Matthews, A. M., Linardatos, E., Tell, R. A., & Rosenthal, R. (2008). Selective publication of antidepressant trials and its influence on apparent efficacy. New England Journal of Medicine, 358(3), 252-260.

Turner EH, Knoepflmacher D, Shapley L (2012). Publication Bias in Antipsychotic Trials: An Analysis of Efficacy Comparing the Published Literature to the US Food and Drug Administration Database. PLoS Med 9(3): e1001189. doi:10.1371/journal.pmed.1001189

Turner, L., Shamseer, L., Altman, D. G., Weeks, L., Peters, J., Kober, T., … & Moher, D. (2012a). Consolidated standards of reporting trials (CONSORT) and the completeness of reporting of randomised controlled trials (RCTs) published in medical journals. The Cochrane Library. (Abstract)

Turner, L., Shamseer, L., Altman, D. G., Schulz, K. F., & Moher, D. (2012b). Does use of the CONSORT Statement impact the completeness of reporting of randomised controlled trials published in medical journals? A Cochrane review. Systematic Reviews, 1, 60. http://doi.org/10.1186/2046-4053-1-60

Turner, E. H. (2013). Publication bias, with a focus on psychiatry: causes and solutions. CNS drugs, 27(6), 457-468.

Twenge, J. M., Konrath, S., Foster, J. D., Campbell, W., & Bushman, B. J. (2008). Egos inflating over time: A cross-temporal metaanalysis of the Narcissistic Personality Inventory. Journal of Personality, 76, 875–902. doi:10.1111/j.1467-6494.2008.00507.x

Vickers, A., Goyal, N., Harland, R., & Rees, R. (1998). Do certain countries produce only positive results? A systematic review of controlled trials. Controlled clinical trials, 19(2), 159-166.

Viergever, R. F., & Li, K. (2015). Trends in global clinical trial registration: an analysis of numbers of registered clinical trials in different parts of the world from 2004 to 2013. BMJ open, 5(9), e008932.

von Elm, E., Rollin, A., Blumle, A., Huwiler, K., Witschi, M., & Egger, M. (2008). Publication and non-publication of clinical trials: longitudinal study of applications submitted to a research ethics committee. Swiss Medical Weekly, 138(13/14), 197.

Wager, E., & Williams, P. (2013). “Hardly worth the effort”? Medical journals’ policies and their editors’ and publishers’ views on trial registration and publication bias: quantitative and qualitative study. BMJ : British Medical Journal, 347, f5248. http://doi.org/10.1136/bmj.f5248

Weber Wim E J, Merino José G, Loder Elizabeth (2015). Trial registration 10 years on. BMJ; 351:h3572

You, B., Gan, H. K., Pond, G., & Chen, E. X. (2011). Consistency in the analysis and reporting of primary end points in oncology randomized controlled trials from registration to publication: a systematic review. Journal of Clinical Oncology, JCO-2011. (Abstract)

Young NS, Ioannidis JPA, Al-Ubaydli O (2008). Why Current Publication Practices May Distort Science. PLoS Med 5(10): e201. doi:10.1371/journal.pmed.0050201

 

Anunțuri

Lasă un răspuns

Completează mai jos detaliile tale sau dă clic pe un icon pentru a te autentifica:

Logo WordPress.com

Comentezi folosind contul tău WordPress.com. Dezautentificare / Schimbă )

Poză Twitter

Comentezi folosind contul tău Twitter. Dezautentificare / Schimbă )

Fotografie Facebook

Comentezi folosind contul tău Facebook. Dezautentificare / Schimbă )

Fotografie Google+

Comentezi folosind contul tău Google+. Dezautentificare / Schimbă )

Conectare la %s