În articolele anterioare din serie am discutat despre problemele din cercetare și despre metodologie. Am văzut exemple concrete din știință, iar în ultimul articol am încercat să aplicăm aceleași standarde pentru două cazuri de medicină alternativă: acupunctura și homeopatia. Să facem același lucru pentru un caz din parapsihologie: precogniția.
Acesta este Daryl Bem, psiholog și parapsiholog, care în 2011 a publicat într-un jurnal de top din psihologie articolul Feeling the Future în care a arătat că oamenii pot „simți” viitorul. Să vedem cât de robuste sunt concluziile sale.
Cuprins
Interludiu: Cazul altor rezultate extraordinare
Studiu publicat în 2011, urmat de o replicare reușită în 2003
„E nevoie de 544 de experimente pentru a nega efectul”
„Sapte din opt teste arată că datele nu sunt compromise de publicare selectivă sau p-hacking”
GIGO (Garbage In, Garbage Out)
„Replicările exacte” nu sunt tocmai replicări exacte
Sumar
În 2011 parapsihologul Daryl Bem a publicat o serie de 9 experimente în care a investigat precogniția. În opt dintre ele a găsit-o. A atras atenția reușind să publice rezultatele într-un jurnal de top din psihologie. Când alți cercetători au încercat să repete experimentele lui Bem, nu au reușit să găsească nimic. Bem a revenit în 2014 cu o meta-analiză – o colecție care a cuprins 90 de experimente despre care a spus că ar fi replicări ale experimentelor sale. Multe dintre acestea erau făcute înainte de 2011 și multe studiau „influențe retroactive” în moduri diferite de cele ale sale. Cu toate acestea, Bem a concluzionat că meta-analiza confirmă că precogniția ar exista. Unul dintre cei care au făcut peer-review a arătat că rezultatele sunt cel mai probabil artefacte cauzate de publicarea selectivă (există tendința ca experimentele care găsesc ceva interesant să fie publicate mai des decât cele care nu găsesc nimic). Dacă sunt luate în considerare doar replicările exacte, precogniția nu e de găsit. Dacă sunt luate în considerare doar replicările pre-înregistrate, nici atât. Prin urmare, precogniția pare să fie un efect iluzoriu și rămâne nedemonstrată. Cel mai simplu mod prin care parapsihologii pot demonstra contrariul este să organizeze o replicare la scară largă, pre-înregistrată prin care să verifice dacă într-adevăr există precogniție.
Introducere
Înainte să încep discuția despre studiile care au încercat să descopere precogniția e util să fac niște precizări. În prezent sunt sceptic în legătură cu fenomenele paranormale, dar a fost o perioadă când eram convins că dacă mă concentrez destul de mult o să pot mișca obiecte cu puterea minții (psihokinezie). Iar când eșuam era din cauză că nu m-aș fi concentrat destul. Asta a fost acum câțiva ani. Acum consider că e puțin probabil să existe precogniție, dar nu e imposibil. Există oameni care cred că există și încearcă să demonstreze asta și cred că e de datoria lor să o facă într-un mod cât mai riguros (eu așa aș face în locul lor). Daryl Bem este unul dintre parapsihologii care îmi plac pentru că pare mai rezonabil decât ceilalți și înțelege că pentru fenomenele paranormale e nevoie de dovezi serioase. Nu pot spune același lucru despre Chris Carter, Dean Radin și alții care par mai interesați de „lupta cu scepticii” decât de demonstrarea fenomenelor paranormale. Dar articolul ăsta nu e despre întreaga parapsihologie, e doar despre precogniție, cu un accent pe experimentele lui Bem. O să încerc să fiu obiectiv, dar asta nu înseamnă că n-o să fiu critic. Dacă pare că sunt prea critic, poate ar fi util să citiți cele două articole pe care le-am scris despre meta-cercetare (primul, al doilea) și o să găsiți suficiente exemple în care am criticat descoperiri „obișnuite” (ne-paranormale). Același lucru îl fac și aici, doar că în contextul unei afirmații extraordinare – precogniția. Dacă Daryl Bem a demonstrat că există, aș vrea să știu pentru că ar fi super cool. Serios! Sunt un sceptic, dar unul entuziasmat. Dacă n-aș fi, n-aș pierde vremea citind articolele lui Bem.
Articolul lui Daryl Bem
Articolul1 conține nouă experimente în care prin diverse metode (unele destul de complicate) au fost căutate „influențe retroactive”. În 8 din 9, aceste influențe au fost găsite, dar sunt foarte mici. Ca să ne facem o idee cum arată aceste experimente m-am gândit să-l descriu pe unul dintre ele.
Experimentul nr. 5 e o variantă „retroactivă” a unui experiment obișnuit cu stimuli subliminali. Experimentul obișnuit are doi pași:
- Participantul este expus subliminal în mod repetat la o imagine pentru a se acomoda cu aceasta (subliminal înseamnă că nu-și dă seama că a văzut-o).
- Apoi participantului îi sunt arătate două imagini alăturate și e întrebat care îi place mai mult. Una dintre imagini e cea de la pasul 1, iar cealaltă e una asemănătoare, dar pe care participantul nu a mai văzut-o până atunci. Dacă participantului îi place mai mult imaginea la care a fost expus subliminal, rezultatul este considerat o reușită; dacă nu, un eșec.
Varianta retrospectivă inversează pașii. Astfel, întâi participantul vede două imagini alăturate, spune care-i place mai mult și apoi calculatorul alege la întâmplare una dintre imagini și o afișează subliminal. Se presupune că participantul a fost influențat subliminal în viitor și din această cauză a ales imaginea potrivită. Bem a făcut acest experiment folosind două tipuri de stimuli –negativi și neutri–, iar în cazul celor negativi (dar nu și al celor neutri) a obținut o rată de succes de 53,1%. Dacă n-ar exista nicio influență ne-am aștepta la o rată de 50%. Deși diferența e semnificativă din punct de vedere statistic, e greu de zis ce înseamnă în mod practic. Bem spune că un astfel de avantaj de 3% ar fi util pentru a câștiga la ruletă pe termen lung. În locul lui, dacă într-adevăr aș fi convins că acest efect este real, mi-aș face o echipă și m-aș muta în Las Vegas. Aș face rost în felul ăsta de bani pentru suficiente experimente încât să-i conving și pe ultimii sceptici.
În tabelul următor e un sumar al tuturor experimentelor prezentate în articol.
| Experimentul | Nr. participanți
(F, B)* |
Predicții corecte | Valoare p** |
| 1. Detectarea stimulilor erotici | 100 (50, 50) | ||
| a. Stimuli erotici | 53,1% | 0,01 | |
| b. Stimuli non-erotici*** | 49,8% | NS | |
| c. Stimuli neutri | 49,6% | NS | |
| d. Stimuli negativi | 51,3% | NS | |
| e. Stimuli pozitivi | 49,4% | NS | |
| 2. Evitarea stimulilor negativi | 150 (107, 43) | 51,7% | 0,009 |
| 3. Ancorare retroactivă I | 100 (69, 31) | NA | 0,007 |
| 4. Ancorare retroactivă II | 100 (57, 43) | NA | 0,014 |
| 5. Acomodare retroactivă I | 100 (63, 37) | ||
| a. Imagini negative | 53,1% | 0,014 | |
| b. Imagini neutre | 49,4% | NS | |
| 6. Acomodare retroactivă II | 150 (87, 63) | ||
| a. Imagini negative | 51,8% | 0,037 | |
| b. Imagini erotice | 48,2% | 0,039 | |
| c. Imagini neutre | 49,3% | NS | |
| 7. Inducere retroactivă a plictiselii | 200 (140, 60) | 49,1% | NS |
| 8. Încurajarea amintirii I | 100 (64, 36) | NA | 0,029 |
| 9. Încurajarea amintirii II | 50 (34, 16) | NA | 0,002 |
*F = femei; B = bărbați;
**Valoarea p măsoară semnificativitatea statistică, adică șansa de a obține un rezultat cel puțin la fel de extrem din întâmplare. În general, o valoare de 0,05 (=5% șanse ca rezultatele să se datoreze întâmplării) este valoarea minimă pentru a considera o descoperire semnificativă;
***Stimulii non-erotici sunt diferiți de stimulii neutri, negativi și pozitivi pentru că experimentul a fost modificat pe parcurs;
NS = rezultat nesemnificativ;
NA = nu se aplică;
Reacții la articol
Pentru că articolul a fost publicat într-un jurnal de calitate, a provocat multe discuții. Reacția scepticilor a venit printr-un articol de-al lui James Alcock în Skeptical Inquirer, numit Back from the Future.2 Să vedem ce a avut de zis Alcock.
Pe scurt, sunt mai multe probleme cu experimentele lui Bem. De exemplu, experimentul 1 a fost modificat în timp ce avea loc. Astfel, primii 40 de participanți au fost testați într-un fel (au fost supuși la câte 36 de runde de stimuli erotici, negativi și neutri), iar următorii 60 în alt fel (36 de runde de stimuli erotici și non-erotici). Asta e o problemă destul de mare – nu poți să schimbi regulile doar pentru că nu îți place rezultatul. Și nici experimentul 2 nu s-a desfășurat la fel de la cap la coadă. Revenind la experimentul 1, dacă ne uităm în tabelul de mai sus observăm că sunt multe tipuri de stimuli testați. Oricare dintre ei ar fi putut să dea un rezultat pozitiv. În aceste cazuri (testare multiplă) se obișnuiește să se facă o corecție, dar când Bem i-a răspuns lui Alcock, pur și simplu a zis că nu e nevoie și a trecut mai departe.3 O altă problemă e cu experimentul 6, unde văzând că bărbații nu obțin rezultatele dorite la testele cu stimuli erotici, Bem a raționalizat lipsa unui efect psi prin faptul că bărbații probabil nu sunt destul de stimulați, așa că a schimbat imaginile cu unele mai explicite de pe internet, deși chiar el recunoaște că în literatura parapsihologică nu s-a observat vreo diferență între bărbați și femei. Un alt mod de împărțire a participanților a fost în introvertiți și extrovertiți, dar felul în care a făcut asta e unul suspect și deloc standard pentru că și-a inventat propriul test format din două întrebări. Astfel de tehnici lasă loc de interpretare pentru că ar fi putut folosi și alte teste sau ar fi putut da mai multe întrebări dar să le folosească doar pe acestea două. Sunt multe lucruri pe care ar fi putut să le facă și să nu le raporteze. Să nu credeți că această critică e una care i se aduce doar lui Bem. Astfel de probleme există în întreaga psihologie.4,5 Flexibilitatea prea mare în analizarea datelor poate face orice efect să pară real chiar dacă nu este. Iar când vine vorba despre experimente atât de extraordinare e bine să ne dorim ca ele să fie făcute cât mai atent.
Acestea sunt doar câteva dintre criticile aduse de Alcock, la care Bem a răspuns insistând că nu sunt de fapt probleme, că nu trebuie să corecteze pentru testare multiplă și că nu trebuie să folosească teste t bilaterale.3,6
Care e treaba cu testele bilaterale? Să ne imaginăm că avem o idee ieșită din comun și vrem să o testăm. Ideea noastră e foarte simplă (recunosc, poate un pic ciudată): dacă dăm cu banul într-o cameră cu pereți galbeni, culoarea va influența rezultatul. Pentru simplitate să zicem că avem doar cinci monede și dăm cu fiecare o singură dată. Să zicem că ne interesează doar rezultatele cele mai extreme, adică dacă obținem de cinci ori banul sau de cinci ori stema. Care e probabilitatea să le obținem din pură întâmplare? Păi, ar fi 2 (un rezultat SSSSS și unul BBBBB) din 32 (numărul total de posibilități), sau 6,25%. Să zicem că am mers în camera galbenă, am dat cu toate cele cinci monede și am obținut stema de fiecare dată. Dar avem un prieten mai sceptic care spune că ne crede ipoteza despre cameră doar dacă facem un experiment în care șansele de a obține din întâmplare rezultatul dorit sunt mai mici de 5%. Ce ne facem? Am putea să mai dăm o dată cu cele cinci monede – dar s-ar putea să nu mai obținem rezultatul dorit. Așa că apelăm la un truc. Monedele pe care le-am folosit noi au pe partea cu stema niște stele. Stelele sunt galbene, nu? Cel puțin așa ni le imaginăm, așa apar în desene animate, așa apar în multe locuri. Deci e normal să obținem stema și nu banul într-o cameră galbenă. În niciun caz nu ne-am fi așteptat să obținem de cinci ori banul, nu? Prin urmare, rezultatul dorit (și obținut) de noi e doar unul din 32 de posibilități (adică doar SSSSS). Acum șansa să-l fi obținut din întâmplare e de doar 1/32 = 3,12%. Prietenul nostru sceptic va fi convins pentru că 3,12<5, iar 5% era condiția sa inițială. Ce am făcut aici? Am schimbat retroactiv ipoteza. Deși inițial ziceam că monedele vor fi influențate de culoarea camerei, acum mă comport ca și cum aș fi știu de la început nu doar că vor fi infuențate, dar și în ce fel. Și chiar dacă pare o schimbare minoră, în literatura științifică e diferența dintre un experiment care nu poate fi publicat (p=6,25%, adică p>0,05) și unul care poate fi (p=3,12%, adică p<0,05).
Cam așa e și cu diferența dintre testele t unilaterale și cele bilaterale. Atunci când nu știi dinainte în ce direcție va fi efectul, trebuie să folosești teste bilaterale. Daryl Bem a justificat folosirea celor unilaterale spunând că știa în ce direcție o să fie efectul. Dar ăsta este un exemplu de HARKing (Hypothesizing After the Results are Known). Și se vede foarte simplu dacă ne uităm la experimentul 6. Acolo participanții expuși la stimuli negativi au nimerit imaginea corectă de mai multe ori, dar cei expuși la stimuli erotici au nimerit-o de mai puține ori. Ambele rezultate sunt semnificative, iar Bem are câte o explicație pentru fiecare. Face exact ce am făcut mai sus în exemplul cu stelele de pe stemă și camera galbenă.
Într-un articol publicat în Journal of Personality and Social Psychology (același jurnal în care a publicat și Bem), Wagenmakers și colegii aduc critici asemănătoare. Conform lor, principala problemă e că Bem a făcut niște teste cu rol de explorare (a încercat diverse lucruri să vadă ce merge) și le-a prezentat ca și cum ar fi cu rol de confirmare. De exemplu, în experimentul 1 a încercat mai multe tipuri de stimuli, a obținut rezultate bune pentru stimulii erotici și a prezentat rezultatul ca și când ipoteza ar fi fost clară de la început și era singurul rezultat la care s-a gândit. Din același motiv refuză să corecteze pentru comparații multiple. În plus, Wagenmakers și colegii au făcut și o analiză bayesiană și au ajuns la concluzia că datele obținute de Bem oferă dovezi la nivelul de anecdotă.7
Bem a răspuns. A zis că analiza bayesiană n-a fost bună și a făcut alta care arată că fenomenele psi sunt reale. Din păcate, nu a zis nimic despre celelalte critici, care sunt mult mai importante.8,9 Și apropo de analiza bayesiană, chiar dacă Wagenmakers a făcut o subestimare, Bem a făcut o supraestimare. Alți cercetători, Rouder & Morey, au făcut o analiză în care au combinat toate datele din experimentele lui Bem și au ajuns la concluzia că dovezile sunt anecdotice, cu excepția stimulilor non-erotici, pentru care sunt mari, dar nu suficient de mari pentru a dovedi un fenomen atât de extraordinar ca precogniția. În plus, și Rouder & Morey critică modul în care Bem a raportat rezultatele (spre exemplu, n-a zis nimic de faptul că există contradicții între experimentele 8 & 9 și experimentul 1).10
Și mai e o problemă. Bem a obținut rezultate semnificative pentru 8 experimente din 9, iar efectul este mic (predicții cu cel mult 3% mai bune decât întâmplarea). Pentru a detecta un astfel de efect, Bem ar fi avut nevoie de mai mulți participanți. Ar fi fost destui doar pentru detectarea unui efect mare (unul vizibil cu ochiul liber, care cu siguranță ar fi fost descoperit până acum). Ceea ce probabil s-a întâmplat în cazul lui Bem e că a încercat mai multe tipuri de experimente și când a obținut un rezultat bun l-a notat, iar când nu, s-a gândit că e ceva greșit cu modul în care a făcut experimentul și a încercat altfel. De fapt, chiar el recunoaște că a făcut teste pilot „extensive […] ca în majoritatea experimentelor de psihologie socială”.1,11
Din nefericire, Bem are dreptate când spune că astfel de practici sunt comune în psihologie.12 Am discutat mai demult cum într-un articol autorii au prezentat inițial 7 experimente și toate au fost de succes, dar după ce redactorul a insistat că n-au fost prezentate toate datele, autorii au recunoscut că au făcut de fapt 18 experimente și doar două au fost de succes.13 (Situația a fost descrisă în detaliu de Neuroskeptic). Problema e că și Bem a obținut rezultate „prea bune ca să fie adevărate”, ceea ce sugerează că și el a făcut studii, analize sau a colectat date care n-au fost raportate. 11,14 Dar toate aceste critici pot fi depășite dacă rezultatele lui Bem vor fi replicate de cercetători independenți.
Interludiu: Cazul altor rezultate extraordinare
Înainte să ne uităm dacă a încercat cineva vreo replicare și dacă a descoperit semne de precogniție, să facem un scurt detur și să ne uităm la o descoperire care acum câțiva ani a făcut valuri și în presă și în comunitatea științifică – și e tot despre anomalii temporale.
În 2011, unul dintre experimentele din cadrul Large Hadron Collider, experiment numit OPERA, a detectat neutrini mai rapizi decât lumina. Conform teoriei relativității, materia nu poate călători mai rapid decât lumina, deci experimentul pare să contrazică o predicție de-a lui Einstein care a rezistat aproape 100 de ani. Prin urmare, afirmația celor de la OPERA este una extraordinară. În știință când întâlnim astfel de afirmații nu le respingem din start, dar înainte să le acceptăm ca fiind adevărate, cerem un nivel foarte ridicat de dovezi – mai ridicat decât pentru o afirmație care nu contrazice ceea ce știm deja din alte experimente. O astfel de abordare e foarte rezonabilă și are câteva avantaje. Pe de o parte ne asigurăm că nimic din ce cunoaștem nu ajunge la nivelul de dogmă ce nu mai poate fi schimbată, iar pe de altă parte minimizăm riscul ca vechile cunoștințe să fie înlocuite de noi cunoștințe greșite.
Cazul neutrinilor mai rapizi decât lumina ilustrează foarte bine cât de util e principiul de mai sus: afirmațiile extraordinare au nevoie de dovezi extraordinare. Ce s-a întâmplat după descoperirea inițială? Cei de la OPERA au fost foarte surprinși și au vrut să fie siguri că observațiile lor sunt corecte, așa că au făcut o replicare. Și mai surprinzător, replicarea a dat aceleași rezultate, așa că în noiembrie 2011 au scris un articol și l-au trimis spre publicare într-unul dintre cele mai bune jurnale din domeniu, Journal of High Energy Physics.15 Între timp, au continuat să încerce să găsească probleme care puteau contamina rezultatele, iar în februarie 2012 au găsit două posibile probleme.
În martie, alt experiment de la LHC, ICARUS, a încercat o replicare și n-a reușit să observe neutrini mai rapizi decât lumina.16,17 Așadar, prima replicare independentă n-a confirmat rezultatele. În aceeași lună, cei de la OPERA au descoperit motivul pentru care au observat neutrini care par să călătorească în timp: un cablu nu era conectat bine. După ce au reparat acel cablu, au repetat experimentul și n-au mai găsit nici ei neutrini mai rapizi decât lumina. Alte experimente de la LHC au încercat și ele replicarea rezultatelor, la fel a făcut și experimentul MINOS de la Fermilab și niciunul n-a găsit neutrini mai rapizi decât lumina. Deci rezultatele inițiale n-au putut fi replicate.
Ce avem de învățat de aici? Că e bine să fim sceptici. Iar sceptic nu înseamnă să respingem automat un rezultat „pentru că nu se poate”, dar nici să-l acceptăm automat doar pentru că ar fi foarte tare dacă ar fi adevărat. Trebuie să avem un prag al dovezilor în funcție de cât de extraordinare sunt afirmațiile pe care le evaluăm. Cu asta în minte ne putem întoarce la precogniție.
Încercări de replicare
Daryl Bem a publicat articolul într-un jurnal important din psihologie (Journal of Personality and Social Psychology) și fiind despre precogniție a atras atenția multor cercetători. Așa că în anul următor au fost și câteva replicări.
Replicări pre-înregistrate
Primii care au încercat au fost trei psihologi, Stuart Ritchie, Richard Wiseman și Chris French. Experimentele lor au fost pre-înregistrate și n-au reușit să obțină efectele pe care le-a obținut Bem.18 E foarte important că au fost pre-înregistrate pentru că asta înseamnă că modul în care au fost analizate datele a fost stabilit încă dinainte ca experimentele să înceapă. Astfel se evită una dintre marile probleme cu studiile din psihologie: practicile chestionabile de cercetare.4 De asemenea, avem siguranța că rezultatele vor fi publicate chiar dacă nu sunt pe placul autorilor. Dacă ne uităm la autorii de mai sus, doi dintre ei (Wiseman și French) sunt cunoscuți sceptici, așa că dacă n-ar fi pre-înregistrat studiile ar fi putut fi acuzați că au făcut mai multe și le-au publicat doar pe cele în care n-au observat efectul. Așa că au făcut ceea ce toată lumea ar trebui să facă (mai ales parapsihologii).
Bun, au pre-înregistrat, au făcut experimentele și au vrut să publice. Unde? Unde a fost publicat și studiul original. Dar, surpriză, jurnalul nu publică replicări, așa că au fost nevoiți să caute altul. Până la urmă au publicat în PLOS One, care nu este citit de atât de mulți psihologi.
Au mai fost și alte încercări de replicare, toate pre-înregistrate. De exemplu, Wagenmakers și coelgii au încercat propria replicare (tot nereușită) și au publicat-o într-un articol în care au criticat practicile prea relaxate și au recomandat ca orice cercetare de confirmare (adică orice replicare) să fie pre-înregistrată.19 O altă echipă de psihologi a realizat 6 replicări și niciuna dintre ele n-a reușit să confirme rezultatele lui Bem. Au fost publicate într-un articol numit Correcting the Future.20
Așadar dovezile pentru existența precogniției nu arată prea bine. Rezultate pozitive sunt obținute doar de cei care promovează ideea că ar exista și doar în experimente cu limitări importante. Atunci când cercetătorii independenți încearcă să găsească precogniția într-un mod riguros (ex.: studii pre-înregistrate), aceasta nu e de găsit. Ca și în cazul neutrinilor superluminici, putem concluziona că nu există suficiente motive să credem că ar exista.
Dar stați, că nu se termină așa!
Studiu publicat în 2011, urmat de o replicare reușită în 2003
E titlul unei postări făcute de Andrew Gelman (specialist în statistică) în care critică o meta-analiză care combină așa-zise replicări ale studiului original al lui Daryl Bem. Problema la care se referă este că după ce Bem a publicat în JPSP, au apărut tot felul de așa-zise replicări care de fapt erau făcute cu mult timp înainte. De exemplu, Alexander Batthyány cum a văzut în 2010 articolul lui Bem s-a grăbit să facă o replicare. S-a grăbit atât de tare că a făcut-o în 2006. A publicat-o (fără peer-review) în 2010 ca „o replicare reușită”.21
Astfel de replicări din trecut sunt folosite des în meta-analize în parapsihologie, iar unele nici măcar nu sunt replicări și despre asta o să discutăm în continuare.
Folosirea meta-analizelor
În 2015, Bem și încă trei colegi au publicat o meta-analiză cu 90 de experimente și au concluzionat că nivelul de dovezi pe care l-au prezentat în favoarea precogniției depășește cu mult stadiul de „dovezi decisive”.22 Astfel de afirmații exagerate sunt comune în meta-analizele din parapsihologie. De exemplu, una din 2010 afirmă că șansele ca efectele „psi” să fie reale sunt de 6 miliarde la 1.23 Alta afirmă că există „dovezi extraordinare” pentru percepție non-locală.24 De obicei aceste meta-analize sunt făcute cam de aceiași oameni și indiferent ce fenomen paranormal analizează, ajung la concluzia că ar fi real.
Să ne uităm la meta-analiza lui Bem despre precogniție și cum arată acele dovezi decisive. Afirmația e făcută pe baza unui factor Bayes de 1,4 miliarde în condițiile în care un factor de 100 este considerat a fi „decisiv”. De asemenea, autorii spun că niciun fel de eroare n-ar putea schimba rezultatele și că ar fi nevoie de 544 de experimente nepublicate pentru a nega efectul. Sunt aceste afirmații justificate? Este precogniția demonstrată științific?
Pentru mine aceste meta-analize nu sunt convingătoare și o să încerc să explic de ce.
„E nevoie de 544 de experimente pentru a nega efectul”
Cum au ajuns autorii la un astfel de număr și ce reprezintă el? Au fost folosite două tehnici foarte asemănătoare numite „Fail-safe N”. Una a dat o estimare de >1000 de experimente, iar cealaltă de 544 de experimente. Un fail-safe number este numărul minim de studii nepublicate cu rezultate nule (în medie) care ar fi necesare pentru a reduce rezultatul la unul nesemnificativ. În contextul meta-analizei despre care vorbim, autorii afirmă că e nevoie de cel puțin 544 de studii nepublicate pentru ca meta-analiza să nu mai arate că precogniția există. Având în vedere că meta-analiza conține doar 90 de experimente, n-ar fi plauzibil să presupunem că mai există încă 544 nepublicate.
Totuși, calculele de tip fail-safe number nu sunt aproape deloc informative, chiar dacă sunt folsite cu mare entuziasm în parapsihologie, dar și în alte domenii. Problema este că aceste calcule pleacă de la presupunerea că studiile nepublicate au rezultate nesemnificative (sau un efect nul), dar în realitate studiile cu rezultate semnificative sunt publicate mai des decât cele cu rezultate nesemnificative. Fenomenul se numește publicare selectivă. Rosenthal, inventatorul metodei, a calculat de exemplu că într-o situație în care a avut 345 de studii, ar fi fost nevoie de încă 65.000 ca să invalideze rezultatul lor. Dar de ce să fie nevoie de 65.000, când doar 345 cu rezultate opuse pot să facă o treabă la fel de bună? Metoda fail-safe number a fost criticată de-a lungul timpului și ori se recomandă interpretarea rezultatelor ei cu mare grijă, ori chiar se recomandă abandonarea ei.25,26,27,28 Spre exemplu, Colaborarea Cochrane nu o consideră utilă.29
Așa că nu e nevoie de 544 de experimente nepublicate pentru ca rezultatele meta-analizei să fie greșite. Numărul e pus ca să impresioneze, dar nu e relevant.
„Sapte din opt teste arată că datele nu sunt compromise de publicare selectivă sau p-hacking”
De fapt, ar trebui să spună 8 din 9, pentru că au făcut 9 teste:
- Fail-safe number: 2.
- Corelații între mărimea studiilor și mărimea efectului: 5.
- Trim and fill: 1.
- P-Curve: 1.
Să le luăm pe rând. Despre fail-safe number am discutat deja. Astfel de calcule sunt inutile și n-ar mai trebui făcute. Dintre cele cinci metode care se bazează pe corelații între mărimea studiilor și mărimea efectului, una (PET, Precision-Effect Test) a arătat că rezultatele meta-analizei sunt anulate de publicarea selectivă. Celelalte n-au detectat distorsiuni suficient de mari. Una dintre ele (propusă de Begg și Mazumdar) este nerecomandată de Colaborarea Cochrane pentru că nu este destul de bună.28 Metoda trim and fill nu este performantă în condițiile de față, după cum explică Daniël Lakens, iar analiza p-Curve devine neconcluzivă dacă este inclus un singur participant în plus într-un singur studiu.
Ok, l-am menționat pe Lakens, așa că trebuie să vă spun ce rol are el și de ce se bagă. Prin 2014, Bem și colegii au trimis articolul cu meta-analiza jurnalului Frontiers in Psychology, unde doi dintre cei care au făcut peer-review l-au acceptat pentru publicare, iar unul nu. Acela a fost Daniël Lakens, care face parte din Open Science Collaboration, a participat la proiectul de replicare a 100 de experimente din psihologie și este interesat de metodele folosite în cercetare. Revenind la Bem, articolul său a fost respins de Frontiers din cauza lui Lakens. În 2015, articolul a fost publicat în jurnalul F1000Research, unde au făcut peer-review doi parapsihologi ruși care n-au avut nicio obiecție. Ca urmare, Lakens a publicat pe blogul său critici detaliate legate de articol.
Pe scurt, legat de cele 8 teste făcute de Bem în meta-analiză, Lakens arată că unele dintre ele nu sunt justificate, altele nu au puterea să detecteze distorsiuni în condițiile în care sunt folosite de Bem, iar cel mai bun (PET) arată că există distorsiuni care anulează presupusul efect al precogniției.
În articolul în care am vorbit despre publicare selectivă am discutat și despre epuizarea eului (ego depletion), fenomen care a fost considerat o parte demonstrată a psihologiei, dar care începe să se prăbușească. Una dintre meta-analizele care a arătat că epuizarea eului s-ar putea să fie o iluzie a folosit exact metoda PET ca să descopere acest lucru.29 Între timp au apărut replicări pre-înregistrate care au confirmat suspiciunile (mai multe detalii pe Neuroskeptic). În aceste condiții, Roy Baumeister (principalul promotor al teoriei epuizării eului) a zis că anul viitor va organiza o replicare pre-înregistrată pentru a vedea dacă efectul e real sau nu. Așa reacționează un cercetător adevărat.
În același timp, Bem și colegii continuă să ignore faptul că aceeași metodă arată că rezultatele lor sunt invalide și insistă că alte 7 metode n-au reușit să descopere erorile. Cu o astfel de atitudine nu e de mirare că parapsihologia e în general ignorată de cercetătorii din alte domenii.
După corectarea unor probleme importante, Lakens consideră că meta-analiza lui Bem ar trebui să aibă următoarea concluzie:
„În 2011, Journal of Personality and Social Psychology a publicat un raport cu nouă experimente care se dorea să demonstreze că răspunsurile cognitive și afective ale unui individ pot fi influențate de evenimente stimulatoare selectate aleator care nu au loc decât după ce răspunsurile participantului au fost deja făcute, o variantă generalizată a fenomenului denumit în mod tradițional precogniție (Bem, 2011). Pentru a încuraja replicările, toate materialele necesare au fost puse la dispoziție la cerere.
Prezentăm aici o meta-analiză a 90 de experimente de la 33 de laboratoare din 14 țări, care a produs o mărime a efectului (Hedges’ g) de 0,09, care după corectarea publicării selective folosind meta-regresie PET este redusă la 0,008, o valoare care nu se distinge de 0, având intervalul de încredere de 95% [-0,03; 0,05]. Aceste rezultate sugerează că descoperirile pozitive din literatură sunt o indicație a prezenței ubicue a publicării selective și nu pot fi interpretate pentru a susține fenomenele paranormale. În concordanță cu aceste rezultate, o analiză de tip p-Curve a celor 18 studii cu rezultate semnificative nu a oferit valori evidențiale pentru un efect real.
Discutăm starea controversată a precogniției și a altor anomalii, colectiv numite fenomene paranormale și insistăm că și dacă în viitor inferențe statistice din meta-analize ar produce efecte statistic diferite de zero, rezultatele nu ar permite nicio inferență teoretică legată de existența fenomenelor paranormale atât timp cât nu există nicio explicație teoretică pentru acestea.”
GIGO (Garbage In, Garbage Out)
Să presupunem că nu suntem de acord cu Lakens și considerăm că dacă 8 din 9 teste n-au descoperit distorsiuni majore, rezultatul meta-analizei este robust și precogniția a fost demonstrată. Ba mai mult, să presupunem că niciunul din cele 8 sau 9 teste nu ar fi descoperit nimic suspect. A fost precogniția demonstrată?
În continuare nu sunt convins și acesta e motivul principal pentru care nu sunt convins: studiile individuale nu sunt la calitatea suficientă pentru a demonstra un fenomen extraordinar precum precogniția, iar studiile de calitate nu reușesc nicicum să o detecteze.
În programare există un concept numit GIGO (intră gunoi, iese gunoi) care se referă la faptul că dacă datele de intrare sunt pline de erori, rezultatul va fi și el plin de erori, oricât de bun ar fi algoritmul care le procesează. La fel e și cu meta-analizele – dacă studiile individuale nu sunt de încredere, oricât de multe metode de corecție ai încerca, rezultatele nu vor fi nici ele de încredere. Analiza de mai sus a lui Lakens a fost făcută fără să se uite la calitatea individuală a studiilor, dar alții au scos în evidență și această problemă.31 Să ne uităm un pic la studii.
Deși este prezentată ca o analiză a replicărilor experimentelor recente ale lui Bem, e de fapt o colecție de tot felul de încercări de a descoperi fenomene paranormale. De exemplu, unul dintre studii a investigat cum văd participanții un cub Necker în funcție de niște stimuli din viitor32 – un experiment complet diferit de cele ale lui Bem. Alt studiu e unul pilot despre performanța precognitivă în funcție de cât de susceptibili sunt participanții la hipnoză.33 Deși experimentul n-a găsit efectul căutat, datele au fost torturate până s-a găsit ceva de raportat (practică numită p-hacking). Nici un alt studiu cu 50 de participanți n-a găsit efectul căutat, dar autorul a selectat 34 dintre ei în așa fel încât să fie raportat un efect.34
Multe dintre articolele incluse în meta-analiză nici măcar nu au trecut prin peer-review, fiind ori prezentate la conferințe, ori nepublicate deloc. În medicină se obișnuiește să se facă „recenzii sistematice cu meta-analiză”. Partea de „recenzie sistematică” e foarte importană pentru că include o clasificare a studiilor în funcție de niște criterii de calitate astfel că nu sunt incluse toate, ci doar cele care satisfac anumite condiții. În acest fel se evită ca meta-analiza să fie de tip GIGO. Bem nu a făcut nimic de acest fel și nici măcar nu a restrâns analiza la replicări, ci a inclus tot felul de experimente. Iar…
„Replicările exacte” nu sunt tocmai replicări exacte
Conform lui Bem, criteriul după care o replicare este „replicare exactă” este dacă autorii au folosit software-ul său.31 Ăsta este unul dintre cele mai arbitrare criterii de care le-am auzit vreodată. Dar i-a permis lui Bem să includă studii precum cel de mai sus cu 34 de participanți aleși din 50 ca să se obțină un efect; și în același timp i-a permis să excludă cea mai mare parte a replicărilor pre-înregistrate nereușite (cele făcute de Galak și de Wagenmakers). Astfel, când au fost făcute calculele pentru a afla efectul dat de „replicările exacte”, rezultatul a fost pozitiv și semnificativ. Când s-au făcut calculele pentru a afla efectul general al acelei colecții de 90 de experimente, au fost suficient de multe de slabă calitate încât au reușit să contamineze rezultatul chiar și când replicările exacte pre-înregistrate au fost incluse.
Dacă e să ne uităm doar la replicările exacte, nu este nicio urmă de precogniție. O astfel de meta-analiză a fost făcută de Gatak et al. și puteți vedea rezultatele mai jos:20
E important de spus că această meta-analiză include și experimente care nu au fost pre-înregistrate și tot n-a descoperit vreun efect al precogniției. Cel mai important lucru este ca experimentele să fie pre-înregistrate pentru a evita publicarea selectivă și p-hacking-ul.19,36 Cercetarea din parapsihologie nu o să poată deveni credibilă altfel. Din fericire există un registru, susținut de Koestler Parapsychology Unit; dar nu prea este folosit.35
M-am uitat la experimentele din meta-analiza lui Bem să văd câte au fost pre-înregistrate. Le-am găsit pe cele pe care le-am menționat mai devreme (Ritchie et al., Galak et al., Wagenmakers et al., în total 11 experimente) și am mai găsit unul (Vernon, 2013). Nici acesta n-a găsit vreun semn că precogniția ar fi reală.37 Deci 12 experimente din 90 sunt replicări exacte pre-înregistrate.
Așa că niciun studiu pre-înregistrat nu a confirmat că există precogniție.
Concluzii
Știu ce o să ziceți! De fapt, nu știu pentru că nu mă pot folosi de precogniție. Dar să presupunem că știu. Dacă sunteți sceptici o să ziceți „Normal că precogniția nu poate fi reală, de ce ne mai batem capul să o studiem?”. Dacă sunteți fani ai parapsihologiei o să ziceți „Normal, nimic nu poate convinge un sceptic!”. Dacă nu sunteți nici una, nici alta, sper să ziceți „Hmm… interesant”.
Ar trebui să studiem precogniția? Eu zic că da. E important ca parapsihologii să folosească metodele științei pentru a își demonstra ideile. Trebuie doar să aibă mare grijă și să fie cât se poate de riguroși. E de datoria lor să îi convingă pe ceilalți că precogniția e reală.
Nimic nu poate convinge un sceptic? Ba da: niște replicări mari pre-înregistrate care să arate un efect robust. Precogniția dacă există e un fenomen extraordinar și ca orice fenomen extraordinar are nevoie de dovezi extraordinare. Iar replicările pre-înregistrate cred că peste câțiva ani nici n-o să mai fie considerate „extraordinare” dacă lucrurile continuă să evolueze în psihologie în aceeași direcție.
Dacă ne gândim, și în psihologie au fost tot felul de idei bizare. Dacă ții un creion între dinți astfel încât să pară că zâmbești devii mai bucuros? Serios? De câte ori am citit această poveste în cărțile de psihologie populară (și nu doar populară)! Și am crezut-o! Dar se pare că e prea frumoasă să fie adevărată. Bizară, dar falsă.38 Pe de altă parte, dacă ești martor la un jaf, ești pus pe urmă să descrii hoțul și apoi ești pus să-l identifici dintre mai mulți oameni, faptul că ai fost pus să-l descrii te face mai puțin probabil să-l identifici corect. Și asta e bizar. Cum adică? Dacă sunt pus să-l descriu și mă gândesc cum arăta, pe urmă n-o să-l mai țin minte atât de bine? Se pare că da – bizar, dar adevărat.39
Meta-analizele de multe ori nu pot substitui replicările pre-înregistrate,40,41 mai ales când rezultatul variază în funcție de metodele folosite (cum e și situația meta-analizei lui Daryl Bem, unde unele metode spun că efectul e robust, iar altele că e inexistent). De exemplu, teoria epuizării eului e în această situație – unele meta-analize arată că e corectă, altele descoperă probleme. Atunci când au fost descoperite probleme, soluția cercetătorilor a fost să se organizeze o replicare, iar aceasta a infirmat teoria (sau cel puțin o parte din ea).42 Pe viitor vor mai fi și alte replicări, dacă Baumeister se ține de cuvânt.
Să punem totul la un loc:
- în psihologie avem exemple de situații în care replicările ne-au arătat că anumite descoperiri sunt false;
- este cunoscut că în psihologie sunt folosite practici chestionabile de cercetare care pot crește riscul ca descoperirile să fie false;
- parapsihologia suferă de aceleași probleme, dar mai vine cu încă una: fenomenele studiate sunt foarte implauzibile;
- soluția care începe tot mai mult să fie folosită în psihologie este realizarea de replicări, dacă se poate pre-înregistrate;
- în cazul precogniției, replicările exacte nu găsesc niciun efect;
- parapsihologii fac meta-analize care includ tot felul de studii care nu au legătură unele cu altele decât vag și afirmă că precogniția a fost demonstrată;
- parapsihologii ignoră contrastul dintre rezultatele replicărilor exacte și rezultatele meta-analizelor GIGO;
În concluzie, informațiile pe care le avem până acum despre precognție sunt incapabile să demonstreze că ar fi reală. Astfel, toate afirmațiile îndrăznețe și ferme pe care le întâlnim în articole, cărți sau prezentări și care ne spun că ar fi reală se înscriu în categoria pseudoștiinței, un domeniu unde avem impresia că știm lucruri pe care nu le știm. Situația nu este limitată la precogniție, ci se extinde la întreaga parapsihologie, în multe cazuri replicările pre-înregistrate lipsind complet. Până când calitatea cercetării nu va crește, parapsihologii nu-și pot permite să spună că fenomenele studiate au fost demonstrate; dacă fac asta își pierd credibilitatea.
Puteți să trageți propriile concluzii, dar încercați să țineți cont de problemele pe care le-am scos în evidență mai sus.
Recomandări:
Dezbatere între Daryl Bem și Samuel Moulton: Psi and Psychology.
Veritasium: Is Most Published Research Wrong?
Puteți face unul dintre experimentele lui Bem pe Consultanță Psihologică (momentan după 64.200 de încercări rezultatul e de 50,12%)
Bones, A. K. (2012). We knew the future all along. Scientific hypothesizing is much more accurate than other forms of precognition—A satire in one part. Perspectives on Psychological Science, 7(3), 307-309.
Referințe:
1: Bem, D. J. (2011). Feeling the future: experimental evidence for anomalous retroactive influences on cognition and affect. Journal of personality and social psychology, 100(3), 407.
2: Alcock, J. (2011). Back from the future: Parapsychology and the Bem affair. Skeptical Inquirer, 35(2).
3: Bem, D. J. (2011). Response to Alcock’s “Back from the Future: Comments on Bem”. Skeptical Inquirer.
4: Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological science, 0956797611417632.
5: Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2(3), 196-217.
6: Alcock, J. (2011). Response to Bem’s Comments. Skeptical Inquirer.
7: Wagenmakers, E. J., Wetzels, R., Borsboom, D., & van der Maas, H. (2011). Why psychologists must change the way they analyze their data: The case of psi. Journal of Personality and Social Psychology, 100, 426–432.
8: Bem, D. J., Utts, J., & Johnson, W. O. (2011). Must psychologists change the way they analyze their data?. Journal of Personality and Social Psychology, Vol. 101, No. 4, 716–719.
9: Wagenmakers, E. J., Wetzels, R., Borsboom, D., & van der Maas, H. L. J. (2011). Yes, psychologists must change the way they analyse their data: Clarifications for Bem, Utts, and Johnson (2011). Manuscript submitted for publication.
10: Rouder, J. N., & Morey, R. D. (2011). A Bayes factor meta-analysis of Bem’s ESP claim. Psychonomic Bulletin & Review, 18(4), 682-689.
11: Schimmack, U. (2012). The ironic effect of significant results on the credibility of multiple-study articles. Psychological Methods, 17(4), 551.
12: John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological science, 0956797611430953.
13: Tuk, M. A., Zhang, K., & Sweldens, S. (2015). The Propagation of Self-Control: Self-Control in One Domain Simultaneously Improves Self-Control in Other Domains. Journal of Experimental Psychology: General, Vol 144(3), Jun 2015, 639-654.
14: Francis, G. (2012). Too good to be true: Publication bias in two prominent studies from experimental psychology. Psychonomic Bulletin & Review, 19(2), 151-156.
15: OPERA collaboration, T. Adam et al. (2012). Measurement of the neutrino velocity with the OPERA detector in the CNGS beam. JHEP 10 (2012) 093 [arXiv:1109.4897]
16: Antonello, M., Aprili, P., Baiboussinov, B., Ceolin, M. B., Benetti, P., Calligarich, E., … & Sergiampietri, F. (2012). Measurement of the neutrino velocity with the ICARUS detector at the CNGS beam. Physics Letters B, 713(1), 17-22.
17: Antonello, M., Baibussinov, B., Benetti, P., Boffelli, F., Calligarich, E., Canci, N., … & Szarska, M. (2012). Precision measurement of the neutrino velocity with the ICARUS detector in the CNGS beam. Journal of High Energy Physics, 2012(11), 1-21.
18: Ritchie SJ, Wiseman R, French CC (2012). Failing the Future: Three Unsuccessful Attempts to Replicate Bem’s ‘Retroactive Facilitation of Recall’ Effect. PLoS ONE 7(3): e33423. doi:10.1371/journal.pone.0033423.
19: Wagenmakers, E. J., Wetzels, R., Borsboom, D., van der Maas, H. L., & Kievit, R. A. (2012). An agenda for purely confirmatory research. Perspectives on Psychological Science, 7(6), 632-638.
20: Galak, J., LeBoeuf, R. A., Nelson, L. D., & Simmons, J. P. (2012). Correcting the past: Failures to replicate psi. Journal of Personality and Social Psychology, 103(6), 933.
21: Batthyány, A. (2010). Retrocausal habituation and induction of boredom: A successful replication of Bem (2010; Studies 5 and 7). Available at SSRN 1715954.
22: Bem, D., Tressoldi, P., Rabeyron, T., & Duggan, M. (2015). Feeling the future: A meta-analysis of 90 experiments on the anomalous anticipation of random future events. F1000Research, 4.
23: Rouder, J. N., Morey, R. D., & Province, J. M. (2013). A Bayes factor meta-analysis of recent extrasensory perception experiments: Comment on Storm, Tressoldi, and Di Risio (2010). Psychological Bulletin, 139(1), 241-247.
24: Tressoldi, P. E. (2011). Extraordinary claims require extraordinary evidence: the case of non-local perception, a classical and Bayesian review of evidences. A Classical and Bayesian Review of Evidences. Front Psychol. 2011; 2: 117.
25: Rothstein, H. R., Sutton, A. J., & Borenstein, M. (Eds.). (2006). Publication bias in meta-analysis: Prevention, assessment and adjustments. John Wiley & Sons. Ch. 7: Failsafe N or File-Drawer Number.
26: Heene, M. (2010). A brief history of the fail safe number in applied research. arXiv preprint arXiv:1010.2326.
27: Mullen, B. (2013). Advanced Basic Meta-analysis: Version 1.10. Psychology Press. pg 36-37.
28: Higgins, J. P., & Green, S. (Eds.). (2008). Cochrane handbook for systematic reviews of interventions (Vol. 5). Chichester: Wiley-Blackwell. Ch. 10.4.4.3 Fail-safe N și Ch. 10.4.3.1 Recommendations on testing for funnel plot asymmetry.
29: Ferguson, C. J., & Heene, M. (2012). A vast graveyard of undead theories publication bias and psychological science’s aversion to the null. Perspectives on Psychological Science, 7(6), 555-561.
30: Carter, E. C., & McCullough, M. E. (2014). Publication bias and the limited strength model of self-control: has the evidence for ego depletion been overestimated?. Frontiers in psychology, 5, 823.
31: Wagenmakers, EJ (2014). Bem is Back: A Skeptic’s Review of a Meta-Analysis on Psi. OSC: Center for Open Science.
32: Bierman, D. J. (2011). Anomalous switching of the bi-stable percept of a Necker cube: A preliminary study. Journal of Scientific Exploration, 25(4), 721.
33: Cardeña, E., Marcusson-Clavertz, D., & Wasmuth, J. (2009). HYPNOTIZABILITY AND DISSOCIATION AS PREDICTORS OF PERFORMANCE IN A PRECOGNITION TASK: A PILOT STUDY. The Journal of Parapsychology, 73, 137.
34: Parker, A., & Sjödén, B. (2010). Do some of us habituate to future emotional events?. The Journal of Parapsychology, 74(1), 99. (Abstract)
35: Watt, C., & Kennedy, J. E. (2015). Lessons from the first two years of operating a study registry. Frontiers in Psychology, 6, 173.
36: Gelman, A., & Loken, E. (2013). The garden of forking paths: Why multiple comparisons can be a problem, even when there is no “fishing expedition” or “p-hacking” and the research hypothesis was posited ahead of time. Department of Statistics, Columbia University.
37: Vernon D (2013). Exploring the possibility of Precognitive Priming. Paper presented at the SPR annual conference, University in Swansea, Wales, UK.
38: Wagenmakers, E.-J., Beek, T., Dijkhoff, L., Gronau, Q. F., Acosta, A., Adams, R. B., Jr., … & Zwaan, R. A. (2016). Registered Replication Report: Strack, Martin, & Stepper (1988). Perspectives on Psychological Science. Manuscript submitted for publication.
39: Alogna, V. K., Attaya, M. K., Aucoin, P., Bahník, Š., Birch, S., Bornstein, B., … & Carlson, C. (2014). Registered replication report: Schooler & Engstler-Schooler (1990). Perspectives on Psychological Science, 9(5), 556-578.
40: Van Elk, M., Matzke, D., Gronau, Q. F., Guan, M., Vandekerckhove, J., & Wagenmakers, E. J. (2015). Meta-analyses are no substitute for registered replications: A skeptical perspective on religious priming. Frontiers in psychology, 6.
41: Inzlicht, M., Gervais, W. M., & Berkman, E. T. (2015). Bias-correction techniques alone cannot determine whether ego depletion is different from zero: Commentary on Carter, Kofler, Forster, & McCullough, 2015. Retrieved from Social Science Research Network.
42: Hagger, M. S., Chatzisarantis, N. L., Alberts, H., Anggono, C. O., Batailler, C., Birt, A., & Zwienenberg, M. (2015). A multi-lab pre-registered replication of the ego-depletion effect. Perspectives on Psychological Science, 2.
Pentru că 42 e răspunsul la întrebarea fundamentală despre viață, univers și toate celelalte.
O Privire Sceptică 
2 gânduri despre &8222;Meta-știința și pseudoștiința: Precogniția&8221;