Conținut
Martie: Didier Raoult prezintă primele studii
Mai multe despre Didier Raoult
Cum vede medicina și știința în general
Cât de credibile sunt publicațiile sale
Aprilie: apar mai multe studii cu rezultate contradictorii
Mai: Primul val de… meta-analize
Iunie: studiu anti-hidroxiclorochină retras pentru fraudă, iar Didier Raoult contraatacă
Iulie și august: sintezele sistematice vii clarifică situația
Martie: Didier Raoult prezintă primele studii
Deși au fost începute unele studii cu hidroxiclorochină în China, cel care a adus în atenție acest medicament a fost Didier Raoult în 16/17 martie. Didier Raoult e un director de spital și microbiolog respectat în Franța, care are multe descoperiri, așa că atunci când a apărut în presă și a spus că hidroxiclorochina funcționează pentru pacienții cu covid-19, jurnaliștii au ascultat. Din păcate, ceea ce a spus Raoult și în interviuri și în articolele științifice publicate trece dincolo de ceea ce arată datele, așa că mulți cercetători au fost sceptici în legătură cu afirmațiile sale. Totuși, chiar dacă Raoult ar fi vorbit fără niciun fel de date în spate, tot ar fi fost posibil ca hidroxiclorochina să funcționeze. În continuare o să ne uităm la cele două studii pe care le-a publicat în martie și apoi o să urmărim evoluția cercetării din aprilie până în august.
Primul studiu: 16 martie
Primul studiu, cel care a făcut cunoscută hidroxiclorochina tuturor a fost publicat ca preprint în 16 martie și acceptat în 17 martie de un jurnal numit International Journal of Antimicrobial Agents.1 Data exactă la care a fost publicat este un pic neclară pentru că acum pe pagina jurnalului și pe medRχiv (unde a fost publicat ca preprint) data publicării este 20 martie, dar pe site-ul spitalului din Marsilia apare în 17 martie, iar în unele capturi de ecran se vede că jurnalul a primit articolul în 16 martie.
Dar să vedem în ce constă acest studiu. Au fost înrolați 42 de pacienți cu covid-19 cărora li s-a oferit hidroxiclorochină (HCC) sau hidroxiclorochină + azitromicină. Dintre aceștia, 16 au refuzat, așa că au fost puși în grupul de control, ceea ce nu e deloc standard. Dintre cei 26 care au acceptat tratamentul, 6 au primit o combinație de HCC și azitromicină. Prezența virusului a fost testată prin analize RT-PCR în zilele 3, 4, 5 și 6, iar rezultatele au arătat că încărcătura virală a scăzut mai mult la pacienții care au primit HCC decât la cei din grupul de control, iar cei 6 care au primit combinația de HCC și azitromicină au avut rezultate și mai bune, niciunul nemaifiind infectat din ziua a 5-a.1
Rezultatele sunt încurajatoare, dar după cum a devenit evident în foarte scurt timp, studiul este foarte slab și prin urmare nu foarte informativ. Mai multe articole și comentarii pe PubPeer au scos în evidență problemele metodologice.2,3,4,5 PubPeer este un loc unde pot fi lăsate comentarii pentru orice articol științific și are rolul de peer review după publicare, dar uneori sunt lăsate comentarii și la preprint-uri, adică la articole care n-au trecut încă prin peer review. În general este o sursă foarte bună pentru a afla posibile probleme cu articolele. Evident, nu tot ce scrie acolo esta automat corect.
Una dintre probleme este că studiul nu este randomizat. Raoult și colegii au pus în grupul de control pacienții care au refuzat tratamentul (sau care nu au îndeplinit criteriile de includere la Marsilia), dar asta îi reduce valoarea ca studiu clinic și îl aduce la același nivel (din punct de vedere al relevanței rezultatelor) cu un studiu observațional. E posibil ca pacienții care au refuzat tratamentul sau nu au îndeplinit criteriile să fi fost diferiți demografic de cei care au acceptat sau să fi fost mai bolnavi. Asta nu înseamnă că datele sunt complet neinformative, dar nu sunt la nivelul unui studiu clinic randomizat și sunt greu de interpretat.3
O altă problemă apare în modul în care au fost excluși pacienții din analize. Până la final, 6 dintre cei care au primit doar HCC au întrerupt tratamentul din diverse motive: unul a murit, trei au fost transferați la urgențe, iar doi nu au vrut să mai participe. Toți cei 16 pacienți din grupul de control au fost urmăriți până la sfârșit. Raoult a ales să îi ignore pe acei 6 pacienți pe motiv că n-au primit tratamentul complet. O astfel de decizie poate avea consecințe grave dacă, de exemplu, acel pacient care a murit și aceia care au ajuns la urgențe au pățit asta din cauza tratamentului. Orice medicament poate să pară că funcționează dacă îi ingorăm pe cei care mor sau ajung în stare gravă după ce îl iau. Din acest motiv, în cercetarea medicală standardul e să se folosească o analiză de tip intenție-de-a-trata, adică în analizele finale sunt incluși toți pacienții înrolați, indiferent câți dintre ei au apucat să ia tratamentul până la sfârșit.2,3,4 Cineva s-a gândit să refacă analizele incluzând acești 6 pacienți și a confirmat rezultatele originale, deci Raoult a avut noroc, dar n-ar trebui să fie nevoie de astfel de reanalize când ar fi putut Raoult să le facă de la bun început.
O altă problemă sunt datele suspecte legate de valorile testelor PCR. Într-o imagine cu materialul suplimentar postată în 21 martie pe Twitter se vede că pentru unii pacienți (ex.: pacientul 11 și pacientul 12) nu au fost făcute testele în ultimele două zile, deși în ziua 4 aveau rezultate pozitive. La fel a observat și un comentator de pe PubPeer. În materialul suplimentar pe care îl putem accesa acum, datele sunt schimbate. Astfel de schimbări sunt foarte suspecte mai ales că nu sunt singurele. De exemplu, Raoult a prezentat rezultatele în 16 martie (vezi comentariul nr. 8 pe PubPeer pentru linkuri), iar datele din acea prezentare diferă de cele din articolul publicat. Cel mai bine se pot observa diferențele pentru pacienții cu HCC și azitromicină (linia gri sus și cea verde jos):
Ne putem uita, de exemplu, la ziua a 3-a: valoarea din prezentare e undeva la 30, iar în preprint e 20; în ziua a 5-a valoarea din prezentare e undeva peste 10, iar în preprint e 0. Care dintre date sunt greșite? Cele din prezentare sau cele din preprint? Astfel de discrepanțe ridică mari semne de întrebare în legătură cu integritatea datelor și cu competența autorilor.
Iar imaginea pe care încep să mi-o formez despre competența autorilor este confirmată și de alte nepotriviri. Studiul a fost autorizat în 5 martie, iar în protocol e specificat cum trebuie făcut, dar studiul publicat pare să fi ignorat complet protocolul. De exemplu, în protocol scrie că o să fie făcute măsurători PCR pentru prezența virusului în zilele 1, 4, 7 și 14, dar în studiul publicat sunt făcute măsurători în zilele 3, 4, 5 și 6. De asemenea, în protocol analiza secundară ar trebui să conțină mai multe evaluări cu relevanță clinică: în cât timp scăzut febra și a revenit la normal respirația sau cât de mult au stat pacienții în spital și câți au murit. Astfel de date nu sunt deloc raportate, în schimb există o propoziție (destul de greu de găsit) în articol despre ele: vor fi raportate într-o publicație viitoare la sfârșitul studiului. Astfel de practici se numesc outcome switching și sunt dăunătoare pentru că pot face medicamentele să pară mai bune decât sunt.6 E și una dintre tacticile preferate ale industriei farmaceutice, iar în psihologie s-a răspândit sub alt nume (e o formă de p-hacking) chiar și fără imbolduri materiale.7
Pe urmă mai sunt și alte probleme. În protocol scrie că o să fie un studiu ne-controlat și nu se spune nimic despre un grup de control, dar studiul publicat include un grup de control (inadecvat, de altfel), iar în acest grup de control există și doi copii de 10 ani (vezi pacienții 1 și 3 din materialul suplimentar) deși un criteriu de excludere este „persoanele <12 ani”. Ideea ulterioară a autorilor de a include în grupul de control persoanele excluse este dubioasă în cel mai bun caz. Apoi, în protocol scrie că pacienții vor fi recrutați dintr-un singur loc, nu din mai multe, dar de fapt au fost recrutați din mai multe (nu doar de la Marsilia). Și, în fine, studiul e marcat ca studiu „terapeutic confirmator (Faza III)”, ceea ce nu poate fi decât o greșeală pentru că nu e nici confirmator (nu au mai fost făcute alte studii clinice înaintea sa) și nici din faza a III-a (din nou, nu au mai fost făcute alte studii înaintea sa și în plus nu are grup de control adecvat și nu e randomizat).
Având în vedere toate aceste probleme, autorii nu par foarte competenți, iar studiul nu e aproape deloc informativ. De altfel, alți cercetători au încercat să reanalizeze datele din studiu încercând să elimine cât mai multe erori au putut și au ajuns la concluzia că studiul oferă doar dovezi „anecdotice” că hidroxiclorochina ar funcționa.8
Al doilea studiu: 27 martie
După ce studiul precedent a fost criticat destul de mult, Didier Raoult a venit cu altul, care a fost publicat în 27 martie9 și a anunțat că 80 de pacienți au fost tratați cu o combinație de hidroxiclorochină și azitromicină.
Un studiu cu 80 de pacienți pare mai bun decât unul cu 36, dar acest studiu are probleme și mai mari decât primul.10,11 Problema cea mai mare este că nu are niciun grup de control. În studiu autorii spun că au observat o îmbunătățire clinică la toți pacienții în afară de doi (unul care a murit și altul care a fost dus la urgențe), iar încărcătura virală a scăzut rapid, astfel că după 7 zile 83% dintre pacienți aveau rezultate negative, iar după 8 zile, 93%. Datele arată bine, dar cum le interpretăm? Fără un grup de control cum știm dacă astfel de procente sunt mari sau mici și dacă sunt sau nu rezultatul hidroxiclorochinei? Ar putea fi rezultatul vindecării naturale, mai ales că știm că majoritatea celor infectați cu SARS-CoV-2 sunt asimptomatici și se vindecă fără nicio intervenție, iar în acest studiu pacienții par să fi fost surprinzător de sănătoși de la început (doar 12 din cei 80 au avut febră, iar febra pare să fie principalul simptom al infecției cu noul coronavirus). Asta l-a făcut pe unul dintre comentatori să spună pe Twitter că probabil pacienții ar fi avut aceeași evoluție și dacă li s-ar fi dat budincă cu ciocolată în loc de HCC. Poate e un pic exagerat, dar studiul în sine chiar nu ne poate spune dacă hidroxiclorochina funcționează.
Pe PubPeer au fost observate și alte probleme. Printre cei 80 de pacienți din acest studiu se află și cei 6 din studiul precedent care au primit HCC + azitromicină, dar deși în studiul inițial unul dintre pacienți nu avea date pentru ziua 1 și ziua 2 (vezi pacientul 35 în materialul suplimentar), în noul studiu toți cei 80 par să aibă date pentru ziua 1 și ziua 2 (vezi figura 1 unde barele negre indică numărul de pacienți cu rezultate disponibile și sunt la valoarea 80 din 80 pentru zilele 0, 1 și 2). Cum se poate întâmpla asta? De la primul studiu până la al doilea echipa lui Raoult a găsit brusc datele pentru acel pacient? Și dacă da, de ce n-a corectat primul studiu?
Acest studiu nu pare să fie preînregistrat sau să aibă un protocol disponibil, probabil pentru ca să îi împiedice pe critici să găsească și mai multe probleme, cum au făcut cu primul studiu.
Mai multe despre Didier Raoult
Având în vedere calitatea slabă a studiilor lui Raoult și tendința lui de a fi foarte vocal în promovarea hidroxiclorochinei, e util să ne uităm mai în detaliu la acest cercetător înainte să trecem la alte studii.
Cred că există trei aspecte pe care le putem investiga.
Cum vede medicina și știința în general
Faptul că a făcut niște studii slabe când ar fi putut să facă niște studii mai bune (adică să facă niște studii clinice randomizate cu grup de control), nu pare să fie o greșeală. În mai multe rânduri s-a exprimat împotriva medicinei bazate pe dovezi. Într-un interviu din Le Monde a spus că doctorii trebuie să gândească ca doctorii, nu ca metodologiștii (adică să pună experiența clinică înaintea metodologiei, ceea ce ar putea fi justificat, dar nu atunci când fac studii), iar într-o prezentare video spune că:
„Nu am făcut niciodată studii clinice […] Efectul chestiilor randomizate poate funcționează la oameni care au avut un infarct miocardic, dar să pui așa ceva la boli infecțioase, nu are sens.”
Iar într-un articol de profil pe care i l-a dedicat New York Times a fost și mai clar:
„N-o să spunem cuiva «Ascultă, azi nu e ziua ta norocoasă, primești placebo, o să mori»”, mi-a spus. [Raoult] crede că nu e necesar, pe lângă că nu e etic, să fie făcute studii clinice randomizate cu grup de control, RCT-uri, cu tratamente pentru boli mortale. Dacă acestea au devenit acceptate ca standard în cercetarea biomedicală, Raoult susține, este doar pentru că sunt plăcute pentru statisticienii „care n-au văzut vreodată un pacient”. Îi numește pe acești cercetători, cu desconsiderare, „metodologi”.
În loc să aibă o atitudine de căutare și curiozitate dacă HCC funcționează, Raoult pare să plece de la adevărul că funcționează și că dacă primești placebo o să mori, deci nu e etic să faci studii. Din păcate realitatea e că nu știm încă dacă HCC funcționează și tocmai de aceea avem nevoie de studii clinice – ca să aflăm.
Raoult a scris o carte despre vaccinuri numită La vérité sur les vaccins12 în care combină niște păreri într-un mod unic. Pe de o parte, e pentru vaccinuri în general (inclusiv pentru unele care nu sunt incluse în schemele naționale, cum ar fi cel contra rotavirusului sau cel anti-HPV pentru băieți) și consideră greșită asocierea dintre vaccinul ROR și autism. Pe de altă parte, în capitolul 7, la secțiunea Le vaccin DTP n’est pas utile en France, respinge vaccinul anti-polio – de fapt, întreg vaccinul DTP. Iar motivul pare să fie faptul că n-a mai văzut cazuri de poliomielită sau difterie în Franța de mulți ani. Virusul polio e aproape de eradicare datorită eforturilor de vaccinare din toată lumea și dacă ne oprim când mai avem câțiva pași riscăm să revină, dar asta nu pare să conteze pentru Raoult. Iar în capitolul 9 pune un pariu: „pariem că în 2-3 ani toată lumea o să ajungă să admită că trebuie oprit vaccinul anti-polio pentru că nu folosește la nimic”.12 Cartea a fost scrisă în 2018, deci mai are un pic până pierde pariul.
În 2013 a negat încălzirea globală antropogenică spunând că planeta nu se mai încălzește din 1998, iar până atunci a fost din cauza fenomenului El Niño. Prezența unei încetiniri a încălzirii în perioada 1998-2013 este controversată,13 dar cauza principală a încălzirii globale este activitatea umană – și înainte de 1998, și până în prezent, nu un fenomen natural precum El Niño.14 Deci Raoult greșește.
Într-o altă carte, Dépasser Darwin (Depășindu-l pe Darwin),15 Raoult adoptă o atitudine postmodernistă și încearcă să „deconstruiască” teoria evoluției, pe care o consideră depășită. Dar pentru că Raoult nu e orice fel de critic al științei, alternativa sa nu e creaționismul sau proiectarea inteligență (deși afirmă că teoria evoluției se potrivește cu ele), ci o teorie post-darwiniană. Câteva citate din carte:
„Mi se pare incontestabil că majoritatea ideilor lui Darwin sunt depășite. […] Idolatria care a fost dezvoltată în jurul lui Darwin (în special pentru aniversare, 500 de ani de la apariția operei sale Originea speciilor) este jenantă…”
„În consecință, toată teoria lui Darwin este profund bazată pe o viziune post-biblică ce, în particular, neagă total crearea de noi forme de viață…”
„E imposibil deci, cum credea Darwin, să distingem un strămoș comun al tuturor.”
„După părerea mea, le datorăm multe, de fapt, filozofilor deconstrucției: Foucault, Deleuze și Derrida. […] Partea bună cu deconstrucția este că ne permite să ne întoarcem la observarea reală a lucrurilor. De multe ori, paralizați de teorii făcute înainte și chiar având unelte noi care să ne permită să ne eliberăm de ele, avem o dificultate intelectuală să facem saltul, să detronăm dogma științifică în vigoare.”
Așadar, Didier Raoult are niște păreri uneori bizare, uneori neștiințifice. Și pare să fie foarte sigur de ele.
Cum conduce spitalul
O să trec repede peste această parte, dar trebuie să menționez câteva lucruri care au fost raportate.
Un raport din 2015 al unei autorități care a evaluat spitalul din Marsilia a scos în evidență că directorul și-a concentrat toată puterea în mâinile sale și că „toate deciziile științifice și ne-științifice ajung în practică la profesorul Didier Raoult care decide singur criteriile, care nu sunt transparente pentru un număr bun dintre interlocutori…” (secțiunea 4.2.2.2: Une extrême concentration des pouvoirs autour du directeur). În 2017, mai mulți angajați au scris o scrisoare de protest în care au denunțat stilul dictatorial al lui Raoult: „Unii dintre noi sunt bagatelizați, batjocoriți, umiliți, supuși la remarci șoviniste, atitudini nepotrivite, altercații verbale violente, chiar și amenințări din partea ierarhiei.” Reacția lui Raoult a fost să scrie o scrisoare către Ministerul Cercetării pentru a-i pedepsi pe acești „cinci sau șase oameni” geloși și înverșunați. Și tot în 2017, sindicatul angajaților din educație și alte domenii conexte a publicat un comunicat de presă în care îl acuză pe Raoult de practici autoritare. De exemplu, angajații afirmă că au auzit de la el lucruri precum „cine ți-a zis că poți să vorbești?” sau „nu ești plătit să gândești”.16,17
Dacă acuzațiile sunt adevărate, Raoult nu pare o persoană cu care e plăcut să lucrezi.
În plus, îi place să atace persoanele care nu sunt de acord cu el. În aprilie a scris pe Twitter că Elisabeth Bik e o „vânătoare de vrăjitoare” care intră în „lupte paranoice”, probabil pentru că Elisabeth a fost printre primele persoane care au scos în evidență probleme cu studiul său.4 Iar pe un coleg care a publicat un studiu21 în care n-a găsit beneficii pentru HCC l-a acuzat de fraudă în mod oficial pe site-ul spitalului. Unele dintre critici au sens, dar nu justifică acuzația de fraudă și e ironic cum Raoult critică un studiu pe motive metodologice în condițiile în care studiile sale sunt pline de probleme. Un alt cercetător care a criticat studiile lui Raoult și l-a acuzat de „populism medical” a fost amenințat că va fi dat în judecată pentru defăimare. Asta direct de pe contul de Twitter al spitalului.
Cât de credibile sunt publicațiile sale
În 2012 jurnalul Science a publicat un articol de profil cu Didier Raoult.27 Pe lângă realizările sale a fost menționat și un scandal în care a fost implicat. În 2006 un cercetător care făcea peer review la un articol de-al lui Raoult a descoperit că niște imagini sunt la fel deși ar trebui să descrie experimente diferite. Exact despre câte imagini este vorba e neclar (cercetătorul zicea inițial de patru, un coleg de-al lui Raoult zis că sunt de fapt doar două, iar Raoult zice că e doar una). Ca urmare a scandalului, Societatea Americană de Microbiologie (care deținea jurnalul în care trebuia publicat articolul) a interzis pentru un an laboratorului lui Raoult să publice în jurnalele sale. În semn de protest, Raoult a zis că nu mai publică niciodată în jurnalele societății.
Este acea duplicare de imagini un eveniment izolat? Am menționat-o mai devreme pe Elisabeth Bik. Este o cercetătoare care s-a specializat în descoperirea fraudelor cu imagini. În 2016, de exemplu, a evaluat 20.621 de studii și a descoperit că 3,8% dintre ele conțin imagini problematice, cel puțin jumătate sugerând manipulare de date.28 În 2019 Retraction Watch i-a luat un interviu,29 iar anul acesta Nature i-a dedicat un articol de profil.30 Putem spune că are un ochi format pentru a detecta imaginile manipulate. După ce s-a uitat la articolul inițial al lui Raoult a început să se uite peste alte publicații ale laboratorului său și a găsit unele imagini problematice. De exemplu, aici par să fie duplicate cele trei linii:
Unul dintre autorii articolului a răspuns pe PubPeer, a zis că această imagine n-ar fi trebuit publicată și și-a cerut scuze. Nu știu câte dintre imaginile suspecte chiar sunt greșite, dar tind să cred că de vină e presiunea pusă de Raoult asupra subalternilor săi să publice cât mai mult.
Și aici cred că ajungem la cea mai mare problemă cu publicațiile lui Didier Raoult: publică aproape exclusiv în jurnale la care are pe cineva. Chiar a zis într-un videoclip că preferă ca studiile sale să fie evaluate de către oameni de la institutul său. Iar în realitate chiar asta se pare că face.
O analiză făcută de patru autori printre care și Ioana Cristea (pe care dacă folosiți Twitter, vă recomand să o urmăriți) arată că o treime dintre studiile publicate în jurnalul New Microbes and New Infections sunt ale laboratorului lui Raoult (cu el printre autori), iar redactorul-șef, cel adjunct și o parte dintre ceilalți redactori ai jurnalului lucrează la spitalul lui Raoult.31 O astfel de practică este foarte neobișnuită. Cristea și colegii s-au uitat la 241 de jurnale din domeniul bolilor infecțioase și au evaluat care e autorul cu cele mai multe publicații în fiecare jurnal și cât la sută din toate publicațiile reprezintă publicații ale acestui autor. New Microbes and New Infections iese puternic în evidență cu 36,6%:
În acest jurnal a fost publicată și o meta-analiză de-a lui Raoult despre HCC despre care o să discutăm mai târziu, iar primele două studii (pe care le-am analizat în detaliu la început) au fost publicate tot în jurnale la care printre redactori se află oameni din subordinea lui Raoult (și în același timp autori ai articolelor).
Primul articol a fost publicat în International Journal of Antimicrobial Agents, unde redactorul-șef este Jean-Marc Rolain, întâmplător și unul dintre autorii articolului.1 Jurnalul a declarat că procesul de acceptare și peer review s-a făcut fără implicarea lui Rolain, dar este foarte suspect că articolul a fost acceptat într-un timp record de o zi.
Al doilea articol9 a fost publicat în Travel Medicine and Infectious Disease, unde printre redactori se află Philippe Gautret, autorul principal al studiului, iar peer review-ul s-a făcut tot într-o singură zi (primit în 3 aprilie, acceptat în 4 aprilie):
Cu astfel de practici e foarte greu de crezut că articolele sunt evaluate corect. Jurnalele în cauză nu au o politică de open peer review (adică nu publică comentariile recenzenților), iar deși Cristea și colegii au cerut autorilor primului articol să împărtășească cu ei comentariile recenzenților, aceștia au refuzat.31 Didier Raoult pare să-și fi creat un sistem de jurnale pentru auto-promovare31 în loc să urmeze principiile științifice. Acestea fiind spuse, am foarte puțină încredere în orice publică Raoult.
Aprilie: apar mai multe studii cu rezultate contradictorii
Dar indiferent cât de credibil este Didier Raoult, ca să aflăm dacă hidroxiclorochina ajută bolnavii de covid-19 trebuie să facem studii. În aprilie au început să fie publicate astfel de studii, doar că rezultatele au fost contradictorii și a fost greu de zis dacă este într-adevăr bună sau nu.
Chiar în 1 aprilie a fost publicat un studiu cu 22 de pacienți din China care au fost tratați cu clorochină. Rezultatele au fost încurajatoare.18 Apoi în 3 aprilie a apărut un alt studiu care a inclus 84 de pacienți tratați cu HCC + azitromicină. De data asta rezultatele arătau că intervalul cardiac QT a fost prelungit, indicând posibile efecte adverse ale tratamentului.19 În 10 aprilie un alt studiu din China cu 62 de pacienți a arătat că cei tratați cu HCC au avut un timp mai scurt până au scăpat de simptome.20 Cum ziceam, au apărut studii, dar nu au făcut situația mai clară.
Și da, au continuat să apară. Un studiu observațional cu 181 de pacienți a apărut prima dată în 14 aprilie și nu a găsit dovezi că HCC ar fi utilă pentru pacienți cu un tip de pneumonie.21 În 23 aprilie un alt studiu observațional cu 368 de pacienți nu a găsit efecte benefice, dar a găsit posibile efecte negative.22 Nici studiu clinic din 24 aprilie nu a găsit efecte pozitive.23
Și mai au continuat să apară studii. Unul din 5 mai, făcut de echipa lui Raoult a analizat 1061 de pacienți și a găsit că tratamentul HCC + azitromicină este sigur și asociat cu o rată mică de deces.24 Un studiu clinic din China a fost publicat în 7 mai și n-a găsit beneficii pentru HCC,25 iar unul observațional cu 1438 de pacienți din New York a apărut în 11 mai și nici acesta n-a găsit beneficii.26
Dacă ar fi să ne uităm strict la numere, pare că sunt mai multe studii negative, studii care nu găsesc beneficii pentru HCC. Dar s-ar putea ca aceste studii pe care le-am găsit eu să nu fie toate studiile existente. Cum ne putem asigura că avem o imagine de ansamblu? Printr-o sinteză sistematică, nu? Așa ajungem în luna mai.
Mai: Primul val de… meta-analize
Cu atât de multe studii care apar și au rezultate contradictorii și metode diferite, e complicat să ne dăm seama cum stau lucrurile de fapt. Pentru asta s-au inventat recenziile/sintezele sistematice care de multe ori includ o tehnică numită meta-analiză. Pentru a face o astfel de sinteză, autorii trebuie să aibă o strategie de căutare în bazele de date cu studii, să aibă criterii clare de includere și excludere, să evalueze calitatea (dacă se poate) și să combine studiile pentru a ajunge la o concluzie. În mai au apărut multe astfel de sinteze.
Prima pe care am găsit-o a apărut de fapt în 5 aprilie și nu a avut prea multe studii pe care să le includă. Concluziile sale sunt că printre persoanele tratate cu HCC au fost mai puține cazuri de progresie a bolilor pulmonare detectate radiologic, dar nu au fost observate alte beneficii.32
În 11 mai a apărut o altă sinteză sistematică în care nu au fost găsite beneficii solide pentru HCC.33 În 12 mai au apărut două astfel de sinteze. Una a inclus trei studii,34 nu a găsit beneficii, dar a găsit posibile efecte adverse pentru pacienții tratați cu HCC, iar cealaltă a inclus cinci studii a declarat că au fost observate anumite beneficii, dar nu au fost „semnificative statistic”35 (o descriere înșelătoare care se încadrează la categoria „spin”36).
Nici o sinteză din 20 mai cu 11 studii (dintre care doar trei studii clinice randomizate),37 alta din 26 mai (cu cinci studii clinice)38 și alta din 27 mai (cu patru studii clinice)39 nu au găsit dovezi suficiente că HCC ar avea beneficii pentru covid-19. Nici două din iunie nu au găsit dovezi suficiente.40,41 Dar o meta-analiză din iunie (la care o să ne uităm în secțiunea următoare), făcută de echipa lui Raoult a găsit beneficii.42
Se pare că nicio sinteză sistematică în afară de ce a lui Raoult nu a găsit beneficii pentru HCC. Totuși, cred că dacă ne uităm doar la numărul acestor sinteze riscăm să avem o înceredere mai mare în concluzii decât ar trebui. Deși am citat 10 sinteze care nu confirmă utilitatea hidroxiclorochinei, ele se folosesc mai mult sau mai puțin de aceleași studii de slabă calitate. Aceste studii ori sunt studii clinice randomizate cu grup de control (RCT) și au sub 100 de participanți, ori sunt studii observaționale cu câteva sute de participanți (și vreo două cu o mie și ceva).
Pentru a primi aprobare (de la FDA sau EMA), în mod normal un medicament trebuie să aibă în spate studii clinice (RCT) pozitive. Studiile observaționale nu sunt folosite pentru a evalua efectele benefice ale unui medicament pentru că sunt foarte sensibile la erori. Prin urmare, dacă ar fi să evaluăm corect HCC, ar trebui să ne uităm doar la studiile clinice și să le ignorăm pe cele observaționale. Dacă facem asta rămânem cu doar 5 studii clinice, dintre care unul este cel al lui Raoult (primul) care n-are un grup de control adecvat. Sintezele serioase care iau în calcul calitatea îl exclud din start (cum e cea din Annals of Internal Medicine39). Celelalte patru, sunt cu puțini pacienți și au rezultate contradictorii (ex.: unul din China are rezultate pozitive20, celelalte au rezultate negative sau inconcludente).
Dacă subiectul studiat ar fi fost o procedură improbabilă cum ar fi un remediu homeopat sau o tehnică reiki sau precogniția, am fi putut trage o concluzie mai puternică împotriva ei pentru că ar fi fost extrem de improbabilă încă dinainte de experiment,43 însă hidroxiclorochina este plauzibilă – are un efect care inhibă infecția cu noul coronavirus a celulelor in vitro.44,45
În condițiile în care nu se cunoaște niciun tratament pentru covid-19, iar studiile ne arată astfel de rezultate, nu cred că putem spune încă dacă hidroxiclorochina este utilă sau nu. Tot ce putem spune (și ceea ce sugerează multe dintre sintezele pe care le-am citat) este că avem nevoie de mai multe studii.
Iunie: studiu anti-hidroxiclorochină retras pentru fraudă, iar Didier Raoult contraatacă
Dacă lucrurile nu erau destul de complicate, în iunie s-au complicat și mai tare. Un studiu observațional mare care a arătat că hiroxiclorochina crește mortalitatea s-a dovedit a fi o fraudă, iar echipa lui Didier Raoult și-a făcut propria sinteză sistematică unde a zis că hidroxiclorochina funcționează și apoi i-a acuzat pe critici de conflicte de interese.
Studiul retras din Lancet
În 22 mai a fost publicat într-unul dintre cele mai prestigioase jurnale medicale, The Lancet, un studiu cu aproape 100.000 de participanți care a arătat că pacienții care au primit ori clorochină, ori HCC, ori HCC + azitromicină au murit mai des decât cei care nu au luat niciuna dintre ele.46 Astfel de rezultate sunt impresionante – atât de impresionante încât mai multe studii aflate în desfășurare, inclusiv unul mare făcut de Organizația Mondială a Sănătății (OMS) au fost oprite.47
Însă cum poate fi făcut în Statele Unite un studiu cu atât de mulți pacienți (cel mai mare dintre toate studiile cu HCC și probabil și cu alte medicamente pentru coronavirus) și nimeni să nu știe de el? Datele păreau prea bune să fie adevărate. Așa că un grup de peste 200 de cercetători au semnat în 28 mai o scrisoare publică pentru autori și redactorul jurnalului Lancet în care au cerut mai multă transparență și au scos în evidență câteva detalii îngrijorătoare: decesele din cele cinci spitale din Australia incluse în acest studiu erau mai multe decât toate decesele de covid-19 din Australia raportate oficial; asemănător, 40% dintre toate decesele de covid-19 din Africa păreau să fi avut loc la cele câteva spitale incluse în acest studiu; lipsea aprobarea etică; iar analizele statistice nu se potriveau întotdeauna cu datele raportate în articol.48
După ce a văzut aceste critici, autorul principal, Mandeep R. Mehra, un profesor distins de la Harvard Medical School, a cerut celorlalți autori datele pentru a le re-analiza și a le face disponibile pentru o evaluare independentă. Surprinzător, deși era autorul principal, nu el a făcut analizele inițiale și nici măcar nu a văzut datele. Totul a fost făcut de autorul numărul 2, Sapan Desai, deținătorul companiei Surgisphere care a fost sursa datelor. Iar Surgisphere n-a vrut să pună datele la dispoziție. Prin urmare, Mehra a zis că nu mai poate avea încredere în presupusele date folosite în studiu,47,49 iar în 5 iunie articolul a fost retras de către trei dintre autori (autorii originali fără Sapan Desai).50
Faptul că datele n-au fost disponibile nimănui, nici măcar autorului principal e de neacceptat, iar Lancet s-a grăbit să publice acest articol fără să-l verifice suficient. Chris Chambers, un cercetător care încearcă să facă cercetarea mai bună și a cărui carte am recomandat-o mai demult, consideră că standardul editorial de la Lancet este sub semnul întrebării47 și nu e singurul care crede asta.
E posibil ca publicarea să fi fost grăbită pentru că multe publicații sunt grăbite pe timp de pandemie, dar e posibil și ca dorința puternică a lui Richard Horton (redactorul-șef de la Lancet) de a arăta că Donald Trump greșește să îl fi făcut mai puțin riguros și mai dornic să adopte publicația. Horton s-a exprimat de mai multe ori împotriva lui Trump, ultima oară acuzându-l de „crime împotriva umanității” pentru că a zis că taie finanțarea OMS.51 Iar Trump, dacă nu știți (deși e puțin probabil), a zis în martie că HCC și azitromicina au șanse să fie unul dintre cele mai revoluționare tratamente din istoria medicinei și că trebuie folosite imediat pentru că oamenii mor (sau, ca să-l citez pe Trump: „…să fie folosite folosite IMEDIAT. OAMENII MOR”).
Nu am foarte mari așteptări de la Trump și nu cred că a acționat bine dând impresia că hidroxiclorochina funcționează înainte să fie date suficiente care să arate asta, dar dacă Trump bate câmpii nu înseamnă automat că orice spune e greșit. Din când în când le poate nimeri, din pură întâmplare. Imaginea de mai jos e statică, dar dacă suficient de mulți oameni citesc acest articol, unii dintre ei o să-l citească exact la ora indicată în imagine. Cum spun americanii, chiar și un ceas stricat arată ora corectă de două ori pe zi.
Cel mai bine ar fi fost dacă Trump nu s-ar fi băgat în dezbatere și nu ar fi promovat hidroxiclorochina, dar chiar dacă s-a băgat, cercetătorii trebuie să evalueze eficiența ei în mod obiectiv. Trump este irelevant.
După ce articolul din Lancet a fost retras, studiile care au fost oprite (inclusiv cel făcut de OMS) au fost reluate.47 Scandalul a ajuns să fie cunoscut ca scandalul Surgisphere pentru că aceeași companie a lui Desai a mai produs încă două studii false. Unul a fost publicat în New England Journal of Medicine și a fost retras,52 iar altul nu a apucat să fie publicat într-un jurnal, a apărut ca preprint și apoi a dispărut în mod misterios (dar există încă în arhive). Acest ultim articol a fost despre un medicament numit ivermectin, despre care spunea că reduce mortalitatea dată de covid-19. A stat online suficient cât să producă niște știri prin America Latină, unde medicii au vrut să-l folosească.47
Ulterior, Elisabeth Bik a găsit imagini duplicate și în studiile lui Desai.53
Meta-analiza lui Raoult
În 4 iunie, cu o zi înainte de retragerea articolului din Lancet, echipa lui Raoult a publicat o „meta-analiză comparativă între big data și date reale” în New Microbes and New Infections.42 Concluzia a fost că hidroxiclorochina funcționează, dacă ne uităm la „date reale”, nu la „big data”: reduce încărcătura virală, durata simptomelor și are un efect dramatic asupra mortalității (o reduce la o treime).
Din punctul meu de vedere, această meta-analiză continuă tradiția de studii proaste produse de echipa lui Raoult.
În primul rând, este publicată într-un jurnal controlat de subalternii lui Raoult, iar redactorul-adjunct al jurnalului este și autor al acestui articol.
În al doilea rând, nu sunt date suficiente detalii încât alți cercetători să poată „reface” analiza.31 De exemplu, nu sunt specificate expresiile exacte folosite pentru a căuta articolele (se spune doar că au fost folosite anumite cuvinte, dar nu și cum au fost combinate). În meta-analizele de calitate e standard să fie incluse exact expresiile folosite pentru căutare.
În al treilea rând, metodele sunt foarte arbitrare. Nu există niciun motiv justificat de a împărți studiile în „studii clinice” vs. „big data”, iar ceea ce Raoult numește big data nu e neapărat big data. Criterile pentru a declara un studiu „clinic” sau „big data” sunt următoarele:
Studiile au fost clasificate ca studii „big data” când au fost făcute folosind registre medicale electronice de către specialiști și epidemiologi care nu au îngrijit ei înșiși pacienți cu covid-19.
Studiile au fost clasificate ca „studii clinice” când au menționat detalii ale tratamentelor (dozaje, durată, contraindicații, monitorizare…) și au fost făcute de autori medici (specialiști în boli infecțioase, medicină internă sau pulmonologi) care au îngrijit ei înșiși pacienți cu covid-19.
Nu am mai văzut niciodată o astfel de clasificare a studiilor într-o meta-analiză și nu reușesc să găsesc vreo explicație, alta decât că autorii au vrut neapărat să obțină anumite rezultate și au tot căutat până le-au obținut. Au preferat această distincție arbitrară în loc să folosească sisteme standard de evaluare a calității precum GRADE sau Cochrane Risk of Bias. Și nici măcar nu le-au aplicat corect. Mai jos este figura 1 din meta-analiză, unde studiile sunt notate în funcție de mai multe criterii de „calitate”.
De exemplu, studiul lui Rosenberg din JAMA (a treia linie de jos)26 are o descriere destul de detaliată (inclusiv în materialul suplimentar), dar e pus cu roșu, ca și când n-ar avea o descriere detaliată. Iar pentru că doar autorii știu ce înseamnă de fapt această descriere detaliată, pot să noteze studiile cum vor.
Un alt exemplu este studiul lui Tang25 care apare cu verde peste tot, inclusiv pe linia a treia „Pro/Con”. Fiind cu verde, înseamnă că este un studiu cu rezultate „pro”, adică pozitive pentru HCC. Dar studiul a avut ca măsură principală timpul până când pacienții nu au mai avut rezultate pozitive la testele de infectare cu SARS-CoV-2 și nu a găsit nicio diferență între cei care au luat HCC și cei care nu au luat. Deci HCC nu a produs vreo diferență detectabilă, așa că studiul e negativ. În schimb, sunt raportate alte măsuri care au fost incluse în variante preprint și care au fost considerate inadecvate la peer review, așa că nu apar în articolul publicat. Echipa lui Raoult le-a inclus pe acestea pentru că sunt pozitive, a ignorat rezultatul principal negativ și a colorat studiul cu verde.
În al patrulea rând, în figura 2, în meta-analiza în sine sunt combinate măsurători diferite (ex.: durata febrei cu cazurile de deces cu încărcătura virală sau cu vindecarea clinică), ceea ce nu e recomandat. Dacă am combinat astfel de măsuri și am găsit un efect pozitiv pentru HCC, ce înseamnă el de fapt? Înseamnă că HCC reduce febra? Sau poate mortalitatea? Sau încărcătura virală? Pentru că le-am combinat pe toate nu știm ce înseamnă rezultatul final. Și mai mult de atât, introduce alte probleme: pacienții din unele studii sunt numărați de mai multe ori. Dacă un studiu a măsurat trei lucruri (rezultate la scanări toracice, durata febrei și durata tusei, cum e cazul lui „Chen, MedRχiv, 2002”), pacienții sunt puși în meta-analiză de trei ori. Dacă alt studiu a măsurat un singur lucru (cum e cazul lui „Geleris, NEJM, 2020”, care a măsurat „deces sau transfer la urgențe”), pacienții sunt numărați o singură dată.
Cred că aceste probleme sunt suficiente pentru a face meta-analiza neinterpretabilă.
La două zile după această meta-analiză, Raoult a publicat un articol în care analizează dacă niște cercetători au primit sau nu bani de la Gilead Sciences (producătorul medicamentului remdesivir) și opinia lor față de HCC.54 Bineînțeles, și acest articol a fost publicat tot în New Microbes and New Infections. Autorii s-au uitat într-un registru cu membrii din Collège des Universitaires des Maladies Infectieuses et Tropicales (CMIT) și a găsit 98 de cercetători francezi specialiști în boli infecțioase, dintre care 54 nu au exprimat nicio opinie. Dintre toți cei 98, 13 nu au primit niciun ban de la Gilead în ultimii 7 ani, iar opiniile lor au fost așa: 7 au fost foarte favorabile, 1 favorabilă, 1 neutră, iar 4 n-au zis nimic. Pe urmă Raoult s-a uitat la cei 13 care au luat cei mai mulți bani de la Gilead și a găsit: 6 opinii foarte nefavorabile, 1 nefavorabilă, 3 neutre și 3 n-au zis nimic. Și cumva de aici a ajuns la o corelație de 1 (cea mai mare posibilă) între „au luat bani de la Gilead” și „au opinii nefavorabile despre HCC”. Nu sunt date deloc detalii despre cum a fost calculată această corelație extremă sau alte detalii relevante. Din nou, un articol cu metode obscure.
Am încercat să găsesc membrii CMIT și i-am găsit aici. Dintre aceștia, 6 sunt de la spitalul lui Raoult, iar 5 dintre ei sunt co-autori de-ai săi la cele două studii din martie:1,9 Philippe Brouqui (1, 9), Carole Eldin (9), Jean-Christophe Lagier (1, 9), Matthieu Million (9), Philippe Parola (1, 9). Așa că e ușor de ghicit cine sunt 5 dintre cei 7 cu opinii „foarte favorabile” – colegii lui Raoult. Așa că studiul nu este deloc impresionant. Este în practică o comparație între ce păreri au colegii lui Raoult despre HCC versus ce păreri au alți cercetători (dintre care unii au avut colaborări cu Gilead).
Iulie și august: sintezele sistematice vii clarifică situația
După 4 luni tot nu știm dacă hidroxiclorochina funcționează sau nu. Ce e de făcut? Ar fi bine dacă am avea cel puțin un studiu clinic mare, de calitate. Din fericire în 15 iulie a fost publicat un astfel de studiu: Recovery.55 Acest studiu a evaluat mai multe tratamente, dar în ce privește HCC, a inclus 1.561 de pacienți care au primit HCC și 3.155 care nu au primit nimic. Rezultatele sale arată că HCC nu a fost asociată cu mortalitate mai scăzută, dar a fost asociată cu prelungirea șederii în spital și un risc mai mare de a avea nevoie de ventilație. Cu alte cuvinte, conform acestui studiu mare, hidroxiclorochina nu funcționează.
Un alt studiu mare (deși nu știm câți pacienți au fost înrolați până la urmă), Solidarity, a fost inițiat de OMS în martie. E acela care a fost oprit și repornit după scandalul Surgisphere. În 2 iulie OMS a decis să oprească definitiv testarea hidroxiclorochinei pentru că nu s-a observat nicio reducere a mortalității.
Spuneam de sinteze sistematice vii… Am văzut deja ce sunt sintezele sistematice obișnuite (studii care combină toate studiile existente pentru un anumit tratament și în mod ideal le evaluează calitatea). Sintezele sistematice vii sunt sinteze sistematice care sunt actualizate constant (la 1-2 săptămâni, după cum anunță unii autori). Într-o pandemie, în care studii noi apar de la o săptămână la alta, aceste sinteze sunt cel mai bun instrument pentru a ține pasul cu cercetarea.
Au fost făcute patru astfel de sinteze vii care evaluează mai multe posibile tratamente pentru covid-19. Toate sunt făcute de experți în medicina bazată pe dovezi, folosesc cele mai înalte standarde de cercetare și toate au cam aceleași rezultate: hidroxiclorochina nu funcționează. Sintezele celelalte pe care le-am menționat mai devreme, pe lângă că nu sunt atât de riguroase, sunt deja învechite. Acestea patru sunt superioare din toate punctele de vedere.
Una dintre ele este făcută de mai mulți cercetători de la Cochrane dar și din alte părți. Printre autori sunt directorul de la Cochrane Germania (Jörg J. Meerpohl), actualul și fostul director de la Cochrane Franța (Isabelle Boutron și respectiv Philippe Ravaud), doi dintre cei patru manageri de la Cochrane Methods Bias (grupul metodologic Cochrane; Isabelle Boutron și Asbjørn Hróbjartsson), directorul de la Cochrane Chile (Gabriel Rada) sau fostul redactor-șef de la Biblioteca Cochrane (David Tovey).56 Rezultatele sale sunt disponibile aici. Dacă vreți să vedeți rezultatele pentru HCC trebuie să alegeți din listă Hydroxychloroquine vs Standard care/Placebo (sau altele cu hidroxiclorochină, cum ar fi HCC + azitromicină) și să dați pe Forest Plots. Sunt 15 grafice momentan și puteți vedea rezultatele pentru fiecare măsură (ex.: incidența ameliorării clinice, incidența recuperării clinice, mortalitate, evenimente adverse). În nicio situație HCC nu are efecte pozitive detectabile.
O altă sinteză sistematică vie a fost publicată în BMJ în 30 iulie.57 La ea au participat mulți metodologi, printre care și Gordon Guyatt, unul dintre părinții medicinei bazate pe dovezi. Rezultatele sale sunt asemănătoare cu cele precedente, dar conține și un rezultat despre care știm că e greșit. Cel puțin în varianta originală, sinteza spune că hidroxiclorochina reduce un pic durata simptomelor. Această concluzie este falsă pentru că nu sunt încă incluse studiile mari (concluzia e bazată pe doar 162 de pacienți), iar Recovery (cu 4.716 pacienți) a găsit că HCC crește timpul petrecut în spital, deci în mod clar când o să fie incluse datele în sinteză, o să elimine această concluzie pozitivă. Autorii au fost deja criticați pentru că nu au făcut clar în abstract că cele mai importante studii nu sunt încă incluse.58 Recovery nu e singurul care lipsește. Mai sunt cel puțin două cu câteva sute de participanți fiecare, tot cu rezultate negative.
O altă sinteză sistematică vie a fost făcută de mai mulți experți din Australia, inclusiv de către cei de la Cochrane Australia, a inclus 5.866 de participanți și a produs o recomandare împotriva folosirii hidroxiclorochinei. Momentan datele sunt un pic dezorganizate. Le puteți găsi aici, dar datele despre HCC sunt disponibile doar prin MagicApp, care mie nu mi se încarcă deloc (chiar și dacă instalez plugin-ul necesar).
A patra sinteză este făcută de echipa lui Christian Gluud de la Copenhagen Trial Unit (unitate care funcționează în același spital cu Centrul Nordic Cochrane, iar cei de la Copenhagen Trial Unit sunt autorii mai multor sinteze Cochrane) și este cea mai bună din punct de vedere metodologic.59 Rezultatele sale, însă, nu par să fie încă disponibile, dar aș fi foarte surprins dacă o să fie în contradicție cu rezultatele celorlalte sinteze vii.
Concluzii
Să ne dăm seama dacă HCC funcționează pentru covid-19 și dacă da, cât de bine, a fost destul de complicat de la începutul pandemiei până acum. Abia în iulie lucrurile au devenit mai clare, dar la cât de multe studii de toate felurile există, nu e surprinzător că mulți oameni nu știu ce să creadă. Multe studii, mai ales cele de la început, au fost mici din motive practice, iar unele au fost făcute prost din motive ideologice.
Didier Raoult este văzut de unii oameni ca un erou care a venit cu un tratament, însă nu este deloc așa. Cercetarea făcută de el mai mult a încurcat. În loc să facă studii clinice randomizate cu grup de control, Raoult a argumentat că nu este nevoie de așa ceva, că deja știm că HCC funcționează și că e lipsit de etică să nu o folosim sau să facem studii. Didier Raoult e un ideolog care a îngreunat clarificarea situației cu HCC și chiar dacă lucrurile s-au clarificat acum, Raoult continuă să publice studii observaționale care arată cât de bună e HCC. Ultimul e o analiză retrospectivă cu 3.700 de pacienți.60 În ciuda a ce susține Raoult, avem nevoie de studii clinice randomizate cu grup de control (RCT).
Dacă Raoult este personajul negativ, există și un personaj pozitiv: un grup de oameni de la NHS din Marea Britanie care încă de la începutul pandemiei au înțeles nevoia de a face RCT-uri pentu a afla cât mai repede ce funcționează și ce nu și care au făcut următoarea recomandare:
„Fiecare clinician individual trebuie să ia decizii în legătură cu ce prescrie, dar descurajăm puternic folosirea tratamentelor în afara licenței [pentru care au fost aprobate] în afara unui studiu clinic, acolo unde participarea la un studiu este posibilă. Folosirea tratamentelor în afara unui studiu, unde participarea este posibilă, este o șansă ratată de a crea informații care le vor fi de folos altora. Dovezile vor fi folosite pentru a ghida deciziile de tratare și în beneficiul pacienților în viitorul apropiat.”
Adică au recomandat ca, acolo unde se poate, medicii să nu prescrie la întâmplare medicamente cu efecte necunoscute și în schimb să le prescrie în cadrul unui studiu. Această recomandare a făcut posibil studiul Recovery, care nu doar că ne-a arătat că hidroxiclorochina nu este de fapt utilă, ci și că combinația lopinavir/ritonavir nu este nici ea utilă și că, în schimb, dexometazona este utilă în anumite situații.61 Recovery încă nu s-a încheiat și s-ar putea ca unele concluzii să se schimbe, dar împreună cu alte studii mari (precum Solidarity) sunt cele mai bune încercări de a afla ce funcționează și ce nu. Nu avem soluții magice.
Referințe:
1: Gautret, P., Lagier, J. C., Parola, P., Meddeb, L., Mailhe, M., Doudier, B., … & Raoult, D. (2020). Hydroxychloroquine and azithromycin as a treatment of COVID-19: results of an open-label non-randomized clinical trial. International journal of antimicrobial agents, 105949.
2: Covid-19 and drug trials: what to make of the initial results? Prescrire Int 2020 Mar 23.
3: Dahly, D, Gates, S, Morris, T (2020). Statistical review of Hydroxychloroquine and azithromycin as a treatment of COVID-19: results of an open-label non-randomized clinical trial. Zenodo. DOI:10.5281/zenodo.3725560.
4: Elisabeth Bik (2020). Thoughts on the Gautret et al. paper about Hydroxychloroquine and Azithromycin treatment of COVID-19 infections. Science Integrity Digest.
5: David Gorski (2020). Are hydroxychloroquine and azithromycin an effective treatment for COVID-19?. Science-Based Medicine.
6: Catalogue of Bias Collaboration, Thomas ET, Heneghan C (2017). Outcome reporting bias. In: Catalogue Of Biases.
7: Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological science, 22(11), 1359-1366.
8: Hulme, O. J., Wagenmakers, E. J., Damkier, P., Madelung, C. F., Siebner, H. R., Helweg-Larsen, J., … & Madsen, K. H. (2020). A Bayesian reanalysis of the effects of hydroxychloroquine and azithromycin on viral carriage in patients with COVID-19. medRχiv.
9: Gautret, P., Lagier, J. C., Parola, P., Meddeb, L., Sevestre, J., Mailhe, M., … & Hocquart, M. (2020). Clinical and microbiological effect of a combination of hydroxychloroquine and azithromycin in 80 COVID-19 patients with at least a six-day follow up: A pilot observational study. Travel medicine and infectious disease, 101663. [PDF]
10: Elisabeth Bik (2020). An observational study without a control group. Science Integrity Digest.
11: David Gorski (2020). Hydroxychloroquine and azithromycin versus COVID-19: Grift, conspiracy theories, and another bad study by Didier Raoult. Science-Based Medicine.
12: Raoult, D., & Recasens, O. (2018). La vérité sur les vaccins: tout ce que vous devez savoir pour faire le bon choix. Éditions Michel Lafon. Citatul cu pariul din capitolul 9, în original: „…parions que dans deux ou trois ans, tout le monde finira par admettre qu’il faut arrêter le vaccin contre la polio parce qu’il ne sert à rien…”.
13: Medhaug, I., Stolpe, M. B., Fischer, E. M., & Knutti, R. (2017). Reconciling controversies about the ‘global warming hiatus’. Nature, 545(7652), 41-47. [Sci-Hub]
14: IPCC (2014): Climate Change 2014: Synthesis Report. Contribution of Working Groups I, II and III to the Fifth Assessment Report of the Intergovernmental Panel on Climate Change [Core Writing Team, R.K. Pachauri and L.A. Meyer (eds.)]. IPCC, Geneva, Switzerland, 151 pp.
15: Raoult, D. (2010). Dépasser Darwin. Plon. Citatele, în original: „Il me paraît incontestable que la plupart des idées de Darwin sont dépassées. […] L’idolâtrie qui s’est développée autour de Darwin (en particulier pour l’anniversaire, les cent cinquante ans de la parution de son ouvrage De l’origine des espèces) est gênante…” (pg. 158); „En effet, toute la théorie de Darwin est profondément basée sur une vision postbiblique qui, en particulier, nie totalement la création de nouvelles formes de vie…” (pg. 159); „Impossible donc, comme le pensait Darwin, de distinguer un ancêtre commun à tous.” (pg. 35); „A mon sens, nous devons beaucoup, en effet, aux philosophes de la déconstruction : Foucault, Deleuze et Derrida. […] La déconstruction a ceci de bon qu’elle permet de revenir à une véritable observation des choses. Souvent, paralysés par des théories construites a priori, et même en disposant des nouveaux outils qui permettraient de s’en libérer, nous avons une difficulté intellectuelle à sauter le pas, à détrôner le dogme scientifique en vigueur” (pg. 100);
16: Leonid Schneider (2020). Chloroquine genius Didier Raoult to save the world from COVID-19. For Better Science.
17: Derek Lowe (2020). More on Hydroxychloroquine/Azithromycin. And On Dr. Raoult. In The Pipeline, Science Magazine.
18: Huang, M., Tang, T., Pang, P., Li, M., Ma, R., Lu, J., … & Hong, Z. (2020). Treating COVID-19 with chloroquine. Journal of molecular cell biology, 12(4), 322-325.
19: Chorin, E., Dai, M., Shulman, E., Wadhwani, L., Cohen, R. B., Barbhaiya, C., … & Park, D. S. (2020). The QT interval in patients with SARS-CoV-2 infection treated with hydroxychloroquine/azithromycin. MedRχiv.
20: Chen, Z., Hu, J., Zhang, Z., Jiang, S., Han, S., Yan, D., … & Zhang, Z. (2020). Efficacy of hydroxychloroquine in patients with COVID-19: results of a randomized clinical trial. MedRχiv.
21: Mahévas, M., Tran, V. T., Roumier, M., Chabrol, A., Paule, R., Guillaud, C., … & Schlemmer, F. (2020). Clinical efficacy of hydroxychloroquine in patients with covid-19 pneumonia who require oxygen: observational comparative study using routine care data. BMJ, 369:m1844. [publicat inițial pe medRχiv în 14 aprilie]
22: Magagnoli, J., Narendran, S., Pereira, F., Cummings, T. H., Hardin, J. W., Sutton, S. S., & Ambati, J. (2020). Outcomes of hydroxychloroquine usage in United States veterans hospitalized with Covid-19. medRχiv, doi: https://doi.org/10.1101/2020.04.16.20065920.
23: Borba, M. G. S., Val, F. F. A., Sampaio, V. S., Alexandre, M. A. A., Melo, G. C., Brito, M., … & Hajjar, L. A. (2020). Effect of high vs low doses of chloroquine diphosphate as adjunctive therapy for patients hospitalized with severe acute respiratory syndrome coronavirus 2 (SARS-CoV-2) infection: a randomized clinical trial. JAMA network open, 3(4), e208857-e208857.
24: Million, M., Lagier, J. C., Gautret, P., Colson, P., Fournier, P. E., Amrane, S., Hocquart, M., Mailhe, M., Esteves-Vieira, V., Doudier, B., Aubry, C., Correard, F., Giraud-Gatineau, A., Roussel, Y., Berenger, C., Cassir, N., Seng, P., Zandotti, C., Dhiver, C., Ravaux, I., … Raoult, D. (2020). Early treatment of COVID-19 patients with hydroxychloroquine and azithromycin: A retrospective analysis of 1061 cases in Marseille, France. Travel medicine and infectious disease, 35, 101738. https://doi.org/10.1016/j.tmaid.2020.101738.
25: Tang, W., Cao, Z., Han, M., Wang, Z., Chen, J., Sun, W., … & Chen, W. (2020). Hydroxychloroquine in patients with mainly mild to moderate coronavirus disease 2019: open label, randomised controlled trial. BMJ, 369:m1849. [publicat inițial pe medRχiv în 7 mai]
26: Rosenberg, E. S., Dufort, E. M., Udo, T., Wilberschied, L. A., Kumar, J., Tesoriero, J., … & Blog, D. S. (2020). Association of treatment with hydroxychloroquine or azithromycin with in-hospital mortality in patients with COVID-19 in New York state. Jama; 323(24):2493-2502. doi:10.1001/jama.2020.8630.
27: Mary, C. (2012). Sound and fury in the microbiology lab. Science, Vol. 335, Issue 6072, pp. 1033-1035. [Sci-Hub]
28: Bik, E. M., Casadevall, A., & Fang, F. C. (2016). The prevalence of inappropriate image duplication in biomedical research publications. MBio, 7(3).
29: Ivan Oransky (2019). Meet Elisabeth Bik, who finds problematic images in scientific papers for free. Retraction Watch.
30: Shen, H. (2020). Meet this super-spotter of duplicated images in science papers. Nature, 581(7807), 132-136.
31: Locher, C., Moher, D., Cristea, I., & Naudet, F. (2020). Publication by association: the Covid-19 pandemic reveals relationships between authors and editors. MetaArχiv. Doi: 10.31222/osf.io/64u3s.
32: Sarma, P., Kaur, H., Kumar, H., Mahendru, D., Avti, P., Bhattacharyya, A., … & Singh, A. (2020). Virological and clinical cure in COVID-19 patients treated with hydroxychloroquine: a systematic review and meta-analysis. Journal of medical virology.
33: Rawaf, S., Al-Saffar, M., Quezada-Yamamoto, H., Alshaikh, M., Pelly, M., Rawaf, D., … & Majeed, A. (2020). Chloroquine and hydroxychloroquine effectiveness in human subjects during coronavirus: a systematic review. medRχiv.
34: Emami, A., Javanmardi, F., Pirbonyeh, N., & Akbari, A. (2020). Prevalence of underlying diseases in hospitalized patients with COVID-19: a systematic review and meta-analysis. Archives of academic emergency medicine, 8(1).
35: Yang, T. H., Chou, C. Y., Yang, Y. F., Yang, Y. P., Chien, C. S., Yarmishyn, A. A., … & Chang, Y. L. (2020). Systematic Review and Meta-analysis of the Effectiveness and Safety of Hydroxychloroquine in COVID-19. medRχiv.
36: Mahtani, K. R. (2016). ‘Spin’ in reports of clinical research. BMJ Evidence-Based Medicine, 21(6), 201-202.
37: Chacko, J., Brar, G., & Premkumar, R. (2020). Hydroxychloroquine in COVID-19: A systematic review and meta-analysis. medRχiv.
38: Singh, S., & Moore, T. J. (2020). Efficacy and Safety of Hydroxychloroquine and Chloroquine for COVID-19: A systematic review. medRχiv.
39: Hernandez, A. V., Roman, Y. M., Pasupuleti, V., Barboza, J. J., & White, C. M. (2020). Hydroxychloroquine or chloroquine for treatment or prophylaxis of COVID-19: a living systematic review. Annals of Internal Medicine. https://doi.org/10.7326/M20-2496.
40: Amani, B., Khanijahani, A., & Amani, B. (2020). Hydroxychloroquine plus standard care compared with the standard care alone in COVID-19: a meta-analysis of randomized controlled trials. medRχiv.
41: Khadka, S., Budhathoki, P., Shrestha, D. B., & Rawal, E. (2020). Is hydroxychloroquine with macrolide a good combination in COVID-19 compared to hydroxychloroquine alone from cardiac perspective? A systematic review and meta-analysis. DOI: https://doi.org/10.21203/rs.3.rs-39116/v1.
42: Million, M., Gautret, P., Colson, P., Roussel, Y., Dubourg, G., Chabriere, E., … & Raoult, D. (2020). Clinical Efficacy of Chloroquine derivatives in COVID-19 Infection: Comparative meta-analysis between the Big data and the real world. New Microbes and New Infections, 100709. [PDF]
43: Colquhoun, D. (2017). The reproducibility of research and the misinterpretation of p-values. Royal society open science, 4(12), 171085.
44: Liu, J., Cao, R., Xu, M., Wang, X., Zhang, H., Hu, H., … & Wang, M. (2020). Hydroxychloroquine, a less toxic derivative of chloroquine, is effective in inhibiting SARS-CoV-2 infection in vitro. Cell discovery, 6(1), 1-4.
45: Fantini, J., Di Scala, C., Chahinian, H., & Yahi, N. (2020). Structural and molecular modeling studies reveal a new mechanism of action of chloroquine and hydroxychloroquine against SARS-CoV-2 infection. International journal of antimicrobial agents, 105960.
46: Mehra, M. R., Desai, S. S., Ruschitzka, F., & Patel, A. N. (2020). Retracted: Hydroxychloroquine or chloroquine with or without a macrolide for treatment of COVID-19: a multinational registry analysis. The Lancet. DOI: https://doi.org/10.1016/S0140-6736(20)31180-6
47: Charles Piller, Kelly Servick (2020). Two elite medical journals retract coronavirus papers over data integrity questions. Science News, doi:10.1126/science.abd1697.
48: James Watson et al. (2020). Open letter to MR Mehra, SS Desai, F Ruschitzka, and AN Patel, authors of “Hydroxychloroquine or chloroquine with or without a macrolide for treatment of COVID-19: a multinational registry analysis”. Lancet. 2020 May 22:S0140-6736(20)31180-6. doi: 10.1016/S0140-6736(20)31180-6. PMID: 32450107 and to Richard Horton (editor of The Lancet). Zenodo.
49: Piller, C. (2020). Who’s to blame? These three scientists are at the heart of the Surgisphere COVID-19 scandal. Science News, doi:10.1126/science.abd2252.
50: Mehra, M. R., Ruschitzka, F., & Patel, A. N. (2020). Retraction—Hydroxychloroquine or chloroquine with or without a macrolide for treatment of COVID-19: a multinational registry analysis. The Lancet. DOI: https://doi.org/10.1016/S0140-6736(20)31324-6.
51: Stephen, B. (2020). Scathing COVID-19 Book From Lancet Editor-Rushed but Useful. Nature, 582(7813), 478-479.
52: Mehra, M. R., Desai, S. S., Kuy, S., Henry, T. D., & Patel, A. N. (2020). Retraction: Cardiovascular Disease, Drug Therapy, and Mortality in Covid-19. N Engl J Med. DOI: 10.1056/NEJMoa2007621.
53: Elisabeth Bik (2020). The Surgisphere Founder and the Melba Toast figure. Science Integrity Digest.
54: Roussel, Y., & Raoult, D. (2020). Influence of conflicts of interest on public positions in the COVID-19 era, the case of Gilead Sciences. New Microbes and New Infections, 100710.
55: Horby, P., Mafham, M., Linsell, L., Bell, J. L., Staplin, N., Emberson, J. R., Wiselka, M., Ustianowski, A., Elmahi, E., Prudon, B., Whitehouse, A., Felton, T., Williams, J., Faccenda, J., Underwood, J., Baillie, J. K., Chappell, L., Faust, S. N., Jaki, T., … Landray, M. J. (2020). Effect of Hydroxychloroquine in Hospitalized Patients with COVID-19: Preliminary results from a multi-centre, randomized, controlled trial. MedRχiv, 2020.07.15.20151852.
56: Isabelle Boutron, Anna Chaimani, Declan Devane, Joerg J Meerpohl, David Tovey, Asbjørn Hróbjartsson, Philippe Ravaud, Gabriel Rada, Giacomo Grasselli. (2020). Interventions for preventing and treating COVID-19: protocol for a living mapping of research and a living systematic review. Zenodo. http://doi.org/10.5281/zenodo.3903347.
57: Siemieniuk Reed AC, Bartoszko Jessica J, Ge Long, Zeraatkar Dena, Izcovich Ariel, Pardo-Hernandez Hector, … Guyatt Gordon H, Brignardello-Petersen Romina (2020). Drug treatments for covid-19: living systematic review and network meta-analysis. BMJ; 370:m2980.
58: Bastian, H (2020). Rapid Response: Drug treatments for covid-19: living systematic review and network meta-analysis. BMJ; 370:m2980.
59: Juul, S., Nielsen, N., Bentzer, P., Veroniki, A. A., Thabane, L., Linder, A., … & Jakobsen, J. C. (2020). Interventions for treatment of COVID-19: a protocol for a living systematic review with network meta-analysis including individual patient data (The LIVING Project). Systematic Reviews, 9, 1-12.
60: Lagier, J. C., Million, M., Gautret, P., Colson, P., Cortaredona, S., Giraud-Gatineau, A., … & Raoult, D. (2020). Outcomes of 3,737 COVID-19 patients treated with hydroxychloroquine/azithromycin and other regimens in Marseille, France: A retrospective analysis. Travel medicine and infectious disease, 101791.
61: Group, R. C., Horby, P., Lim, W. S., Emberson, J. R., Mafham, M., Bell, J. L., … & Elmahi, E. (2020). Dexamethasone in Hospitalized Patients with Covid-19-Preliminary Report. The New England journal of medicine. DOI: 10.1056/NEJMoa2021436.
O Privire Sceptică 
