Mit sau Real? Psi: Tehnica Rorschach

Poveste:

Felul în care interpretăm petele de cerneală din planșele lui Rorschach dezvăluie detalii despre personalitatea noastră.

Planșa nr. 4 din testul Rorschach

Ce este?

Testul Rorschach (citit /ˈʁoːʁʃax/ sau /ˈʁoːɐʃax/, aproximativ rorșah) constă în 10 planșe cu pete de cerneală simetrice, unele colorate, altele alb-negre. Persoanele evaluate sunt puse să spună ce văd în aceste imagini ambigue. Asta, pe scurt. În continuare mai în detaliu.

Cele 10 figuri („pete de cerneală”) au fost date publicului în 1921 de către Hermann Rorschach și în următoarele decenii au devenit foarte populare printre psihoterapeuți pentru a evalua și diagnostica. De-a lungul timpului au existat mai multe variante ale testului, majoritatea fiind de tip proiectiv (cum este și testul desenează-o-persoană, de exemplu), iar începând cu anul 1970 John Exner a dezvoltat „sistemul comprehensiv”. Pentru că sistemul lui Exner este cel mai folosit în prezent și nu este de tip proiectiv, o să încerc să-l tratez separat. Dar, mai întâi, să vedem variantele proiective.

 

Planșa nr. 9

Cele 5 variante

Inițial, Herman Rorschach a încercat să găsească corelații între condiții psihologice (cum ar fi depresia, schizofrenia) și felul în care sunt interpretate figurile de cerneală. Din cauză că a murit la un an după ce a publicat cartea în care descria tehnica și pentru că psihanaliza începea să fie populară, evoluția tehnicii Rorschach a fost spre interpretări proiective. Până în 1957 au fost dezvoltate cinci sisteme diferite de interpretare, denumite după autorii lor. Varianta lui S.J. Beck a fost foarte apropiată de principiile inițiale ale lui Rorschach în ce privește codarea și punctarea. În schimb, varianta lui B. Klopfer era foarte apropiată de filozofiile lui Freud și Jung, insistând pe natura simbolică a răspunsului pacientului. Celelalte trei variante, dezvoltate de Piotrowski, Hertz și Rapaport s-au situat undeva între variantele extreme ale lui Beck și Klopfer.¹

În ce privește folosirea acestor variante, un sondaj făcut de Exner în 1972 a arătat că aproape 3 din 5 clinicieni aveau specializare în sistemul lui Klopfer, iar 1 din 2 în sistemul lui Beck. Doar 1 din 5 aveau specializare în sistemul lui Piotrowski și doar 1 din 10 în celelalte. De menționat că mulți clinicieni făceau specializări în mai multe variante. Cea mai importantă diferență între aceste variante de Rorschach o reprezintă sistemul de notare. Ceea ce este interesant este că 22% dintre clinicieni au abandonat complet ideea de notare și interpretau doar în mod subiectiv. Mai mult, 75% dintre clinicieni au recunoscut că „personalizează” sistemul de notare, integrând modele de notare dintr-un sistem în altul și adăugând sisteme de notare dezvoltate din experiența personală. De asemenea, cei mai mulți au recunscut că nu folosesc întotdeauna modul de administrare din sistemul în care s-au specializat. Un alt sondaj, făcut de Jackson și Wohl în 1966, a arătat că 12%  dintre universitățile în care se predă o formă de evaluare Rorschach nici măcar nu predau sisteme de notare, iar în celelalte variază foarte mult ceea ce se predă.³ Pe de altă parte, metoda Rorschach era a treia între cele mai folosite metode de către clinicieni în 1969. Iar popularitatea n-a scăzut decât puțin (de la locul trei la locul cinci) în 1982 și 1995.⁴

 

Interpretarea proiectivă

Persoana care face testul primește câte o planșă cu pete de cerneală și este rugată să spună „cu ce seamănă”. Această întrebare e intenționat vagă pentru a-l lăsa pe participant să răspundă la întreaga figură, la părți mari din ea sau la detalii mărunte și să își bazeze răspunsul pe forma, umbra, textura și/sau culorea părții alese. Participantul este liber să răspundă și la părțile albe din jurul petelor sau din interiorul lor. De asemenea, este liber să rotească sau să întoarcă planșele (dar doar după ce a dat un răspuns inițial). După fiecare răspuns, examinatorul îl roagă să explice răspunsurile, întrebându-l lucruri cum ar fi „De ce arată ca un fluture?” sau, mai simplu, „Spune-mi mai multe”. În plus, participanții sunt încurajați să vadă mai multe lucruri într-o singură pată. În mod ideal, examinatorul nu trebuie să aibă nicio reacție evidentă la răspunsuri.

Teoria din spatele acestui test este că lumea conține situații ambigue, iar oamenii răspund la ambiguități în moduri specifice ce țin de personalitățile lor. Petele de cerneală sunt ambigue, deci răspunsurile participanților ar trebui să dea indicii despre ce gândesc și n-ar recunoaște în mod obișnuit. Preocupările și conflictele psihologice „adânci” ar trebui să fie „proiectate” pe figurile ambigue de cerneală – de aici și denumirea de „test proiectiv”. Participantul interpretează figurile, iar psihologul interpretează răspunsurile participantului, folosindu-se de experiența sa profesională.

Unul dintre lucrurile interpretate este dacă participantul încearcă să integreze toată pata într-o singură imagine sau este atent doar la detalii mărunte. Folosirea întregii imagini este un indicator al nevoii de a forma o „imagine de ansamblu”. Cu excepția cazurilor în care toată pata poate fi în mod rezonabil privită ca o singură imagine, situație în care un astfel de răspuns indică tendințe către grandiozitate și chiar paranoia și tendința de a nu lua în considerare aspectele realității care nu se potrivesc în „imaginea de ansamblu” a acelei persoane. Pe de altă parte, răspunsurile bazate pe detalii mărunte ale petei indică o personalitate obsesivă, o persoană care se ocupă de detalii în detrimentul aspectelor mai importante ale vieții, eventual pentru a le evita. Câteodată, participantul o să formeze o imagine din spațiile goale (albe) din jurul petelor. Pentru că această „inversare” trece dincolo de cerințele de a analiza petele, câteva răspunsuri legate de spațiile goale sunt indicatoare ale creativității, în timp ce prea multe astfel de răspunsuri (și asta ține de interpretarea psihologului) pot indica o personalitate opunătoare, sfidătoare. Integrarea mai multor trăsături ale petelor (ex.: culoare și formă) este semn al unui eu (ego) puternic, dar doar dacă integrarea nu este una ad hoc (cum ar fi „zebră verde”). Dacă participantul nu este în stare să dea un răspuns după ce vede prima planșă colorată înseamnă că e instabil din punct de vedere emoțional sau că are tendința de a reacționa emoțional în situații în care alții nu ar face-o. Rotirea planșei după câteva răspunsuri indică flexibilitate, dar doar dacă e după câteva răspunsuri – dacă, în schimb, participantul rotește planșa imediat, înseamnă că are capacitate redusă de a testa realitatea. Și așa mai departe.­²

Nu doar forma, ci și conținutul imaginilor generate de participant e important. Mulți văd animale, dar prea multe animale indică imaturitate și lipsă de imaginație. Oamenii în mișcare sunt un lucru bun de văzut pentru că indică putere de caracter și creativitate; organele sexuale nu sunt un lucru așa bun. Răspunsurile „anale” (prea rigide sau prea dezordonate) din partea bărbaților indică homosexualitate. Figurile care sunt parțial umane și parțial ne-umane (centauri, vrăjitoare, personaje din desene animate) sunt semne ale alienării și ale începerii retragerii schizofrenice. Cei care văd scene confabulate (care sunt formate din mai multe imagini aruncate împreună, indiferent de coerență; sau cele care conțin ceva ce nu este în pata de cerneală) nu se pricep la testarea realității. Iar cei care văd multe lucruri pe care alte persoane nu le văd sunt posibil schizofrenici (dar cei care nu văd nimic ieșit din comun au nevoi exagerate de control).²

Răspunsurile cele mai comune pot fi găsite uşor pe internet, ceea ce face falsificarea foarte ușoară. Câteva dintre ele sunt chiar în articolul de pe Wikiedia despre testul Rorschach.

Planșa nr. 3.

 

Sistemul Comprehensiv al lui Exner

În anii ’60, John Exner a încercat să sistematizeze interpretările, procedurile și variabilele din versiunile existente la acea vreme pentru testul Rorschach, încercând să găsească corelații statistice între răspunsuri și ceea ce ar trebui să indice. Cu alte cuvinte, dacă majoritatea celor testați văd în prima planșă un fluture sau un liliac, acela este răspunsul „popular”. Dacă majoritatea persoanelor cu schizofrenie văd organe umane, atunci acela este răspunsul care indică schizofrenia. Nu contează ce explicații sunt date de psihanaliză sau de alte ramuri ale psihologiei, pentru Exner contează doar corelația statistică. Rezultatul a fost un sistem destul de complicat, cu notații specifice pe care, pentru a-l explica, e nevoie de o carte întreagă. Totuși, cum ar decurge notarea unui răspuns simplu?⁴⁰

 Să luăm ca exemplu planșa nr. 3 și următorul răspuns:

Participant: Aici e o persoană, probabil un bărbat.
Evaluator: Unde, mai exact?
Participant: (indică spre D9)
Evaluator: Nu reușesc să văd, puteți să-mi detaliați?
Participant: Aici e capul, aici corpul și aici picioarele.

Toate planșele au fost împărțite de către Exner în regiuni. Regiunea D9 este următoarea:

Regiunea D9 a planșei III, evidențiată.⁴¹

Acest răspuns ar fi codat în felul următor:

Locație și DQ	Determinant & FQ	Conținut	Popular
Do	Fo	H	P

Codarea Do Fo H înseamnă că participantul a folosit o regiune comună a petei (D) și a identificat în aceasta un singur obiect unitar (o). Determinantul F arată că doar forma petei din acea regiune a justificat răspunsul. Codul pentru calitatea formei (o din Fo) indică folosirea convențională a formei, iar conținutul răspunului (H) indică un om (human). Iar P arată că este un răspuns dat frecvent (adică popular).⁴⁰

Pentru răspunsuri mai complicate și codarea se complică pentru a indica sub-regiuni, mișcare, culoare, textură etc. Iar după codare, pentru a ajunge la indecșii relevanți (cum ar fi SCZI) e nevoie de combinarea codurilor obținute. Prin urmare, pregătirea pentru a putea administra un test Rorschach este laborioasă.

 

Este un mit sau e real?

Înainte de toate, trebuie să reamintesc că nu există un test Rorschach, ci există mai multe variante dezvoltate de-a lungul timpului. Acestea pot fi separate în două categorii: sistemele cu interpretare proiectivă și sistemul comprehensiv dezvoltat de John Exner. Prin urmare, o să le evaluez în mod separat. Să începem cu variantele proiective.

Variantele proiective

Versiunile existente înainte ca John Exner să încerce sintetizarea lor în Sistemul Comprehensiv erau foarte puțin studiate în mod științific. Bruno Klopfer, un student de-al lui Carl Jung și proponentul celei mai populare variante a testului Rorschach, chiar considera că nu este important ca testul să aibă norme (adică un set de reguli după care să fie interpretate rezultatele) și nici nu era preocupat de validitatea testului, importantă fiind integrarea intuitivă a informației. Mai mult, considera că testele de validitate sunt inutile și tot ce ar putea să facă ar fi să confirme ceea ce specialiștii în tehnica Rorschach știu deja.⁷ Cu toate astea, Klopfer, Piotrowski și alți experți au examinat scorurile Rorschach ale unor cadeți ai unei școli de aviație, încercând să-i identifice pe cei cu „tulburări clare de personalitate”. Precizia acestor experți a fost la fel de bună ca și dacă ar fi dat cu banul.⁸ După câțiva ani în care a fost pus în fața unor rezultate asemănătoare, adresând criticile, Klopfer declara «Poate că nu este necesar să ne preocupăm de validitate în sensul obișnuit; sau poate o nouă tehnică de validare este necesară».⁹ De asemenea, insista că expertiza este cel mai important lucru. Cercetarea ulterioară a demonstrat că și această noțiune este falsă, experții nefiind mai preciși în evaluări decât alți evaluatori (ex.: studenți care tocmai au învățat să folosească tehnica Rorschach).¹⁰ Mai mult, Klopfer recomanda clinicienilor să valideze tehnica pentru ei înșiși.⁷ Și se pare că psihologii clinicieni care foloseau această tehnică l-au luat în serios pentru că un sondaj făcut de Exner în 1972 a arătat că aproximativ unul din cinci specialiști nu notează scorul răspunsurilor, iar patru din cinci dintre cei care notează scorul, îl „personalizează”. Cei mai mulți au fost antrenați să folosească ori sistemul lui Klopfer, ori cel al lui Beck, însă cei mai mulți le alterează, le combină și adaugă și observații din experiența personală.¹¹

Pentru a verifica dacă rezultatele metodei Rorschach sunt utile în realitate (și nu doar în declarațiile lui Klopfer), soții Chapman s-au gândit la un test. Unul dintre lucrurile pe care proponenții Rorschach le afirmau era că metoda Rorschach poate identifica persoanele homosexuale. Pentru a verifica acest lucru au urmat mai mulți pași. Prima dată au trimis chestionare mai multor psihologi clinicieni, cerându-le să spună care cred că sunt cele mai des asociate semne cu homosexualitatea. Rezultatele au corespuns cu cele mai frecvente semne convenționale folosite în testele Rorschach (referințe la anus, îmbrăcăminte feminină, organe sexuale, persoane de sex neclar sau persoane hermafrodite). Deși niciunul dintre aceste răspunsuri nu este dat de persoanele homosexuale mai des decât cele heterosexuale, psihologii erau convinși că au ajuns la aceste răspunsuri prin experiență clinică. Observând acest lucru, soții Chapman au formulat o ipoteză: aceste semne sunt doar ceea ce ne așteptăm în mod naiv să vadă homosexualii în petele de cerneală, nu sunt descoperite în urma „experienței clinice”. Așa că au întrebat niște studenți fără experiență clinică să aleagă ce simboluri sunt –pentru ei– asociate cel mai mult cu homosexualitatea. Deloc surprinzător, au făcut aproape aceleași asocieri ca și psihologii cu experiență. Mai mult decât atât, un alt set de studenți a primit 30 de planșe conținând o pată de cerneală, o descriere făcută de un pacient imaginar și două tulburări emoționale de care acesta suferea și după ce au examinat mai multe astfel de planșe, li s-a cerut să spună dacă au observat vreun răspuns dat mai des de homosexuali. Studenții au crezut în mod greșit că semnele false (îmbrăcăminte feminină și toate cele amintite mai sus) indică homosexualitate, dând astfel dovadă de corelație iluzorie. Acest test a fost făcut și „invers”, alți participanți primind semne valide, dar nereușind să facă evaluări corecte.¹²

Bun, ăsta e doar un test (cu mai multe variații). Există și evaluări mai cuprinzătoare? Există. Una dintre cele mai vechi este cea a lui Lee Cronbach, care concluzionează că eficiența evaluării prin metoda Rorschach nu este susținută în mod empiric.¹³ În anii care au urmat, au fost făcute evaluări ale metodei Rorschach de către Mental Measurements Yearbok, o carte standard publicată din 6 în 6 ani ce conține evaluări și recenzii ale principalelor metode de evaluare psihologică. Metoda Rorschach a fost evaluată în 1949, 1953, 1959, 1965, 1972 și 1978. În edițiile următoare nici nu a mai fost evaluată pentru că a fost considerată discreditată. În anii în care a fost evaluată, însă, obiceiul era să fie prezentate cel puțin două evaluări, una pro și una contra. Surprinzătoare sunt evaluările pro și „argumentele” aduse, ca de exemplu încercarea lui Morris Krugman în 1949 de a substitui dovezile cu retorica: „Tehnica Rorschach a rezistat testelor clinice de-a lungul anilor și a devenit mai puternică; pe de altă parte, încercările de validare atomistică au eșuat și probabil vor continua să eșueze” (italicele mele). Cu alte cuvinte, știm noi că funționează, așa că de ce să ne mai batem capul cu teste? În ediția următoare, din 1953, povestea se repetă, evaluarea pozitivă oferind doar retorică: „testul Rorschach este o tehnică clinică, nu o metodă psihometrică”. În 1959, Hans Eysenck reafirmă ceea ce a spus Lee Cronbach, iar Raymond J. McCall adaugă că majoritatea ipotezelor n-au fost niciodată validate empiric, deși au fost publicate peste 2000 de studii.⁶ În 1965, A. Jensen concluzionează că „testul Rorschach este un test foarte slab și nu are nicio valoare practică pentru vreunul dintre scopurile pentru care este recomandat de proponenții săi”.¹⁴ În 1978, Richard Davis concluzionează că lipsa validării empirice ridică mari semne de întrebare legate de folosirea în continuare a testului.⁶

Așa că în ceea ce privește interpretarea proiectivă a testului Rorschach, concluzia este simplă.

 

Sistemul comprehensiv

Dacă în cazul interpretărilor proiective lucrurile sunt mai clare, când vine vorba de sistemul comprehensiv există o controversă. Funcționează sau nu? La o primă vedere răspunsul ar fi: depinde pe cine citești. Irving Weiner scrie că testul Rorschach este foarte bun, iar criticii nu au argumente de luat în seamă.¹⁵ Robert Kaplan scrie că testul nu este suficient de bine susținut de studii și că are probleme care trebuie rezolvate înainte să poată fi folosit.¹⁶ Iar acestea sunt doar două exemple. Prin urmare, e nevoie să urmărim controversa, așa că această secțiune va avea următoarea structură: prezentarea dezbaterii din anii 1998-2003 când a avut loc așa-numitul Rorschach Wars în Psychological Assessment, apoi prezentarea unor articole din anii de după dezbatere.

 

Pentru că la sfârșitul anilor ’90 au început să apară mai multe articole critice față de sistemul comprehensiv și a apărut o controversă, jurnalul științific Psychological Assessment, specializat în tehnici de evaluare psihologică, a propus o dezbatere structurată între critici și proponenți. La vremea respectivă, Gregory Meyer era redactor șef la acest jurnal, așa că a moderat dezbaterea. Au fost publicate mai multe articole, dintre care primul detaliază și structura dezbaterii:¹⁷

• Partea I cuprinde 5 articole publicate în Secțiunea Specială. Autorii acestor articole au primit 445 de articole despre tehnica Rorschach, publicate în ultimii 20 ani (1977-1997) în cinci dintre cele mai importante jurnale științifice. Folosind aceste articole (și eventual și altele), au trebuit să analizeze starea curentă a sistemului comprehensiv. Cele cinci articole din prima parte sunt următoarele:
  • Dawes, R.M. (1999). Two methods for studying the incremental validity of a Rorschach variable, Psychological Assessment, 11, 297-302. Afirmă că variabila numită Ego Impairment Index din sistemul comprehensiv are validitate incrementală scăzută (validitatea incrementală se referă la puterea de predicție a unei variabile atunci când este adăugată unor informații deja cunoscute);
  • Hiller, J.B., Rosenthal, R., Bornstein, R.F., Berry, D.T.R., & Brunell-Neuleib, S. (1999). A comparative meta-analysis of Rorschach and MMPI validity, Psychological Assessment, 11, 278-296. Afirmă că sistemul comprehensiv și MMPI (Minesota Multiphasic Personality Inventory) sunt la fel de valide;
  • Hunsley, J. & Bailey, J.M. (1999). The clinical utility of the Rorschach: Unfulfilled promises and an uncertain future, Psychological Assessment, 11, 266-277. Afirmă că sistemul integrat are utilitate clinică foarte scăzută și nu există suficiente dovezi care să justifice folosirea acestuia în continuare;
  • Stricker, G., Gold, J.R. (1999). The Rorschach: Toward a nomothetically based, idiographically applicable configurational model, Psychological Assessment, 11, 240-250. Afirmă că sistemul comprehensiv poate fi folosit pentru evaluarea personalității;
  • Viglione, D.J. (1999). A review of recent research addressing the utility of the Rorschach, Psychological Assessment, 11, 251-265. Afirmă că multe dintre variabilele Rorschach sunt utile în contexte clinice, judiciare și educaționale;
• Partea a II-a cuprinde câte un articol din fiecare tabără (critici și susținători), care au rolul de a analiza, dezbate și disputa concluziile articolelor din partea I. Cele două articole sunt următoarele:
  • Garb, H.N., Wood, J.M., Nezworski, M.T., Grove, W.M., Stejskal, W.J. (2001). Toward aresolution of the Rorschach controversy, Psychological Assessment, 13, 433-448;
  • Weiner, I.B. (2001). Advancing the science of psychological assessment: The Rorschach Inkblot Method as exemplar, Pychological Assessment, 13, 423-432;
• Partea a III-a. Articolele din partea a II-a au fost trimise către autorii principali ai articolelor din partea I pentru a răspunde criticilor aduse meta-analizelor. De asemenea, Hunsley & Bailey și Viglione & Hilsenroth au avut oportunitatea de a răspunde și articolelor din partea I, fiind principalii critici și susținători ai dezbaterii. Au fost publicate trei articole:
  • Rosenthal, R., Hiller, J.B., Bornstein, R.F., Berry, D.T.R., & Brunell-Neuleib, S. (2001). Meta-analytic methods, the Rorschach and the MMPI, Psychological Assessment, 13, 449-451;
  • Viglione, D.J., & Hilsenroth, M.J. (2001). The Rorschach: Facts, fictions and future, Psychological Assessment, 13, 452-471;
  • Hunsley, J., & Bailey, J.M. (2001). Whither the Rorschach? An analysis of the evidence, Psychological Assessment, 13, 472-485;
• Partea a IV-a. Toate articolele precedente au fost analizate de ultima serie de autori, care au scris și un sumar al dezbaterii:
  • Meyer, G.J., & Archer, R.P. (2001). The hard science of Rorschach research: What do we know and where do we go? Psychological Assessment, 13, 486-502;

Planșa nr. 7

Pentru a înțelege mai bine dezbaterea, o să prezint și rezumatele articolelor din partea a II-a și partea a III-a (cu excepția celui al lui Rosenthal et al. care conține doar niște calcule refăcute ca urmare a criticilor primite).

A fost greu să mă decid dacă să includ rezumatele în acest articol, așa că m-am gândit la următorul compromis: le-am inclus, dar știu că este mult de citit, așa că puteți sări direct la partea a IV-a (articolul lui Meyer și Archer, după planșa nr. 5) dacă nu vă interesează detaliile dezbaterii.

Așadar, partea a II-a. Să începem cu articolul lui Howard Garb și să continuăm cu cel al lui Irving Weiner.

Garb et al. (2001)

• Despre articolul lui Striecker & Gold (1999): prezintă afirmații exagerate în timp ce rezultatele studiilor sunt modeste. Variabila S-Con (Suicide Constellation) nu reușește să diferențieze pacienții cu tendințe de sinucidere de cei fără. Deși este adevărat că utilitatea variabilei RPRS (Rorschach Prognostic Rating Scale) este susținută de o meta-analiză recentă,¹⁸ este la fel de adevărat că majoritatea studiilor despre RPRS sunt mai vechi de 20 ani și nu au folosit sistemul comprehensiv. Garb și colaboratorii mai remarcă și că Striecker & Gold înceracă să găsească raționalizări în cazurile în care nu le convin rezultatele.
• Despre articolul lui Viglione (1999): deși Viglione afirmă că majoritatea variabilelor au fost testate pentru fiabilitate, în realitate doar 51 au fost testate, iar când analizele au fost făcute de alte persoane, nu de John Exner (autorul sistemului comprehensiv), rezultatele au fost mai slabe.¹⁹ În ce privește fiabilitatea concordanței la notare, Viglione citează o meta-analiză (pe care Garb o consideră „forțată”), dar uită să citeze critica acelei meta-analize.²⁰ De asemenea, Garb et al. prezintă singurul studiu bine realizat pe acest subiect și arată că rezultatele a 50% dintre variabile sunt sub ceea ce chiar Exner sau Groth-Marnat consideră acceptabil.²¹ În ce privește diversitatea culturală, există riscul ca în cazul non-americanilor să existe o supra-patologizare și prezintă mai multe studii care au observat acest fenomen.³⁷ În ceea ce privește judecățile clinice, Garb et al. afirmă că majoritatea studiilor citate de Viglione sunt din anii ’60 și 70’ și nu folosesc sistemul comprehensiv și că, de asemenea, Viglione ignoră în mod consecvent descoperirile negative. În ce privește variabila DEPI (Depression Index), studiile prezentate sunt neconvingătoare, iar pentru SCZI (Schizophrenia Index) rezultatele sunt moderate.
• Despre articolul lui Dawes (1999): Garb et al. sunt de acord că există validitate incrementală modestă când se folosește sistemul comprehensiv împreună cu MMPI.
• Despre articolul lui Hiller et al. (1999): meta-analiza făcută de Hiller are erori statistice importante și folosește datele dintr-o altă meta-analiză²² ce a fost la rândul ei criticată pentru erori statistice,²³ iar după corectarea acestora, rezultatele au fost că MMPI este superior testului Rorschach. Hiller a fost de acord cu critica acestei meta-analize, dar a descoperit alte erori statistice în meta-analiza originală, ceea ce face rezultatele ambelor meta-analize greu de evaluat. O altă problemă a meta-analizei lui Hiller este că evaluatorii nu au fost orbiți.
• În concluzie, Garb susține că studiile individuale incluse în meta-analize au erori care nu au fost corectate, multe descoperiri nu au fost replicate (iar Viglione neglijează acest fapt). Variabila SCZI corelează puternic cu schizfrenia, iar R (numărul de răspunsuri) în mod invers cu dizabilitățile intelectuale. O listare a fiecărei variabile din sistemul comprehensiv, cu datele aferente (validitate, fiabilitate etc.) ar clarifica lucrurile. În meta-analize ar trebui incluse si studii nepublicate (ex.: disertații), iar o parte dintre studiile făcute de Rorschach Workshops sunt citate în favoarea testului, dar nu sunt disponibile pentru a fi verificate și ar trebui să fie făcute publice.

Weiner (2001)

• Încă din abstract, Weiner adoptă o atitudine puternic în favoarea metodei Rorschach, afirmând că articolele pro au prezentat dovezi extensive, tehnica a fost standardizată, validată și a devenit fiabilă, fiind un exemplu robust de aplicare a principiilor științifice. În același timp, caracterizează articolele anti-Rorschach ca fiind superficiale, incomplete și neechilibrate și prezintă un scepticism care nu trebuie luat prea mult în serios.
• În ce privește standardizarea, Weiner afirmă că Exner a făcut eforturi mari pentru a produce un set de reguli, iar în prezent sistemul comprehensiv este folosit de foarte multă lume. Criticii însă –susține Weiner– au ales exemple care nu folosesc sistemul lui Exner sau situații în care cei care au administrat testul nu l-au administrat bine și de aici rezultatele negative (țin să repet cu alte cuvinte: când sunt observate rezultate pozitive e pentru că testul e bun, iar când sunt rezultate negative e pentru că n-a fost administrat cum trebuie).
• Concordanța la notare este în general mare (Meyer a obținut K = 0,88, iar Hunsley & Bailey n-au abordat problema pentru că orice sistem cu o consistență internă e de așteptat să aibă o concordanță mare). Fiabilitatea la retestare este relativ mare pentru multe dintre variabilele din sistemul comprehensiv (Weiner citează meta-analiza lui Viglione, 1999), chiar și Hunsley & Bailey fiind de acord cu asta.
• Problema datelor normative de referință nu a fost abordată de celelalte articole, iar Weiner amintește faptul că Exner a folosit un grup de 700 de persoane pentru a obține aceste date.
• În ce privește validitatea, Weiner amintește articolele lui Striecker & Gold (1999) și Viglione (1999), care susțin că sistemul comprehensiv are o validitate mare, amintește și de articolul lui Hiller (1999) care susține că validitatea SC este la fel de mare ca pentru MMPI, apoi prezintă dezbaterea dintre Hunsley & Bailey și Garb et al. pe de o parte și Parker et al. și Atkinson pe de altă parte. De asemenea, critică articolul lui Hunsley & Bailey din partea I, concentrându-se doar pe meta-analiza lui Hiller et al. (1999), tot din partea I.
• În ce privește validitatea incrementală, Weiner critică articolul lui Hunsley & Bailey (1999) pe motiv că studiile citate nu foloseau sistemul comprehensiv. Referitor la celălalt studiu citat,²⁴ Weiner se concentrează pe SCZI (care are validitate incrementală mare) și ignoră celelalte variabile (menționând, totuși, DEPI). Citându-l pe Dawes (1999), Weiner îi exagerează concluziile și menționează doar trei variabile care, întâmplător sau nu, au validitate incrementală mare.

Planșa nr. 10

Și articolele din partea a III-a.

Viglione & Hilsenroth (2001)

• Afirmă că există concordanță mare la notare pentru 95% dintre variabilele din sistemul comprehensiv. Fiabilitatea la retestare este, în general, bună, lucru cu care sunt de acord și Wood sau Lilienfeld. De asemenea, autorii critică două studii prezentate de Garb în articolul din partea a II-a.²⁵
• În ce privește datele normative și diversitatea culturală, autorii recunosc că există probleme (datele sunt învechite, nu există suficienți participanți non-caucazieni), iar unele unele game de interpretare ar trebui modificate (de exemplu pentru variabilele X-% și X+%).
• Autorii susțin că meta-analizele oferă în general susținere pentru validitatea sistemului comprehensiv. Și validitatea incrementală este bună, iar motivul pentru care în meta-analiza lui Hunsley & Bailey (1999) nu au fost obținute valori ridicate este pentru că n-au luat în considerare toate studiile. Și Garb, și Weiner confirmă validitatea incrementală a variabilelor EII, Rorschach Oral Dependency Scale și RPRS. În plus, autorii prezintă și alte studii care au găsit validitate incrementală pentru mai multe variabile din sistemul comprehensiv, atunci când au fost folosite împreună cu MMPI. Chiar și studiul lui Dawes (1999) din prima parte, afirmă Viglione și Hilsenroth, susține validitatea incrementală, deși concluzile lui Dawes sunt mai rezervate.
• Thought Disorder Index este strâns legat de psihoză, schizofrenie și tulburări de gândire (autorii citează mai multe studii care susțin acest lucru), iar S-Con (Suicide Constellation) poate indica risc de sinucidere, dar nu poate fi folosit pentru a-l exclude (are problema erorilor fals-pozitive).
• Concluzia este că sistemul comprehensiv are limitările sale și este nevoie de mai multe studii care să evidențieze punctele slabe și punctele forte, însă scepticii (în special Hunsley & Bailey) cer standarde mult prea ridicate.

Hunsley & Bailey (2001)

• Consideră că studiile existente sunt insuficiente pentru a justifica folosirea tehnicii Rorschach în domeniul clinic, remarcă neclaritatea din jurul acesteia (de exemplu, Exner îl consideră test psihometric, în timp ce Weiner nu) și critică studiile prezentate în favoarea folosirii sale.
• Autorii consideră că meta-analiza lui Viglione (1999) a exclus în general datele self-reported, dar le-a inclus atunci când au avut rezultate pozitive, deși proponenții Rorschach susțin aceste date nu trebuie incluse în evaluare (ex: Weiner, Striecker, Gold). Cu toate acestea, Viglione nu este singurul care le-a folosit; Bornstein, Meyer și Hiller le-au folosit în meta-analizele lor.²⁶
• În urma concluziilor negative ale unor meta-analize²⁷ care au analizat capacitatea testelor Rorschach de a identifica tulburările mentale, unii proponenți afirmă că scopul testului nu a fost niciodată diagnosticarea (ex.: Hiller, Weiner), ceea ce nu pare decât o raționalizare post-hoc (mai ales că până în 1997, Weiner susținea opusul). De asemenea, Weiner ignoră și alte critici și răspunde prin retorică.
• Hunsley și Bailey ridică problema felului în care sunt administrate testele Rorschach, iar Weiner susține că aceasta nu este o problemă pentru că nici în cazul altor teste nu a fost analizat acest lucru. Hunsley și Bailey oferă un contraexemplu, WAIS (Wechsler Adult Intelligence Scale), și arată că s-a studiat problema felului în care este administrat. O altă problemă, descoperită de Wood et al., e tendința testului Rorschach de a supra-patologiza, lucru care ar putea explica opinia susținătorilor că testul Rorschach e atât de bun încât descoperă tulburările mentale chiar și atunci când alte teste nu pot face asta. Susținătorii mai afirmă și că eficiența testului este mai mare atunci când se fac interpretări „individualizate”, ceea ce nu este susținut de dovezi empirice și sună asemănător cu afirmațiile astrologilor.
• În concluzie, autorii consideră că nu există suficiente dovezi obținute din studii de calitate pentru a stabili că sistemul comprehensiv este util în condiții clinice, legale sau de altă natură.

Planșa nr. 5

În partea a IV-a a fost publicat un singur articol care a reanalizat niște date contestate în părțile anterioare și a tras concluziile. Articolul este scris de Meyer & Archer (2001):

• Meyer, Archer și Parker au reanalizat datele lui Parker et al. (1988), folosind și date excluse inițial și au corectat greșelile statistice, iar rezultatele sunt asemănătoare cu cele originale, adică au arătat că există validitate asemănătoare între sistemul comprehensiv și MMPI. Autorii remarcă, totuși, compararea acestor metode este problematică pentru că acestea nu conțin predictori echivalenți și nu au fost evaluate relativ la un set comun de variabile. De asemenea, studiile folosite în meta-analiză nu au fost corectate de anumite aspecte de proiectare cunoscute ca având impact asupra rezultatelor și nu au fost aduse la același nivel de rigoare metodologică. Meta-analiza globală arată, însă, că și testul Rorschach (Sistemul Comprehensiv) și MMPI și WAIS (Wechsler Adult Intelligence Scale) au aspecte positive asemănătoare în ce privește validitatea.
• Printre concluzii: indexul SCZI este util pentru identificarea schizofreniei, indexul DEPI nu este util pentru a identifica depresia. De asemenea, autorii menționează că nu există suficiente dovezi sistematice legate de virtuțiile și limitările răspunsurilor Rorschach, dar cu toatea astea testul e suficient de bun pentru a fi folosit.

Cred că e important să menționez că Gregory Meyer este unul dintre principalii proponenți ai testului Rorschach (și în prezent continuatorul muncii lui John Exner), iar Robert Archer s-a specializat în alte tehnici psihometrice (în special MMPI). Nu pare o practică foarte bună acordarea ultimului cuvânt unei părți dintr-o dezbatere. Ar fi fost mult mai potrivit ca în locul lui Meyer să fie ales un cercetător neutru. Tocmai de aceea am ales să prezint pe scurt dezbaterea pentru că nu cred că concluziile ultimului articol oferă o imagine echilibrată. De exemplu, articolul nu scoate în evidență principala critică a taberei „contra”, și anume că pentru variabilele (indecșii, scorurile) sistemului comprehensiv nu există suficiente studii care să arate în ce măsură funcționează (sau nu funcționează) fiecare. Există studii care arată că SCZI este foarte bun și că DEPI nu este bun, dar pentru foarte multe dintre variabile aceste date lipsesc. Și sunt în jur de 150 de astfel de variabile.

După cum era de așteptat, controversa nu s-a terminat după această dezbatere din revista Psychological Assessment, iar părerile au continuat să fie împărțite. Unii dintre proponenți (de exemplu, Weiner) au considerat disputa încheiată, dar din fericire alții au continuat să facă studii despre eficiența sistemului comprehensiv (Meyer, Exner, Mihura) și au contribuit la îmbunătățirea lui. Criticii au continuat să indice punctele slabe ale testului. A existat și o controversă legată de folosirea testului în justiție,²⁸ au existat și cărți pentru publicul nespecialist.²⁹

Planșa nr. 2

În 2005, Garb și asociații³⁰ au prezentat situația din punctul lor de vedere, rezumată în continuare (acesta fiind doar unul dintre articolele apărute după Rorschach Wars):

• Mai multe studii arată că testele Rorschach au tendința de a supra-patologiza, dar proponenții testului vin doar cu explicații post-hoc (de exemplu, Weiner afirmă că persoanele evaluate inițial de Exner pentru stabilirea normelor sistemului comprehensiv erau mai sănătoase decât populația generală, ceea ce este fals, chiar Exner confirmând că între 15 și 20% au apelat la ajutor psihologic pentru diverse probleme).
• Și criticii, și proponenții sunt de acord că unele scoruri din sistemul comprehensiv sunt valide, cum ar fi cele legate de detectarea tuburărilor de gândire, a dependenței sau a rezultatului tratamentului. Există de asemenea consens că unele scoruri nu au fost studiate suficient (ex.: Coping Deficit Index, Obsessive Style Index, Hypervigilance Index, raportul dintre mișcarea activă și cea pasivă, D-score, conținutul de mâncare, elemente anatomice și de raze X, Intellectualization Index, Isolation Index).
• Rezultatele pozitive ale unor meta-analize arată că cel puțin unele scoruri sunt valide, dar nu nu spun care. Pe de altă parte, relevanța unor meta-analize este exagerată uneori de proponenți (ex.: Weiner, referindu-se la meta-analiza făcută de Parker, Hanson & Hunsley (1998), a susținut că coeficienții de validitate de 0,41 pentru Rorschach și 0,46 pentru MMPI sunt obținuți în urma a 411 studii, dar în realitate aceștia au fost obținuți în urma a doar 5 studii (pentru Rorschach), respectiv 30 (pentru MMPI).
• Criteriile folosite de autori (Garb et al.) pentru a evalua validitatea sunt: studiile trebuie să fie calitative din punct de vedere metodologic, rezultatele semnificative să fie replicate independent, iar rezultatele trebuie să fie consecvente. Conform acestor criterii, următoarele scoruri au fost găsite a fi valide: Thought Disorder Index pentru evaluarea tulburărilor de gândire; Rorschach Prognostic Rating Scale pentru predicția rezultatului tratamentului; Rorschach Oral Dependency Scale pentru comportamente legate de dependență; și verbalizările deviante și calitatea slabă a formelor (precum și SCZI și alți indcși derivați din acestea) pentru detectarea schizofreniei. La acestea, autorii mai adaugă semnele lui Piotrowski pentru leziuni cerebrale și scalele de ostilitate și anxietate a lui Elizur.

Din păcate, John Exner a murit în 2006, iar ultima carte pe care a publicat-o despre sistemul comprehensiv a fost în 2005,³¹ dar ultima revizuire a sistemului a fost în 2003. Prin urmare, toate descoperirile făcute de atunci înainte nu sunt reflectate în metodologia sistemului comprehensiv, iar de atunci au fost făcute mai multe studii. Unele au întărit validitatea unor variabile (ex.: Perceptual Thinking Index pentru diagnosticarea schizofreniei³²), altele au sugerat includerea unor variabile care nu sunt în sistemul comprehensiv (ex.: scala de ostilitate a lui Elizur sau variabilele de agresivitate ale lui Holt³³), iar altele excluderea unor predicții ineficiente (ex.: analiza mai multor variabile pentru detectarea psihopatiei³⁴). De asemenea, au fost propuse și modificări ale metodologiei pentru a repara unele probleme legate de administrare³⁵ și a fost recomandat să nu se facă diagnosticări pentru copii și adolescenți din societăţi diferite de America pentru că datele sunt neclare.³⁶

Având în vedere problemele existente, nu pot să pun eticheta „real” pe sistemul comprehensiv, dar nici „mit” nu pot să spun că este, pentru că unele părți funcționează, iar unele meta-analize (chiar dacă disputate) arată că are validitate asemănătoare cu alte teste din psihologie. Așadar, sistemul este bun, dar mai trebuie îmbunătățit, trebuie separate variabilele bune de cele inutile. Până n-o să se facă acest lucru, o să existe dubii în legătură cu precizia predicțiilor. Prin urmare, o să spun că este plauzibil.

 

A New Hope: Rorschach Performance Assessment System® (R-PAS®)

Înainte de a încheia, trebuie să scriu ceva și despre viitorul testului Rorschach. Cum am scris mai sus, John Exner a murit în 2006 și nu a desemnat în mod oficial pe nimeni să îi continue cercetarea. Deși inițial familia sa a fost de acord cu modificarea sistemului comprehensiv de către Consiliul de Cercetare Rorschach, pe urmă a decis ca sistemul comprehensiv să rămână așa cum l-a lăsat Exner, în semn de omagiu. Prin urmare, cei din consiliul de cercetare au decis să creeze un nou sistem, bazat în mare parte pe sistemul comprehensiv și l-au numit Rorschach Performance Assessment System® (R-PAS®). R-PAS își propune să își adapteze variabilele și criteriile de evaluare în funcție de cercetare și astfel să devină un instrument psihologic bazat pe dovezi. Un exemplu de astfel de modificare este renunțarea la unele variabile (ex.: Hx, PSV), reconfigurarea altora (ex.: umbrele nu mai indică dominanță) sau adăugarea unora noi (ex.: SR, SI, AGC). De asemenea, au fost colectate date noi pentru populații ne-americane.³⁸ Din grupul de cercetare fac parte, printre alții, Gregory Meyer, Joni Mihura, Donald Viglione sau Robert Bornstein.

În 2013 a fost publicată o meta-analiză care –în sfârșit– prezintă informații despre relevanța fiecărei variabile în parte (așa cum încă din 1999 criticii indicau că este necesar).³⁹ Pe lângă tabelele cu informații despre variabile, articolul discută pe larg unele aspecte. Sunt aduse critici la meta-analiza lui Hiller et al. (1999) și la re-analiza lui Meyer & Archer (2001) din care rezulta că sistemul comprehensiv are validitate asemănătoare cu MMPI, concluzionând că există prea multe erori și prea multe necunoscute pentru a considera rezultatele valide. Este scos în evidență și faptul că pentru unele variabile din sistemul comprehensiv nu există cercetare solidă sau rezultatele sunt negative, iar datele lui Exner sunt cel mai probabil exagerate. Sunt prezentate și alte studii (Jørgensen, Andersen, & Dam, 2000; 2001) care confirmă rezultatele lui Wood et al. (2010) conform cărora psihopații nu pot fi descoperiți folosind testul Rorschach. Așa că în viitorul apropiat s-ar putea să avem un test Rorschach care să funcționeze suficient de bine.

Planșa nr. 6

 

Linkuri utile:

Giving up cherished ideas: The Rorschach Inkblot Test (Robyn Dawes despre interpretarea proiectivă);
Rorschach Comprehensive System: Current Issues;
Listă cu articole despre Rorschach;
Invisible ink? What the Rorschach really tells us (Association for Psychological Science);
An Introduction to Rorschach Assessment (Capitol scris de Meyer și Viglione în 2008);
What’s Right with the Rorschach? (la ce este folositor testul Rorschach);
Introducing Key Features of the Rorschach Performance Assessment System (R-PAS);
Articole despre R-PAS.

 

 

Note:

1: Gary Groth-Marnat (2003), pg. 409;
2: Robyn Dawes (1994), pg. 147-148;
3:John Exner (2003), pg. 22-26;
4: Lubin, Wallis, & Paine (1971); Lubin, Larsen, & Matarazzo (1984); Watkins, Campbell, Nieberding, & Hallmark (1995);
5: John Exner (2003), cap. 3 „Controversy, Criticism and Decisions”;
6: Robyn Dawes (1994, pg. 150-152; sau Extract din carte;
7: Garb, Wood, Lilienfeld, Nezworski (2005);
8: Holtzman & Sells (1954);
9: „Perhaps it is not necessary to be concerned with validity in the usual sense; or perhaps a new technique of validation is necessary” (Klopfer & Davidson, 1962, p. 24): citat în Garb, Wood, Lilienfeld, Nezworski (2005);
10: Garb (1989), Whitehead (1985): citate în Garb, Wood, Lilienfeld, Nezworski (2005);
11:Exner & Exner (1972);
12: Chapman & Chapman (1969);
13: Cronbach (1949), citat în Dawes (1994), pg. 151: „The test has repeatedly failed as a prediction of practical criteria. There is nothing in the literature to encourage reliance on Rorschach interpretation.„;
14: Jensen (1965), citat în Meyer (1999a);
15: Weiner & Roger (2008),  Cap. 11: Rorschach Inkblot Method; sau Weiner & Freedheim (2003), pg. 304;
16: Kaplan & Saccuzzo (2008), Cap. 14: Projective Personality Tests;
17: Meyer (1999b);
18: Meyer & Handler (1997);
19: Garb et al. citează disertația lui Erstad (1996) și studiul lui Adair & Wagner (1992);
20: Garb et al. citează pe Wood, Nezworski, & Stejskal (1997);
21: Garb et al. citează pe Acklin, McDowell, Verschell, & Chan (2000);
22: Garb et al. citează pe Parker, Hanson, & Hunsley (1988);
23: Garb et al. citează pe Garb, Florio, Grove (1998);
24: Archer & Krishnamurthy (1997);
25: articolele criticate sunt Erstad (1996) și Adair & Wagner (1992);
26: Bornstein (1996); Meyer (1999b); Hiller et al. (1999);
27: Hiller et al. (1999); Wood & Lilienfeld (1999); Wood, Lilienfeld, Garb, Nezworski (2000);
28: de exemplu, în favoarea folosirii: Ritzler, Erard, & Pettigrew (2002) și contra folosirii: Grove, Barden, Garb, Lilienfeld (2002);
29: Wood, Nezworski, Lilienfeld, & Garb (2003): What’s Wrong With The Rorschach?;
30: Garb, Wood, Lilienfeld, Nezworski (2005); alt articol asemănător: Wood (2006);
31: John Exner, Philip Erdberg (2005);
32: Dao, Prevatt (2006);
33: Katko, Meyer, Mihura, & Bombel (2009);
34: Wood, Lilienfeld, Nezworski, Garb, Allen, Wildermuth (2010);
35: Dean, Viglione, Perry, & Meyer (2007);
36: Meyer, Erdberg, & Shaffer (2007);
37: vezi și Wood, Nezworski, Garb, Lilienfeld (2001); și răspunsul ulterior la critici: Wood, Teresa, Garb, & Lilienfeld (2001);
38: Meyer & Viglione (2011);
39: Mihura, Meyer, Dumitrascu, Bombel (2013);
40: John Exner (2003), pg. 71-72;
41: John Exner (2003), pg. 598;

 

 

Referințe:

Acklin, M. W., McDowell, C. J., Verschell, M. S., & Chan, D. (2000). Interobserver agreement, intraobserver reliability, and the Rorschach Comprehensive System. Journal of Personality Assessment, 74, 15-47. (Abstract);

Adair, H. E., & Wagner, E. E. (1992). Stability of unusual verbalizations on the Rorschach for outpatients with schizophrenia. Journal of Clinical Psychology, 48, 250-256. (Abstract);

Archer, R. P., & Krishnamurthy, R. (1997). MMPI-A and Rorschach indices related to depression and conduct disorder. Journal of Personality Assessment, 69, 517-533. (Abstract);

Bornstein, R.F. (1996). Construct validity of the Rorschach Oral Dependency Scale: 1967-1995. Psychological Assessment, 8, 200-205. (Abstract);

Chapman, L. J., and Chapman. J. P. (1969). Illusory correlation as an obstacle to the use of valid psychodiagnostic signs, Journal of Abnormal Psychology, 74, 271-280. (Abstract);

Cronbach, L. J. (1949). Statistical methods applied to Rorschach scores: A review. Psychological Bulletin, 46, 393–429. doi:10.1037/h0059467. (Abstract);

Dao T.K., Prevatt F. (2006). A psychometric evaluation of the Rorschach comprehensive system’s perceptual thinking index. J Pers Assess.;86(2):180-9. (Abstract);

Dawes, Robyn. House of Cards: Psychology and Psychotherapy Built on Myth [1994], Free Press;

Dawes, R.M. (1999). Two methods for studying the incremental validity of a Rorschach variable, Psychological Assessment, 11, 297-302. (Abstract);

Dean, K. L., Viglione, D. J., Perry, W., & Meyer, G. J. (2007). A method to optimize the response range while maintaining Rorschach comprehensive system validity. Journal of Personality Assessment, 89(2), 149-161. (Abstract);

Erstad, D. (1996). An investigation of older adults’ less frequent human movement and color responses on the Rorschach (Doctoral dissertation, Marquette University, 1995). Dissertation Abstracts International, 57, 4084B.

Exner, John. The Rorschach, A Comprehensive System: Volume 1. Basic Foundations and Principles of Interpretation, 4^th Edition (2003), John Wiley & Sons, Inc.;

Exner, John E., Erdberg, Philip. The Rorschach, A Comprehensive System: Volume 2. Advanced Interpretation, 3^rd Edition (2005). Wiley;

Exner, J.E., Exner, D.E. (1972). How clinicians use the Rorschach. Journal of Personality Assessment (Impact Factor: 1.29). 11/1972; 36(5):403-8. DOI:10.1080/00223891.1972.10119784. (Abstract);

Garb, H. N., Florio, C. M., & Grove, W. M. (1998). The validity of the Rorschach and the Minnesota Multiphasic Personality Inventory: Results from meta-analyses, Psychological Science, 9, 402-404.

Garb, H.N., Wood, J.M., Nezworski, M.T., Grove, W.M., Stejskal, W.J. (2001). Toward aresolution of the Rorschach controversy, Psychological Assessment, 13, 433-448. (Abstract);

Garb H.N., Wood J.M., Lilienfeld S.O., Nezworski M.T. (2005). Roots of the Rorschach controversy. Clin Psychol Rev. 2005 Jan; 25(1):97-118. (Abstract);

Groth-Marnat, Gary. Handbook of Psychological Assessment, 4^th Ed. (2003), John Wiley & Sons;

Grove, William M.; Barden, R. Christopher; Garb, Howard N.; Lilienfeld, Scott O. (2002). Failure of Rorschach-Comprehensive-System-based testimony to be admissible under the Daubert-Joiner-Kumho standard. Psychology, Public Policy, and Law, Vol 8(2), Jun 2002, 216-234. doi: 10.1037/1076-8971.8.2.216. (Abstract);

Hiller, J.B., Rosenthal, R., Bornstein, R.F., Berry, D.T.R., & Brunell-Neuleib, S. (1999). A comparative meta-analysis of Rorschach and MMPI validity, Psychological Assessment, 11, 278-296. (Abstract);

Holtzman, W. H.; Sells, S. B. (1954). Prediction of flying success by clinical analysis of test protocols. The Journal of Abnormal and Social Psychology, Vol 49(4, Pt.1), Oct 1954, 485-490. doi: 10.1037/h0059895. (Abstract);

Hunsley, J. & Bailey, J.M. (1999). The clinical utility of the Rorschach: Unfulfilled promises and an uncertain future, Psychological Assessment, 11, 266-277. (Abstract);

Hunsley, J., & Bailey, J.M. (2001). Whither the Rorschach? An analysis of the evidence, Psychological Assessment, 13, 472-485. (Abstract);

Jensen, A. R. (1965). Review of the Rorschach Inkblot Test. In O. K. Buros (Ed.), The sixth mental measurements yearbook (pp. 501–509). Highland Park, NJ: Gryphon;

Jørgensen, K., Andersen, T. J., & Dam, H. (2000). The diagnostic efficiency of the Rorschach Depression Index and the Schizophrenia Index: A review. Assessment, 7, 259 –280. doi:10.1177/107319110000700306. (Abstract);

Jørgensen, K., Andersen, T. J., & Dam, H. (2001). „The diagnostic efficiency of the Rorschach Depression Index and the Schizophrenia Index: A review”: Erratum. Assessment, 8, 355. doi:10.1177/107319110100800311;

Kaplan, Robert M., & Saccuzzo, Dennis P., Psychological Testing: Principles, Applications and Issues, 7^th Edition (2008),  Wadsworth Cengage Learning;

Katko, N. J., Meyer, G. J., Mihura, J. L., & Bombel, G. (2009). The interrater reliability of Elizur’s hostility systems and Holt’s aggression variables: A meta-analytical review. Journal of Personality Assessment, 91, 357-364. doi: 10.1080/00223890902936116 (Abstract);

Lubin, B., Larsen, R.M., & Matarazzo, J.D. (1984). „Patterns of psychological test usage in the United States 1935-1982”. American Psychologist, 39, 451-454. (Abstract);

Lubin, B., Wallis, R.R., & Paine, C. (1971). „Psychometric instruments in psychological clinics”. Journal of Consulting Psychology, 11, 49-54. (Abstract);

Meyer, G.J. (1999a). Introduction to the Special Series on the Utility of the Rorschach for Clinical Assessment. Psychological Assessment, Vol 11(3), Sep 1999, 235-239. doi: 10.1037/1040-3590.11.3.235. Special Section: I. The Utility of the Rorschach in Clinical Assessment. (Abstract);

Meyer, G.J. (1999b). The convergent validity of the MMPI and Rorschach scales: An extension using profile scores to define response and character styles on both methods and a re-examination of simple Rorschach response frequency. Journal of Personality Assessment, 72, 1-35. (Abstract);

Meyer, G.J. (2001). Introduction to the final Special Section in the Special Series on the utility of the Rorschach for clinical assessment, Psychological Assessment, 13(4), 419-422. (Abstract);

Meyer, G.J., & Archer, R.P. (2001). The hard science of Rorschach research: What do we know and where do we go? Psychological Assessment, 13, 486-502. (Abstract);

Meyer, G. J., Erdberg, P., & Shaffer, T. W. (2007). Towards international normative reference data for the Comprehensive System. Journal of Personality Assessment, 89, S201-S216. (Abstract);

Meyer, G.J., & Handler, L. (1997). The ability of the Rorschach to predict subsequent outcome: A meta-analysis of the Rorschach Prognostic Rating Scale. Journal of Personality Assessment, 69, 1-38. (Abstract);

Meyer, Gregory J. & Viglione, Donald J. (2011). New Developments in Rorschach-Based Behavioral Assessment. (prezentare);

Mihura J.L., Meyer G.J., Dumitrascu N., Bombel G. (2013). The validity of individual Rorschach variables: systematic reviews and meta-analyses of the comprehensive system. Psychol Bull. 2013 May;139(3):548-605. doi: 10.1037/a0029406. (Abstract);

Parker, K. C. H., Hanson, R., & Hunsley, J. (1988). MMPI, Rorschach, and WAIS: A meta-analytic comparison of reliability, stability, and validity. Psychological Bulletin, 103, 367-373. (Abstract);

Ritzler, B., Erard, R., & Pettigrew, G. (2002). Protecting the integrity of Rorschach expert witnesses: A reply to Grove and Barden (1999) re: The admissibility of testimony under Daubert/Kumho analyses, Psychology, Public Policy and Law, 8, 201-215. (Abstract);

Rosenthal, R., Hiller, J.B., Bornstein, R.F., Berry, D.T.R., & Brunell-Neuleib, S. (2001). Meta-analytic methods, the Rorschach and the MMPI, Psychological Assessment, 13, 449-451. (Abstract);

Stricker, G., Gold, J.R. (1999). The Rorschach: Toward a nomothetically based, idiographically applicable configurational model, Psychological Assessment, 11, 240-250. (Abstract);

Viglione, D.J. (1999). A review of recent research addressing the utility of the Rorschach, Psychological Assessment, 11, 251-265. (Abstract);

Viglione, D.J., & Hilsenroth, M.J. (2001). The Rorschach: Facts, fictions and future, Psychological Assessment, 13, 452-471. (Abstract);

Watkins, C.E., Jr., Campbell, V.L., Nieberding, R., & Hallmark, R. (1995). „Contemporary practice of psychological assessment by clinical psychologists”. Professional Psychology: Research and Practice, 26, 54-60. (Abstract);

Weiner, I.B. (2001). Advancing the science of psychological assessment: The Rorschach Inkblot Method as exemplar, Pychological Assessment, 13, 423-432. (Abstract);

Weiner, Irving B., Freedheim, Donald K. Handbook of Psychology, Volume 1: History of Psychology(2003), John Wiley & Sons;

Weiner, Irving B. & Greene, Roger L., Handbook of Personality Assessment (2008), John Wiley & Sons;

James M. Wood. „The Controversy Over Exner’s Comprehensive System for the Rorschach: The Critics Speak” Independent Practitioner (2006). (Abstract);

Wood, J.M., & Lilienfeld, S.O. (1999). The Rorschach inkblot test: A case of overstatement? Assessment, 6, 341-349. (Abstract);

Wood, J.M., Lilienfeld, S.O., Garb, H.N., & Nezworski, M.T. (2000). The Rorschach test in clinical diagnosis: A critical review, with a backward look at Garfield (1947). Journal of Clinical Psychology, 56, 395-430. (Abstract);

Wood, James M.; Lilienfeld, Scott O.; Nezworski, M. Teresa; Garb, Howard N.; Allen, Keli Holloway; Wildermuth, Jessica L. (2010). Validity of Rorschach Inkblot scores for discriminating psychopaths from nonpsychopaths in forensic populations: A meta-analysis. Psychological Assessment, Vol 22(2), Jun 2010, 336-349. (Abstract);

James M. Wood, M. Teresa Nezworski, Howard N. Garb, and Scott O. Lilienfeld. „The Misperception of Psychopathology: Problems With the Norms of the Comprehensive System for the Rorschach” Clinical Psychology: Science and Practice (2001). (Abstract);

Wood, J., Nezworski, M., Lilienfeld, S., & Garb, H. (2003). What’s Wrong with the Rorschach? Science Confronts the Controversial Inkblot Test. San Francisco, CA: Jossey-Bass.

Wood, J. M., Nezworski, M. T., & Stejskal, W. J. (1997). The reliability of the Comprehensive System for the Rorschach: A comment on Meyer (1997). Psychological Assessment, 9, 490-494. (Abstract);

Wood, J. M., Teresa, M., Garb, H. N. and Lilienfeld, S. O. (2001), Problems With the Norms of the Comprehensive System for the Rorschach: Methodological and Conceptual Considerations. Clinical Psychology: Science and Practice, 8: 397–402. doi: 10.1093/clipsy.8.3.397. (Abstract);