Meta-analisi dei trattamenti psicologici: fonte di informazioni o di confusione?
Riccardo Dalle Grave , Simona Calugi
Department of Eating and Weight Disorders, Villa Garda Hospital, Garda (VR), Italy
Abstract
Meta-analysis is a procedure that combines results of different clinical studies with the aim of reaching a single “reliable” quantitative index that overcomes the intrinsic limits of single studies. The conclusions of a meta-analysis are reliable only when high quality studies with homogeneous groups of participants and similar methods of study have been included. Nevertheless, this does not always occur and, as a consequence, some meta-analyses reach non-significant clinical or even misleading conclusions. This outcome is particularly likely in the field of psychological treatments. In this work, taking as an example some meta-analyses that did not find significant differences in the outcome of psychological treatments for eating disorders, although single well-conducted studies found that some psychological interventions are more effective than others, we describe the most common improper uses of this procedure. Since meta-analyses have the power to influence health policy and clinical practice, we also report some suggestions to improve the quality of those who assess the effects of psychological treatments.
Keywords
Meta-analysis
Systematic review
Limits
Psychological treatments
Randomized controlled trial
Difficulties
Recommendations
Eating disorders
Riassunto
La meta-analisi è una procedura che integra i risultati di diversi studi clinici, con il fine di ottenere un unico “affidabile” indice quantitativo di stima che supera i limiti intrinseci degli studi singoli. Le conclusioni di una meta-analisi sono affidabili solo quando sono stati inclusi studi di alta qualità con gruppi omogenei di partecipanti e simili metodi di studio. Tuttavia, questo non sempre accade e di conseguenza alcune meta-analisi possono raggiungere conclusioni clinicamente non significative o addirittura fuorvianti. Quest’ultimo esito è particolarmente probabile nel campo dei trattamenti psicologi. In questo lavoro, prendendo come esempio alcune meta-analisi che non hanno trovato differenze significative nell’esito dei trattamenti psicologici per i disturbi dell’alimentazione, sebbene singoli studi ben condotti abbiano trovato che alcuni interventi psicologici siano più efficaci di altri, sono descritti i più frequenti usi impropri di questa procedura. Dal momento che le meta-analisi hanno il potere di influenzare la politica sanitaria e la pratica clinica, sono anche descritti alcuni suggerimenti per migliorare la qualità di quelle che valutano gli effetti dei trattamenti psicologici.
Parole chiave
Meta-analisi
Revisione sistematica
Limiti
Trattamenti psicologici
Trial randomizzati e controllati difficoltà
Raccomandazioni
Disturbi dell’alimentazione
Introduzione
La meta-analisi è una procedura che utilizza una serie di metodi matematico-statistici per integrare i risultati di diversi studi clinici, con il fine di ottenere un unico “affidabile” indice quantitativo di stima. In altre parole, questo “studio degli studi” combina i risultati di diversi studi singoli pubblicati per aumentare la dimensione complessiva del campione e la potenza statistica e quindi poter arrivare a delle conclusioni teoricamente più attendibili di quelle raggiunte da un singolo studio.
L’intento con cui la meta-analisi nasce è, quindi, ambizioso perché mira a superare i limiti intrinseci degli studi singoli, anteponendo un criterio “super partes” di valutazione. Tuttavia, a ben guardare, si scopre che non solo alcuni limiti metodologici non sono superati, ma se ne aggiungono di nuovi e, forse, più insidiosi.
La meta-analisi, solo quando include studi di alta qualità con gruppi omogenei di partecipanti e simili metodi di studio, può rappresentare un utile riepilogo di un ampio pool di dati. Tuttavia, non è raro imbattersi in meta-analisi che riportano miscugli di risultati tratti da studi che si differenziano sostanzialmente l’uno dall’altro e che, quindi, portano a conclusioni clinicamente non significative o addirittura fuorvianti (Barnard, Willett, & Ding, 2017). Quest’ultimo esito è particolarmente probabile nel campo dei trattamenti psicologi.
Nonostante ciò, le meta-analisi, sono oggi considerate il più autorevole tipo di ricerca nella letteratura biomedica e psicologica tanto da influenzare direttamente le linee guida sanitarie internazionali e la politica sanitaria. Questo, in un mondo scientifico sempre più spinto a dimostrare la superiorità di un intervento sull’altro, può far utilizzare gli studi meta-analitici per ottenere immeritati riconoscimenti o per affossare gli “avversari nella corsa al successo”.
Uso improprio della meta-analisi
In generale, il più grave problema delle meta-analisi si verifica quando c’è troppa varietà nell’inclusione degli studi (per es., studi con metodi molto diversi, inclusione di campioni eterogenei, somministrazione di trattamenti eterogenei raggruppati in un’unica categoria), e cioè: “confrontare mele con arance e non mele con mele”. Nel campo del trattamento dei disturbi dell’alimentazione (il nostro campo di ricerca), per esempio, una meta-analisi ha incluso numerosi studi fortemente sottodimensionati (underpowered) per rilevare risultati clinicamente significativi (Kraemer & Blasey, 2015) e ha unito in unico gruppo forme molto diverse di terapia cognitivo comportamentale che hanno trattato disturbi con psicopatologie eterogenee (bulimia nervosa, disturbo da binge-eating, anoressia nervosa e altri disturbi dell’alimentazione) in setting individuali e di gruppo (Grenon et al., 2018). Un’altra meta-analisi ha invece incluso, in un unico gruppo, trattamenti eterogenei per l’anoressia nervosa, molti dei quali underpowered, che hanno trattato adolescenti e adulti, quando è noto che gli adolescenti hanno una migliore risposta al trattamento degli adulti (Calugi, Dalle Grave, Sartirana, & Fairburn, 2015; Treasure & Russell, 2011), usando diverse misure e tempi di esito non omogenei (Murray, Quintana, Loeb, Griffiths, & Le Grange, 2019). La conseguenza ovvia è che entrambe le meta-analisi, a differenza di altre, condotte con migliori criteri di inclusione degli studi (de Jong, Schoorl, & Hoek, 2018; Linardon, Wade, de la Piedad Garcia, & Brennan, 2017; Slade et al., 2018), non hanno trovato differenze significative nell’esito dei diversi trattamenti. Infatti, come concluso da un’altra recente meta-analisi sul trattamento dell’anoressia nervosa, l’esito è oscurato da studi di bassa qualità ed eterogeni (van den Berg et al., 2019).
Un altro problema, di natura più prettamente statistica, che si collega al precedente, è la scarsa considerazione, nelle meta-analisi, dell’inevitabile applicazione di test multipli, che porta a non utilizzare correzioni della significatività statistica, con la conseguenza di cadere nell’errore di Tipo I, cioè nel rifiutare erroneamente l’ipotesi nulla, quando questa è positiva. In altre parole, considerare la presenza di un effetto quando questo non esiste (Polanin & Pigott, 2015).
Un bias, purtroppo comune nelle meta-analisi è la distorsione della selezione, cioè quando alcuni studi sono intenzionalmente omessi (o inclusi) nell’analisi. Questa strategia può facilmente portare a delle conclusioni non obiettive.
L’applicazione della meta-analisi ai trattamenti psicologici, rispetto alle sperimentazioni farmacologiche, aggiunge però delle sfide specifiche perché, a differenza di queste ultime, in cui gli interventi e le metodologie di studio sono spesso comparabili, i trial di intervento psicologico tendono a variare nel loro disegno sperimentale, ma anche nell’applicazione del trattamento, tanto da rendere difficile, o addirittura inadatta, la possibilità di un confronto diretto (Wade, Johnson, & Byrne, 2018). Quindi, la meta-analisi, se non pone attenzione a questi aspetti specifici dei singoli studi, invece che ridurne i limiti, rischia di moltiplicare l’effetto dei loro bias.
Di seguito vengono presentanti i limiti di alcuni studi singoli nell’ambito dei disturbi dell’alimentazione:
- La bassa potenza statistica. Un esempio è lo SWAN study che ha confrontato tre trattamenti psicologi (Specialist Supportive Clinical Management o SSCM, Maudsley Model Anorexia Nervosa Treatment for Adults o MANTRA e la terapia cognitivo comportamentale migliorata o CBT-E) per l’anoressia nervosa negli adulti, senza trovare differenze significative nell’esito dei tre interventi, sebbene la CBT-E sia risultata superiore nella sua capacità di aiutare i pazienti a raggiungere un peso corporeo salutare a 12 mesi di follow-up (CBT-E 59%; 47,5% SSCM e 44% MANTRA) (Byrne et al., 2017).
- La scarsa validità interna (cioè il trattamento psicologico non è stato implementato in modo accurato), perché la fedeltà della somministrazione dell’intervento non è stata monitorata o perché i terapeuti non hanno ricevuto un’adeguata formazione sul trattamento (vedi per es. lo studio ANTOP, Zipfel et al., 2014).
- Misure e tempi differenti. Alcuni studi hanno usato delle misure e dei tempi di esito diversi sia alla fine del trattamento sia al follow-up (da poche settimane a oltre un anno) (Lock, Kraemer, Jo, & Couturier, 2018).
- La definizione del drop-out. Alcuni studi non hanno tenuto in considerazione gli effetti di altri interventi che sono stati affiancati nel contesto della psicoterapia. Per esempio, mentre alcuni studi considerano “non completers” i pazienti che nel corso della psicoterapia sono stati ospedalizzati (Dalle Grave, Calugi, Doll, & Fairburn, 2013; Dalle Grave, Sartirana, & Calugi, 2019), altri hanno incluso nell’esito finale anche i pazienti che sono stati ospedalizzati (fino a 30 giorni) durante il corso dell’intervento psicologico (Lock et al., 2010; Zipfel et al., 2014).
Il risultato è che, quando le meta-analisi non vanno a fondo nel considerare i problemi sopra riportati, possono emergere risultati fuorvianti, come ad esempio che tutti i trattamenti hanno la stessa efficacia (Grenon et al., 2018; Murray et al., 2019), quando nella realtà scientifica, non ci sono stati i criteri minimi per poterlo affermare. È come dire che tutte le mele sono buone solo perché tutte sono rotonde e hanno un bel colore, ma senza averle assaggiate né aperte per osservare il loro interno.
Questo contrasta con i risultati raggiunti dagli studi che hanno una buona validità interna dove per esempio, sempre facendo riferimento al trattamento psicologico dei disturbi dell’alimentazione, la terapia cognitivo comportamentale migliorata (CBT-E) ha dimostrato di essere più efficace della psicoterapia psicoanalitica (Poulsen et al., 2014) e della psicoterapia interpersonale (Fairburn et al., 2015) nel trattamento della bulimia nervosa, mentre la FBT è risultata più efficace della terapia individuale focalizzata sull’adolescente (Lock et al., 2010).
Le meta-analisi mal condotte che concludono che tutti i trattamenti psicologici hanno gli stessi esiti portano a due conseguenze potenzialmente negative (Lock et al., 2018): (i) i pazienti e le famiglie possono interpretare i risultati concludendo che non vale la pena cercare e pretendere trattamenti evidence-based; (ii) i clinici possono non essere spinti ad apprendere i trattamenti psicologici evidence-based. La conseguenza è che i pazienti hanno un limitato accesso ai trattamenti efficaci.
La necessità di migliorare l’uso delle meta-analisi
Quanto sopra esposto non ha l’intento di demolire le meta-analisi, che rimangono uno strumento di ricerca autorevole, ma di riflettere su questa domanda: “Le meta-analisi sono utili per far progredire la ricerca sull’efficacia dei trattamenti psicologici?”. La risposta migliore sembra essere: “Dipende dall’uso che se ne fa e dalla qualità del metodo di studio”.
In teoria, combinare gli studi permette di avere una popolazione più ampia, quindi le meta-analisi dovrebbero avere maggiore potere statistico del singolo studio. Tuttavia, alcune meta-analisi raggruppano insieme studi con popolazioni e metodi estremamente diversi e tale variabilità ne riduce la loro potenza con il risultato che si perdono gli effetti reali dei singoli interventi. In questo modo, come detto sopra, si rischia che tutti i trattamenti psicologici sembrino ottenere lo stesso esito o che trattamenti non realmente superiori (o inferiori) risultino tali, ma questo è solo un artefatto di un metodo difettoso.
Dal momento che le meta-analisi hanno il potere di influenzare la politica sanitaria e di modificare la pratica clinica, di seguito sono elencati alcuni suggerimenti per garantire che le meta-analisi, prima di essere pubblicate, siano di buona qualità (Barnard et al., 2017):
- implementare un processo di revisione da parte di editori con esperienza nell’argomento e solide competenze nella progettazione delle meta-analisi
- richiedere agli autori della meta-analisi di confermare con gli autori dello studio originale che i loro dati siano stati rappresentati in modo corretto
- richiede agli autori della meta-analisi di condividere i metodi e la sintesi dei loro dati
- includere i dati originali primari dello studio e non solo i dati di sintesi pubblicati
- creare un registro che monitora attivamente i conflitti di interessi di tutti ricercatori inclusi nelle meta-analisi.
Concludendo, è evidente, da quanto sopra esposto, che ci sia la necessità di aggiornare le linee guida esistenti (Moher, Liberati, Tetzlaff, & Altman, 2009), facendo riferimento in modo specifico a problemi emersi nelle revisioni meta-analitiche degli interventi psicologici. Inoltre, è fondamentale che i clinici nel loro corso di formazione siano aiutati ad avere le competenze necessarie per comprendere i risultati e i limiti della meta-analisi. Infine, potrebbe essere utile istituire dei corsi di formazione ad hoc per i giornalisti scientifici affinché divulghino in modo accurato e prudente i risultati delle revisioni dei trattamenti psicologici.
Bibliografia
Barnard, N. D., Willett, W. C., & Ding, E. L. (2017). The Misuse of Meta-analysis in Nutrition Research. JAMA, 318(15), 1435-1436.
Byrne, S., Wade, T., Hay, P., Touyz, S., Fairburn, C. G., Treasure, J., . . . Crosby, R. D. (2017). A randomised controlled trial of three psychological treatments for anorexia nervosa. Psychological Medicine, 1-11.
Calugi, S., Dalle Grave, R., Sartirana, M., & Fairburn, C. G. (2015). Time to restore body weight in adults and adolescents receiving cognitive behaviour therapy for anorexia nervosa. J Eat Disord, 3, 21.
Dalle Grave, R., Calugi, S., Doll, H. A., & Fairburn, C. G. (2013). Enhanced cognitive behaviour therapy for adolescents with anorexia nervosa: an alternative to family therapy? Behaviour Research and Therapy, 51(1), R9-R12.
Dalle Grave, R., Sartirana, M., & Calugi, S. (2019). Enhanced cognitive behavioral therapy for adolescents with anorexia nervosa: Outcomes and predictors of change in a real-world setting. International Journal of Eating Disorders, 2019 Sep;52(9):1042-1046.
de Jong, M., Schoorl, M., & Hoek, H. W. (2018). Enhanced cognitive behavioural therapy for patients with eating disorders: a systematic review. Current Opinion in Psychiatry, 31(6), 436-444.
Fairburn, C. G., Bailey-Straebler, S., Basden, S., Doll, H. A., Jones, R., Murphy, R., . . . Cooper, Z. (2015). A transdiagnostic comparison of enhanced cognitive behaviour therapy (CBT-E) and interpersonal psychotherapy in the treatment of eating disorders. Behaviour Research and Therapy, 70, 64-71.
Grenon, R., Carlucci, S., Brugnera, A., Schwartze, D., Hammond, N., Ivanova, I., . . . Tasca, G. A. (2018). Psychotherapy for eating disorders: A meta-analysis of direct comparisons. Psychother Res, 1-13.
Kraemer, H., & Blasey, C. L. A. (2015). How Many Subjects? Statistical Power Analysis in Research, 2nd Edn. Los Angeles, London; CA, USA: Sage Publications.
Linardon, J., Wade, T. D., de la Piedad Garcia, X., & Brennan, L. (2017). The efficacy of cognitive-behavioral therapy for eating disorders: A systematic review and meta-analysis. Journal of Consulting and Clinical Psychology, 85(11), 1080-1094.
Lock, J., Kraemer, H. C., Jo, B., & Couturier, J. (2018). When meta-analyses get it wrong: response to ‘treatment outcomes for anorexia nervosa: a systematic review and meta-analysis of randomized controlled trials’. Psychological Medicine, 1-2.
Lock, J., Le Grange, D., Agras, W. S., Moye, A., Bryson, S. W., & Jo, B. (2010). Randomized clinical trial comparing family-based treatment with adolescent-focused individual therapy for adolescents with anorexia nervosa. Archives of General Psychiatry, 67(10), 1025-1032.
Moher, D., Liberati, A., Tetzlaff, J., & Altman, D. G. (2009). Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. PLoS Med, 6(7), e1000097.
Murray, S. B., Quintana, D. S., Loeb, K. L., Griffiths, S., & Le Grange, D. (2019). Treatment outcomes for anorexia nervosa: a systematic review and meta-analysis of randomized controlled trials. Psychological Medicine, 49(4), 535-544.
Polanin, J. R., & Pigott, T. D. (2015). The use of meta-analytic statistical significance testing. Res Synth Methods, 6(1), 63-73.
Poulsen, S., Lunn, S., Daniel, S. I., Folke, S., Mathiesen, B. B., Katznelson, H., & Fairburn, C. G. (2014). A randomized controlled trial of psychoanalytic psychotherapy or cognitive-behavioral therapy for bulimia nervosa. American Journal of Psychiatry, 171(1), 109-116.
Slade, E., Keeney, E., Mavranezouli, I., Dias, S., Fou, L., Stockton, S., . . . Kendall, T. (2018). Treatments for bulimia nervosa: a network meta-analysis. Psychological Medicine, 1-8.
Treasure, J., & Russell, G. (2011). The case for early intervention in anorexia nervosa: theoretical exploration of maintaining factors. Br J Psychiatry, 199(1), 5-7.
van den Berg, E., Houtzager, L., de Vos, J., Daemen, I., Katsaragaki, G., Karyotaki, E., . . . Dekker, J. (2019). Meta-analysis on the efficacy of psychological treatments for anorexia nervosa. European Eating Disorders Review, 27(4), 331-351.
Wade, T. D., Johnson, C., & Byrne, S. M. (2018). Randomized controlled psychotherapy trials in eating disorders: Improving their conduct, interpretation and usefulness. International Journal of Eating Disorders, 51(7), 629-636.
Zipfel, S., Wild, B., Groß, G., Friederich, H.-C., Teufel, M., Schellberg, D., . . . Herzog, W. (2014). Focal psychodynamic therapy, cognitive behaviour therapy, and optimised treatment as usual in outpatients with anorexia nervosa (ANTOP study): randomised controlled trial. The Lancet, 383(9912), 127-137.