GovernoClinico Web>ElencoHtA>HtaReportPDF^PDF>

Health Technology Assessment

Valutazione dei Medical Decision Support System per lo sviluppo del governo clinico aziendale

Introduzione

La Biblioteca della Azienda Ospedaliera (AO) S. Camillo-Forlanini è destinata principalmente all'aggiornamento, alla formazione e all'educazione continua del personale sanitario della struttura. La stessa dipende funzionalmente dall'Unità Operativa Complessa (UOC) Sviluppo Formazione e Governo Clinico che, al fine di sviluppare il Governo clinico, in particolare nella dimensione dell'appropriatezza, ha deciso di dotare l'Azienda di uno strumento di supporto all'attività clinica, uno dei Medical Decision Support Systems (MDSS) presenti sul mercato.

Il contesto nel quale ci troviamo a operare è una struttura poli-specialistica, in cui i medici necessitano di un sostegno alla propria attività clinica e di ricerca basata sull'evidenza scientifica, per una più appropriata diagnosi e terapia.

Nell'anno 2009, a seguito di un'attenta valutazione dei requisiti e del budget a disposizione, la Biblioteca si è avvalsa del sistema MDSS DynaMed (EBSCOhost®) quale strumento di consultazione medica. Lo stesso è stato fortemente gradito ai clinici grazie al suo carattere innovativo e alla possibilità di attingere a un sistema di conoscenza in forte e continua evoluzione.

Gli MDSS offrono, infatti, un mezzo di supporto informatico che supera le limitazioni relative alla consultazione tradizionale di tipo cartaceo, quali per esempio: difficoltà nel rintracciare specifici argomenti di interesse e problemi nel reperimento delle fonti, offrendo strumenti di collegamento ipertestuale e un aggiornamento continuo e fruibile della letteratura.

Prima di procedere al rinnovo per l'anno 2010, è stata considerata la possibilità di confermare il sistema DynaMed, o piuttosto di sostituire il suddetto MDSS con un altro sistema, quale MD Consult (Elsevier), strumento di consultazione medica alternativo a DynaMed, che include un elenco di riviste e libri consultabili on-line, con l'integrazione di First Consult (Elsevier).

Al fine di ottimizzare e implementare quanto più possibile l'utilizzo dello strumento, è stata rivolta particolare attenzione alla possibilità di portare lo stesso al letto del paziente, mediante l'installazione su Blackberry, il PDA aziendale di cui dispongono alcuni medici dell'Ospedale.

Per facilitare la lettura del documento elaborato, si è scelto di strutturare lo stesso sotto forma di semplici quesiti.

Cosa è un MDSS e quali sono le caratteristiche per la valutazione di un MDSS?

Gli MDSS rappresentano uno strumento informatico di pratico utilizzo, di supporto nell'attività scientifica della professione medica e infermieristica. Questi strumenti filtrano la letteratura e la aggregano in topics (argomenti), facilitandone la consultazione per patologie e categorie. Per topics si intende il tipo di argomenti affrontati.

Un MDSS, essendo uno strumento di aggiornamento che riporta informazioni filtrate dalla letteratura, è un concentrato di articoli pubblicati e presenta un rapporto costo-efficacia migliore rispetto a quello delle singole riviste. Se caratterizzato da una buona fruibilità, potrebbe affiancare alcune riviste, a condizione che venga mantenuta una qualità elevata, frutto di un metodo rigoroso di filtraggio della letteratura.

Tra i parametri più importanti di un MDSS sono di particolare rilievo quelli che caratterizzano cosa viene filtrato, come viene filtrato, da chi viene filtrato, la frequenza dell'aggiornamento e il metodo del critical appraisal, ovvero l'uso di un metodo standard e trasparente per stabilire la validità degli articoli.

Per definire l'Evidence-Based Methodology, è necessario inoltre stabilire se e come sia stato utilizzato un sistema di grading, in altre parole verificare se è stata definita una scala del livello di evidenza.

Altri parametri da valutare sono:

la qualità editoriale (nella quale sono dichiarate la politica formale implementata sulla presenza di conflitti d'interessi degli autori, e gli sponsor per lo sviluppo del contenuto),
la possibilità di integrarsi con un sistema aziendale di cartella clinica elettronica EMR/EHR, l'uso di alberi decisionali e widgets e l'accessibilità (su computer fissi e su PDA).

Dove si può consultare un MDSS?

È importante che gli MDSS possano essere consultati anche fuori dalla biblioteca. Anzi, quanto più sono consultabili vicino al paziente senza perdere di qualità, tanto più il prodotto si avvicina alla definizione di point of care e maggiore è il suo valore. Oltre che da tutti i computer connessi alla rete dell'azienda, alcune case fornitrici di MDSS rendono compatibile la loro applicazione con dispositivi portatili detti PDA, tra cui Blackberry, I-Phone e I-Pad.

Lo scopo a cui assolvono tutti gli MDSS è quello di portare lo strumento decisionale al letto del paziente, tenendo conto che ogni PDA ha le sue peculiarità. A tale proposito abbiamo ritenuto opportuno soffermarci anche sulla facilità d'installazione degli stessi, sull'assistenza tecnica fornita e sulla possibilità di utilizzare tutti gli strumenti disponibili su pc (filmati e immagini, alberi decisionali, strumenti per interpretazione analisi di laboratorio, convertitori di dosi, strumenti di calcolo matematici e statistici) anche su PDA.

Quali strumenti sono stati valutati?

Gli MDSS valutati sono stati sia di tipo gratuito che a pagamento. In particolare questi ultimi sono stati considerati in quanto offerti dalle case produttrici. Nella nostra analisi non sono stati valutati alcuni MDSS (ATTRACT, TRIP, STAT!Ref, EBMR, Essential Evidence Plus, EBM Search Engine, The Cochrane Library, CIAP, CLIN-eGUIDE, Evidence Matters e Access Medicine) perché, pur se a pagamento, le case produttrici non hanno presentato alcuna offerta alla nostra Azienda. Invece abbiamo ritenuto opportuno integrare nella nostra analisi anche MDSS gratuiti, con una qualità sufficiente tale da escludere eventualmente l'acquisto di un MDSS a pagamento.

Nella tabella seguente sono elencati gli MDSS valutati e il tipo di licenza disponibile sul mercato.

NOME MDSS	LICENZA
Dynamed	A pagamento
MD Consult e First Consult	A pagamento
CKS	Libera
Best BETs	Libera
ACP Pier	Libera
eMedicine	Libera
Map of Medicine	Libera
GP Notebook	Libera

Dynamed

Accessibile dal sito http://www.ebsco-host.com/dynamed, è distribuito da EBSCO publishing. È uno strumento creato 60 anni fa dai medici per i medici e per altre figure professionali, principalmente per l'uso al point of care.

Dynamed è un supporto fondato sull'Evidence Based Medicine che fornisce, attraverso migliaia di topics aggiornati quotidianamente, risposte ai clinici durante la pratica e si distingue da tutti gli altri MDSS in quanto presenta un sistema di accreditamento ECM.

Dall'analisi del sito è stato possibile verificare l'esistenza di una esplicita dichiarazione riguardo la mancanza di conflitti di interessi degli autori e di influenza da parte di eventuali sponsor, con la conseguente attribuzione del maggior punteggio ai campi 13 e 14 della tabella allegata:

Inoltre Dynamed, a differenza della maggior parte degli altri MDSS analizzati, presenta dei widgets individuabili attraverso la consultazione della tabella e specifici livelli di evidenza vicino al testo.

MD Consult

È un servizio di informazione clinica che fornisce accesso a risorse mediche, quali libri e riviste scientifiche in formato elettronico, linee guida, etc. ed è integrato da First Consult, che rappresenta il vero e proprio MDSS, attivabile esclusivamente a integrazione di un abbonamento a MD Consult.

È accessibile sul sito http://www.md-consult.com ed è distribuito da Elsevier. First Consult risulta accessibile da pc, da I-Phone, da I-Pad, ma non da Blackberry.

Clinical Knowledge Summaries (CKS)

È accessibile al sito http://www.cks.nhs.uk ed è finanziato e commissionato dal National Institute for Health and Clinical Excellence britannico. Si possono visualizzare i contenuti in seguito a una registrazione gratuita.

Best BETs

Disponibile al sito http://www.best-bets.org/, è gestito dal Manchester Royal Infirmary nel Regno Unito; esso rappresenta un database di risposte a quesiti clinici o Best Evidence Topics (abbreviati in BETs), che possono essere sottoposti al vaglio della redazione in vista della pubblicazione, da qualunque professionista medico. È stato specificatamente concepito per la Medicina di Emergenza, per questo il contenuto dei topic tende a fornire risposte a domande specifiche più che un quadro completo ed esaustivo della malattia.

ACP Pier

Accessibile dal sito http://www.acponline.org/, è un database di informazioni cliniche basate sulle evidenze cui non è possibile accedere se non si è accreditati dall'American College of Physicians, per cui è stato escluso dalla valutazione successiva.

eMedicine

Disponibile sul sito http://emedicine.medscape.com, è un sistema di riferimento delle cure mediche a disposizione di medici e altri operatori sanitari su Internet. L'eMedicine Clinical Knowledge Base contiene articoli sulle oltre 6.500 malattie e gli argomenti medici ed è riccamente illustrato con circa 28.000 file multimediali.

Emedicine è una parte del Web MDHealth Professional Network, che include Medscape.com e Health.org; questi ultimi aderiscono ai principi del codice Health On the Net (HON). La certificazione dell'Health on the Net Foundation è garanzia che il sito si impegna a rispettare gli 8 principi del codice etico di autoregolamentazione per la redazione e aggiornamento dei siti Internet dedicati alla salute.

Map of Medicine

Consultabile sul sito http://healthguides.mapofmedicine.com/choices/map-open/index.html è sostenuto dalla guida del NICE. Inizialmente sviluppato con il supporto della University College di Londra e da NHS (National Health Service), successivamente ha richiesto il supporto di uno sponsor per rimanere attivo.

L'accesso gratuito è possibile solo da Inghilterra, Galles, Australia e dalle Isole Inglesi, mentre per gli altri Stati l'accesso e la possibilità di registrazione sono disponibili sul sito della NHS (http://www.nhs.uk.), anche se è usufruibile solo una versione limitata della Mappa. La visualizzazione dei risultati risulta molto semplice e immediata, anche per una consultazione da parte dei pazienti, mentre risultano più indicate per i medici le mappe consultabili gratuitamente all'indirizzo Internet sopra riportato.

Gp Notebook (General Practice Notebook)

http://www.gpnotebook.co.uk, è nato nel 1990 dall'impegno di un gruppo di studenti di medicina. Al database, successivamente, è stato assegnato il prestigioso premio Perry dal Primary Care Specialist Group della British Computer Society.

L'accesso e la creazione di un profilo personale sono gratuiti solo in Inghilterra e in Irlanda, mentre per gli altri Paesi è a pagamento. Tra gli utenti del sito si trovano medici, professionisti nel campo della salute e studenti di medicina.

Metodologia

Come è stata condotta l'analisi degli MDSS?

L'analisi è stata condotta per step. In particolare, sono stati individuati 4 step fondamentali:

Step 1: individuazione dei parametri e stesura questionario relativo;
Step 2: somministrazione del questionario preparato nello step 1;
Step 3: assegnazione dei pesi relativi rispetto alle caratteristiche presenti nel questionario dello step 1;
Step 4: elaborazione albero decisionale e risultati.

Come è stato condotto lo step 1 "Individuazione dei parametri e stesura questionario relativo"?

Per eseguire una scelta oggettiva e trasparente è stata stilata una serie di domande chiuse, che riassumono le caratteristiche del MDSS ideale.

In questa prima fase sono stati individuati 81 parametri. Nella prima colonna sono stati elencati gli 81 parametri considerati e per ogni parametro sono state specificate le possibili risposte, in alcuni casi dicotomiche, in altri, vere e proprie categorie specifiche al parametro preso in riferimento vedi tabella allegata.

Come è stato condotto lo step 2 "Somministrazione del questionario"?

Il questionario elaborato nello step 1 è stato somministrato sia agli ingegneri della nostra UO per la valutazione dei parametri di tutti gli MDSS, fossero essi gratuiti o a pagamento, sia ai sales manager per quanto riguarda i due MDSS a pagamento.

Per rispondere al questionario, i nostri ingegneri hanno esplorato le piattaforme online, i materiali a disposizione e la letteratura pubblicata sugli argomenti. Inoltre, è stata anche valutata la coerenza e l'attendibilità delle valutazioni fornite dai sales manager e confrontata con le informazioni reperite dai nostri ingegneri.

Feed back della valutazione

Il criterio va da < 0,5 a >1. Questo ha rappresentato un feedback del lavoro svolto, un modo per confrontarsi con coloro che offrono i prodotti, così da rivedere insieme eventuali punti divergenti. Per valori pari a 1, la valutazione effettuata dai sales manager risulta coerente con la nostra.

Valutazioni diverse da 1 delineano una valutazione dei sales manager che discosta dalla nostra: nel caso in cui il valore è > 1 il prodotto è migliore di quanto dichiarato; nel caso, invece, è < 1 peggiore, se il valore è < 0,5 la discordanza è stata motivo di confronto approfondito.

Aderenza a quanto dichiarato (Rapporto = valutazione staff interno/quanto dichiarato)	< 0,5	<1	1	> 1

Aderenza a quanto dichiarato
(Rapporto = valutazione staff interno/quanto dichiarato)

< 0,5

> 1

Come è stato condotto lo step 3 "Assegnazione dei pesi relativi rispetto alle caratteristiche presenti nel questionario"?

Dato il diverso impatto che potevano avere le caratteristiche del prodotto sulla valutazione finale, è stato somministrato, parallelamente allo step 2, un altro questionario per permetterci di attribuire un peso ai parametri.

Per rendere oggettiva e completa l'attribuzione dei pesi, il questionario è stato somministrato ad alcuni medici, infermieri e al personale della UOC Governo clinico.

Il questionario presenta, per ogni domanda, 5 categorie di valutazione da fondamentale a non importante, che formalizzano il grado di interesse rispetto al parametro considerato. La scelta di eseguire questo passo parallelamente allo step 2, ci ha permesso di attribuire a priori dei pesi, evitando qualsiasi tipo di influenza.

Dal risultato del questionario sull'importanza delle caratteristiche di un prodotto, sono stati calcolati i pesi attribuiti alle varie voci. È stato attribuito per ogni categoria un peso percentuale:

Fondamentale = 95%-90%
Molto Importante = 89%-75%
Importante = 74%-60%
Poco importante = 59%-51%
Non importante = 50%-50%

Nello specifico, nell'assegnazione dei pesi percentuali, è stata posta l'attenzione sulla differenza delle due possibili risposte alternative all'interno di una stessa categoria. Ad esempio, per la categoria Fondamentale, si attribuisce un punteggio pari al 95% nel caso in cui la risposta sia affermativa, e del 5%, ossia il suo complementare, nel caso in cui la risposta sia negativa.

Nella categoria Non importante, invece, si è scelto di inserire il range percentuale da 50 a 50, per sottolineare l'indifferenza di una risposta rispetto a un'altra. In alcuni casi vi è anche una terza alternativa nelle risposte, sì, ma non ben specificato. In questo caso viene assegnato il punteggio relativo a 2 categorie inferiori a quella di appartenenza. Dunque, se la risposta alla categoria Fondamentale, è stata sì, ma non ben specificato, si attribuirà un peso compreso tra 74%-60% nel caso di risposta affermativa vedi tabella allegata.

Come è stato condotto lo step 4 "Elaborazione albero decisionale e risultati"?

Dalle risposte del questionario valutativo dei prodotti, associato al peso corrispondente estratto dalla tabella di attribuzione dei pesi, si è creata una nuova tabella sulla quale sono state raccolte ed elaborate le singole risposte.

Si è quindi utilizzato il modello degli alberi decisionali per maggiore comodità e sono state sfruttate le capacità di calcolo del software Excel così da calcolare, in base ai pesi espressi in % e ai costi, un punteggio di esito decisionale.

L'albero decisionale è uno strumento fondamentale nell'analisi delle decisioni, in quanto permette di esprimere la struttura logica propria di un problema di decisione. Gli alberi decisionali sono un metodo grafico, in cui gli eventi probabilistici sono diagrammati in linee o rami. Ogni ramo rappresenta un evento possibile e a ogni ramo viene assegnata una probabilità numerica.

La probabilità di percorso di una sequenza di eventi probabilistici è il prodotto di tutte le probabilità lungo quella sequenza. Noi, per semplicità di rappresentazione, abbiamo preferito rappresentare solo i rami che descrivono un evento certo e incanalare la probabilità di percorso in un foglio di calcolo excel che riporta i parametri con i valori assegnati alle diverse risposte.

Il foglio di calcolo è stato impostato per determinare un indice che deriva dal prodotto di tutte le probabilità e dal risparmio previsto ed è stato eseguito per ogni MDSS. Il risparmio è stato calcolato sottraendo il costo di ogni MDSS al costo massimo, aggiungendo al risultato 1, poiché essendo presenti nell'analisi degli MDSS gratuiti (costo = 0) questo avrebbe annullato il prodotto.

Infine, l'indice ottenuto è stato trasformato in scala logaritmica, per avere un campo numerico più semplice da interpretare. Gli indici che più si avvicinano allo zero indicano il prodotto migliore da scegliere.

Per rendere graficamente piacevole e intuitivo il risultato, è stato creato un grafico dove al punteggio finale di ogni singolo prodotto sono stati aggiunti 40 punti così da rendere i risultati tutti positivi e in scala decrescente per rapporto qualità/prezzo vedi tabella allegata.

Risultati

Dall'analisi comparativa effettuata sugli MDSS, si evince che il prodotto con il migliore rapporto qualità/prezzo risulta essere Dynamed. A seguito si trovano: CKS, First Consult, Maps of Medicine, eMedicine, Best Bets ed infine GP Notebook.

Conclusioni

L'HTA ci ha permesso di individuare la scelta migliore ottimizzando e razionalizzando l'investimento, ha permesso anche di valutare tutte le possibili opzioni implementabili e non solo quelle a pagamento, rendendo possibile una riduzione della spesa con un aumento della qualità del servizio. Ci ha permesso inoltre di far emergere le caratteristiche più importanti che un MDSS dovrebbe avere per la nostra realtà ospedaliera. Questo vuol dire che, modificando la realtà locale e i desiderata del luogo di applicazione, il risultato facilmente ricalcolabile potrebbe cambiare.

In seguito a questo studio, nella biblioteca saranno implementati tutti gli MDSS gratuiti che sono stati valutati. Dynamed, secondo la nostra valutazione, può essere riconfermato anche per il 2011 in quanto presenta un rapporto qualità/prezzo elevato con una qualità decisamente superiore rispetto agli altri MDSS valutati.

Bibliografia

Print version | PDF^ | PDF>

GovernoClinico

Traduzione automatica:

Contattaci:
info@scf.gosp.it

RSS Feed
Abbonati al nostro Feed:
Condividi questa pagina:

Azienda Ospedaliera San camillo Forlanini