da Leadership Medica n. 9 del 2001
Il “confronto” e il “benchmarking”
Diversamente da un uso a volte scorretto del termine negli ambienti della Sanità Pubblica, il “Benchmarking” non può essere inteso come un mero confronto di attività o processi tra due Aziende.
E’ necessario premettere che non si vuole disattendere l’assoluta importanza del mero “confronto” tra attività e processi, anch’esso di notevole utilità gestionale, ma tuttavia diverso dal “benchmarking”. Inoltre, è utile rilevare che il “confronto” non è necessariamente realizzato tra due strutture di diverse aziende; è possibile trarre profitto anche da un confronto – nel tempo – dei processi di produzione della medesima unità operativa. In tal senso, il confronto è significato essenzialmente da due tipologie (v. tabella 1).
Innanzitutto un confronto cross section, tra due unità operative, o dipartimenti, o presidi (della medesima azienda, o di aziende diverse), laddove i processi siano confrontabili, è necessariamente sincronico. Non è vincolante che il confronto cross section abbia come riferimento una struttura “best in class”: basti ricordare i report regionali, in cui vengono confrontati i dati provenienti dalle varie aziende sanitarie. Il problema di maggiore importanza – piuttosto – è costituito dalla confrontabilità dei dati. In merito, Casati ricorda l’esigenza che l’omogeneità necessaria a un corretto confronto sia: strutturale (dimensioni analoghe); funzionale (case – mix confrontabili); contabile (medesimi metodi di rilevazione ed elaborazione dei costi). Il secondo tipo di confronto – invece – è diacronico, over time, ovvero un monitoraggio (tale deve essere considerata la fattispecie) delle modificazioni che avvengono nel corso del tempo, in termini di “output” e di “outcome”. In tal caso si impone la scelta dell’unità di tempo: mese, anno ecc.
Anche se pare pleonastico ricordarlo, è opportuno sottolineare che, salvo diverse indicazioni imposte dalla circostanze, i confronti “over time“ avvengano di regola tra periodi analoghi; ad esempio: il primo trimestre di due o più anni consecutivi, oppure il secondo semestre di due o più anni consecutivi, i dati complessivi annuali per un certo numero di anni e così via. Il confronto diacronico suggerisce dunque il “trend” dei risultati, entro i limiti in cui sia stata apposta la dovuta attenzione alla omogeneità delle risorse assorbite e delle condizioni operative. Il confronto sincronico interessa invece soprattutto il < rapporto tra le risorse umane, finanziarie e strumentali impiegate ed il livello quantitativo, qualitativo ed economico > delle prestazioni, ancorché è d’obbligo evidenziare che è < molto difficile nella pubblica amministrazione avere dati confrontabili > (Macrina e Ravaioli), poiché spesso non sono adeguatamente condivise le metodologie di raccolta dei dati, per ottenere un attendibile margine di omogeneità, ovvero ancor prima della elaborazione e della interpretazione dei valori numerici ottenuti.
E’ chiaro che il confronto può riguardare: aspetti quantitativi; aspetti qualitativi; aspetti economico – finanziari. Qualora il “confronto” sia posto in essere con la migliore delle strutture che opera in analogo campo di attività (la “best in class” della letteratura anglo-sassone) è possibile evocare il termine “benchmarking”.
Il “benchmark” cui riferirsi – pertanto – è lo standard ottimale di prestazione.
Definizione e classificazione
Il numero di definizioni di “benchmarking”, in letteratura, è incalcolabile. E’ necessario – innanzitutto – ricordare la definizione di colui al quale è attribuita la paternità del “benchmarking”, ovvero Camp, che definì tale strumento di gestione come un <processo continuo di misurazione di prodotti, servizi e prassi aziendali, mediante il confronto con i concorrenti più forti, o con le imprese leader di un settore >.
Nel contesto della copiosa letteratura sull’argomento, sono numerosi e autorevoli anche i contributi italiani, alcuni dei quali derivano, o comunque trovano collocazione nello specifico campo di pertinenza della Sanità Pubblica. In particolare, Zanetti ha ricordato che, in economia aziendale, il benchmarking < indica una tecnica di management, che consiste in attività di valutazione strutturata e permanente, avente lo scopo di confrontare i prodotti / processi della propria azienda con i leader di mercato >, per evidenziare inoltre che < le differenze rilevate rispetto agli standard delle aziende di riferimento sono analizzate per definire strategie, obiettivi, piani di miglioramento e percorsi per la ricerca dell’eccellenza >.
In ogni caso, se da una parte, segnatamente in economia aziendale, il benchmarking è il processo di analisi degli indicatori di successo da utilizzare per ottenere la crescita dell’azienda e il miglioramento della qualità dei prodotti, dall’altra, più propriamente in ambito sanitario, il benchmarking rappresenta la visione critica, ovvero una “fotografia istantanea” (Roediger) delle pratiche adottate, che consente di determinare quale siano quelle preferibili e i “best in class” a cui riferirsi.
Tuttavia, a causa delle peculiarità di mercato, il benchmarking può assumere connotazioni diverse nella Pubblica Amministrazione, rispetto al settore privato, dove è nato e si è perfezionato nel corso degli anni. Peraltro, è anche nostro convincimento che <nella Pubblica Amministrazione il benchmarking dovrebbe assumere caratteri di tipo collaborativo non solo per lo scarso meccanismo competitivo che lega le aziende pubbliche, quanto per la necessità di innalzare lo standard di prestazione di tutte le aziende che offrono servizi di pubblica utilità> (Compagno e Cagnina). Nondimeno, dall’impellente occorrenza di allinearsi coi migliori servizi pubblici dell’Unione Europea nasce l’esigenza che le pubbliche amministrazioni italiane recuperino in termini di efficienza, efficacia ed economicità di gestione, peraltro in ottemperanza alle norme emanate dal governo negli ultimi dieci anni (Marchitto).
Anche per quanto attiene i criteri di classificazione, la letteratura in tema di benchmarking è prolifica. E’ sicuramente originale la partizione offerta da Masoni, che distingue un benchmark di normalità (in cui i risultati degli altri sono assunti come norma per il progetto), dal benchmark di eccellenza (posto – in relazione ai risultati ottenuti da altri – come traguardo da superare). Azzone – invece – distingue un benchmarking orientato alla prestazione ed un benchmarking orientato ai processi; ovvero: nel benchmarking orientato alla prestazione la “best practice” è un < punto di riferimento per altre organizzazioni > e costituisce, pertanto, un < obiettivo stimolante (contrariamente al dato storico) >; nel benchmarking orientato ai processi – al contrario – il confronto verte (ancorché le prassi possano pacificamente coesistere) sulle < modalità di gestione delle diverse organizzazioni >. In accordo con Compagno e Cagnina, è nostra opinione che si debbano distinguere innanzitutto: I. l’ambito del confronto (interno o esterno); II. l’oggetto del confronto (finalità istituzionale).
La classificazione secondo l’ambito del confronto
Si identificano: il benchmarking interno, qualora eseguito nel contesto dell’organizzazione, di regola fra servizi che svolgono medesimi compiti istituzionali, ma collocati in diversa area geografica della stessa amministrazione. Il benchmarking interno è più facile da porre in essere, anche perché evoca meno resistenze, è fattibile in tempi accettabili ed è un utile strumento per una prima conoscenza e verifica dei processi aziendali.
Nel contesto della pubblica amministrazione, i motivi che possono differenziare la performance di servizi collocati in diverse realtà territoriali sono stati enunciati da Marchitto; se ne ricordano i più condizionanti: i modelli socio-culturali e – soprattutto – comportamentali, le possibilità di interpretazione delle norme, le modalità di erogazione del servizio, l’atteggiamento verso gli utenti, il senso del dovere, di appartenenza e della gerarchia, la capacità di assumere decisioni. Per quanto ricordato in precedenza, tuttavia, rileva che tale prassi spesso non è un benchmarking propriamente detto, bensì un mero confronto con una struttura che offre una buona qualità, ancorché raramente significativa per la best practice. Il benchmarking esterno, allorquando viene posto in essere con aziende esterne, talvolta concorrenti. Il benchmarking esterno implica il confronto di alcuni processi aziendali con quelli utilizzati da organizzazioni accreditate nel campo. Può essere (ma non necessariamente) competitivo; in tal caso, possono emergere difficoltà ad instaurare un dialogo costruttivo coi partner, col rischio di confrontare solo i fattori produttivi, anziché i processi (Trivellini e Caliendo). Il benchmarking funzionale o di processo, qualora eseguito con aziende che agiscono in altro settore. Oggetto di confronto è – appunto – una funzione ben precisa, o un determinato processo, indipendentemente dal fatto che siano diversi i prodotti / servizi delle due aziende poste a confronto. Solitamente si tratta di attività di supporto, quali la gestione del personale, il servizio economale, il servizio informatico ecc.
Il benchmarking generico o puro, allorché eseguito con aziende ritenute leader in assoluto nel settore (le “best in class”), che < racchiude la filosofia di fondo del benchmarking > (ancora Trivellini e Caliendo). Tale forma di benchmarking implica una notevole e consolidata esperienza, poiché vengono di regola analizzate procedure assolutamente diverse.
La classificazione secondo l’oggetto
Si distinguono: un benchmarking operativo, che implica il confronto tra i servizi offerti; sono dunque verificati i processi che portano direttamente alla fornitura / erogazione di prodotti / prestazioni; un benchmarking gestionale, ovvero il confronto tra le procedure di supporto alla linea di produzione; un benchmarking strategico, col quale si analizzano i determinanti del vantaggio competitivo, mediante l’osservazione delle strategie che hanno portato altre organizzazioni al successo. Per quanto attiene i criteri di scelta del partner di benchmarking, si richiamano gli elementi essenziali, più volte sottolineati in letteratura; ovvero, in ordine di importanza (ancora Compagno e Cagnina):
I. la localizzazione;
II. l’appartenenza allo stesso ramo di attività;
III. la potenziale credibilità o reputazione;
IV. la volontà di partecipare;
V. la performance o la supposta leadership.
In proposito, Marchitto evidenzia che <difficilmente una singola azienda o una singola amministrazione realizzano, contemporaneamente, situazioni di eccellenza su tutte le fasi di processo>, per cui è necessario individuare il partner in funzione del processo che si intende sottoporre a benchmarking, dopo avere verificato che tale partner è il “best in class” per “quel processo” e non in senso generale.
Azzone, dopo avere ricordato che le organizzazioni devono essere distinte, innanzitutto, in base al livello delle prestazioni, oppure alla qualità delle soluzioni gestionali, ritiene che le organizzazioni possano essere individuate nel contesto di quattro tipologie di ambiti:
I. le “star”, organizzazioni leader con livelli di prestazione molto elevati;
II. le organizzazioni emergenti, ovvero in via di miglioramento;
III. le organizzazioni declinanti, caratterizzate da processi e tecnologie obsoleti;
IV. le “dog” … il cui termine (“absit injuria verbis” pensando al migliore amico dell’uomo) appare chiaramente e sufficientemente esplicativo.
Il percorso del benchmarking
La progettazione di un efficace sistema di benchmarking implica una corretta articolazione metodologica, ovvero un percorso realmente efficace per ottenere un concreto processo di miglioramento della qualità delle prestazioni: ciò è anch’esso oggetto di numerosi contributi scientifici (v. tabella 2).
Un’attenta analisi dei modelli operativi, segnatamente dei percorsi utilizzati per attuare il benchmarking, consente di rilevare che – in realtà – essi sono riconducibili al noto ciclo di Deming (v. tabella 3).
Marchitto, sulla base dell’esigenza di far precedere alla pianificazione del benchmarking una sorta di “autodiagnosi” circa < i punti deboli e gli errori del ciclo precedente >, ne propone una modificazione cronologica, precisamente da PDCA a CAPD, secondo la sequenza indicata in tabella 4.
Nella sequenza del percorso, indipendentemente dalla chiarezza delle idee su “cosa” si vuole “confrontare”, la maggiore difficoltà resta comunque costituita dalla scelta del “partner”, con cui rapportarsi, anche per la questione spesso irrisolta circa la identificazione del “best in class” in Sanità Pubblica. Per quanto attiene invece il processo da sottoporre a verifica, è buona regola concentrare l’attenzione dapprima sui “fattori critici di successo” (Cevolani), il che significa eseguire dapprima una mappatura dei processi (ad esempio mediante una flow-chart) e poi riordinare i medesimi secondo priorità, da sottoporre a benchmarking.
I problemi del benchmarking in Sanità Pubblica
Il benchmarking deriva dunque dall’esperienza di grandi aziende industriali, ancorché alcuni principi possano essere trasferiti nel settore della Sanità Pubblica.
Tuttavia, certamente, i risultati in ambito sanitario sono difficili da identificare e interpretare, per parecchi motivi: è innanzitutto difficile misurare direttamente i risultati; laddove le misure sono in qualche modo identificate, esse non sono sempre omogenee e/o le medesime usate tra partner di benchmarking; i risultati possono essere misurati nel contesto di diverse dimensioni, per cui un buon risultato, ottenuto secondo un determinato termine di valutazione, potrebbe compromettere il risultato secondo un altro parametro (ciò può essere osservato più opportunamente nella prospettiva del trade-off tra costi ed efficacia); i risultati di un benchmarking non sono necessariamente riconducibili a una delle componenti delle cure; piuttosto, essi sono la conseguenza di diverse fasi della ricerca e della valutazione; non tutte queste fasi si verificano durante la permanenza in ospedale, cosicché le deduzioni circa la performance dell’ospedale e i risultati ottenuti potrebbero anche essere assolutamente fittizi; è possibile osservare ancora il persistere di fattori politici, psicologici e sociologici per i quali un’organizzazione non riesce a raggiungere i livelli di performance del benchmark predefinito; alla fine, i limiti precedentemente ricordati fanno sì che, frequentemente, in ambito sanitario l’identificazione delle “best practices” sia problematica. Nondimeno, sebbene sia difficile identificare validi indicatori di “outcome” per le cure mediche, è tuttavia possibile misurare i processi e gli “output” delle cure, che contribuiscono a generare gli “outcome”. Inoltre, per quanto una serie di pur validi indicatori siano rivolti alla performance del sistema complessivamente considerato, è opportuno che il benchmarking si rivolga (e in tal senso ha notevole utilità) anche e soprattutto ai vari livelli dell’organizzazione, vale a dire dove le decisioni strategiche esprimono, o dovrebbero esprimere, un reale cambiamento del comportamento dirigenziale.
Tuttavia, poiché il benchmarking esige informazioni circa la performance di un certo momento dell’organizzazione, lo scambio di informazioni con coloro a cui si riconosce la “best practice” e la seguente implementazione di cambiamenti avvengono in genere a livello individuale, ovvero nel contesto di un determinato servizio erogatore di prestazioni.
Ne deriva che le informazioni sulla performance e sui cambiamenti necessari sono disponibili anche per l’alta direzione, ma ricadono solamente in un limitato ambito di attività.
Lo scambio di informazioni è infatti certamente di sostanziale importanza per costruire un efficace programma di benchmarking.
Agli erogatori di prestazioni si richiede di “comunicare” con le organizzazioni che detengono la “best practice”, condividendo informazioni circa i processi e le prassi che portano ad una performance superiore; ma ciò non sempre avviene.
Un’altra occasione di “comunicazione” sono le sedi congressuali, presso le quali potrebbero essere efficacemente e direttamente scambiate informazioni, sebbene sia comune osservazione che tali informazioni sono spesso viziate da un certo “opportunismo”, contrassegnato dal fatto che – non infrequentemente – sono evidenziati solo i risultati favorevoli, mentre determinati “gap” vengono mascherati, mediante una interpretazione dei dati opportunamente manipolata.
Invero, le informazioni inesatte o incomplete non sono necessariamente sempre riconducibili all’esigenza di conferire un’immagine positiva della propria attività, se non – più esplicitamente – di occultare spunti di criticità; a volte ciò si verifica anche per una sorta di “gelosia” dei propri metodi di lavoro, per invidia ecc.
I vantaggi del benchmarking
I vantaggi del benchmarking, sempre allorché attuato secondo corrette applicazioni metodologiche, sono numerosi (Cocconi): vantaggi in termini di costi (pertanto, efficienza, efficacia, economicità); vantaggi in termini di qualità (quindi miglioramento continuo); vantaggi in termini di cultura aziendale (ovvero crescita dell’organizzazione).
Esperienze di benchmarking nella sfera di competenza della Sanità sono riferite in parecchi contributi scientifici. In merito, basti ricordare l’analisi dei costi di gestione ospedaliera nel contesto del programma Medicare (“Medicare Cost Report”: cfr. Magnus e Smith); oppure il benchmarking per la valutazione e il supporto dei programmi dei costi farmaceutici del “MeritCare Medical Center”, coordinato dal Millard Fillmore Hospital (cfr. Murphy; Nelson). Jones ha sottolineato l’importanza e il contributo delle attività di benchmarking ai fini di una corretta ridistribuzione delle risorse nel Servizio Sanitario britannico.
Daniels e Coll. ricordano il “benchmark of fairness” (imparzialità) nel contesto della valutazione della riforma del sistema sanitario negli Stati Uniti; segnatamente, viene evidenziato che < “Fairness” è un ampio termine che riguarda l’esposizione ai fattori di rischio, l’accesso a tutte le tipologie di cura e gli aspetti finanziari; riguarda inoltre l’efficienza del management e l’allocazione delle risorse, la responsabilità e l’autonomia sia del paziente, sia del fornitore delle cure.
Inoltre, Daniels e Coll. ricordano anche che < I benchmark standardizzano i criteri della “fairness” >, con possibilità di utilizzo a tutti i livelli, ovvero nazionale o locale. Yurk e Coll. hanno invece richiamato le applicazioni del benchmarking, tra cui, oltre il miglioramento della qualità e la conseguente soddisfazione del cliente, anche la partecipazione – a pieno titolo – nella pianificazione strategica aziendale.
Dove e Greene, nonché Homa-Lowry, hanno sottolineato la partecipazione del benchmarking nel contesto della valutazione della qualità delle cure, segnatamente in ordine all’aumento dei costi e alla riduzione delle risorse. John ritiene di massima rilevanza l’utilizzo del benchmarking in Sanità Pubblica ai fini sia della valutazione dell’outcome delle cure (“Therapy Outcome Measure”), ma anche della diffusione e condivisione delle informazioni (sharing).
Ellis ha prospettato una puntuale e più ampia applicazione del processo di benchmarking alla “Evidence Based Medicine”. Weissman e Coll. hanno introdotto il concetto di ABC (“Achievable Benchmark of Care”), ovvero il benchmarking attuabile nelle cure sanitarie, qualificato dalle seguenti tre connotazioni essenziali: il benchmarking esprime un livello misurabile di efficienza; il benchmarking può essere conseguito secondo modalità comprovabili; il benchmarking è il risultato di dati oggettivi, riproducibili e predefiniti. Nondimeno, Weissman e Coll. evidenziano che i fornitori di prestazioni con un’elevata performance sono selezionati in modo da definire a priori un livello di eccellenza; tuttavia, i medesimi fornitori – pur offrendo un’elevata performance – non sono in grado di influire apprezzabilmente sui livelli di un determinato benchmark, qualora dispongano di una modesta casistica.
Nel copioso panorama bibliografico sul tema, merita infine menzione anche la “2001 Benchmarking Guide” (Hoppszallern), manuale che compendia una metrica di valutazione di ordine finanziario, tecnico-professionale e di mercato per qualsiasi struttura ospedaliera. In particolare, sono resi evidenti aspetti positivi e negativi, nel confronto tra ospedali con livelli di management assolutamente differenti.
E’ infine da richiamare l’attenzione a comportamenti eticamente scorretti (cfr. Beretta), in cui il confronto dei dati viene in realtà utilizzato esclusivamente per tentare di occultare obiettivi di abbattimento dei costi (“downsizing”), anziché per recuperare l’efficienza, l’efficacia e l’economicità delle prestazioni sanitarie.
Conclusioni
Nonostante gli aspetti negativi richiamati – dunque – è nostro convincimento che una progressiva introduzione del benchmarking in Sanità Pubblica, pur esigendo un iniziale e intenso sforzo per implementarne la metodologia, possa dare risultati molto interessanti, con vantaggi di notevole portata ai fini di un reale processo di cambiamento aziendale (v. tabella 5).
Segnatamente, anche per superare alcuni problemi concreti, pregiudiziali alle procedure di benchmarking e di regola strettamente correlati ad una certa resistenza a rivelare i propri dati di produttività e le procedure abitualmente adottate, è auspicabile l’introduzione anche di forme di associazionismo anonimo, quali – ad esempio – il “benchmarking network”, gestito da un’organizzazione (benchmarking club), che rende condivise le informazioni e – se necessario – anche l’elaborazione e l’interpretazione complessiva dei dati, senza tuttavia rivelarne la provenienza, suggerendo indicatori, standard e procedure di miglioramento della qualità.
Forse, a qualcuno l’anonimato può apparire un po’ triste … ma – probabilmente – l’efficacia lo può ampiamente giustificare.
Mauro Martini
Direttore del Nucleo di Valutazione dell’Azienda Sanitaria di Ferrara (Italia)
Link consigliati
Benchmarking Club (Italia): http://www.business-italy.it/benchclub
Association for Benchmarking Health Care (USA): http://www.abhc.org/
Best Practice Network (USA): http://ww1.best4health.org/startbp.cfm
The Benchmarking Network (USA):
http://www.well.com/user/benchmar/tbnhome.html
The Benchmarking Exchange (USA):
http://www.benchmarking.org/
Benchmarking in Australia: http://www.benchmarkingplus.com.au/
Welcome to Benchmarking (UK): http://www.benchmarking.co.uk/
The Essence of Care (UK): http://www.doh.gov.uk/essenceofcare/
Le Benchmarking Club de Paris (Francia): http://www.bench-club-paris.asso.fr/
Benchmarking (Germania): http://www.benchmarking.de/
Bibliografia
-Azzone G. Innovare il sistema di controllo di gestione. Economic Value Added, Benchmarking, E-economy: le nuove metodologie di valutazione. ETAS Ed., 2000.
-Beretta S. Il benchmarking delle attività amministrative: la ricerca di standard di prestazione. In: -Beretta S. e Coll. Il benchmarking dei processi amministrativi. EGEA Ed., 1999.
-Bocchino U. Il benchmarking. Giuffrè Ed., 1994. Camp R.C. Business Process Benchmarking: Finding and Implementing Best Practices. Milwaukee: ASQC Quality Press, 1995.
-Carter L.R., Lankford S.S. Physician’s Compensation: Measurement, Benchmarking, and Implementation. John Wiley & Son, 2000.
-Casati G. Programmazione e controllo di gestione nelle aziende sanitarie. McGraw-Hill Ed., 2000.
-Cevolani A. Il processo come punto di azione del benchmarking. In: Quaderni Qualità Agenzia Sanitaria Regione Emilia
– Romagna. Fare benchmarking in Sanità. Clueb Ed., 1998.
-Cocconi A. Il benchmarking nelle Aziende Sanitarie. In: Quaderni Qualità Agenzia Sanitaria Regione Emilia
– Romagna. Fare benchmarking in Sanità. Clueb Ed., 1998.
-Compagno C., Cagnina M.R. Il benchmarking nei processi di qualità. In: Gori E., Vittadini G. Qualità e valutazione nei servizi di pubblica utilità. ETAS Ed., 1999.
-Czarnecki M.T. Benchmarking Strategies for Health Care Management. Aspen Publishers, Inc., 1994.
-Daniels N. e Coll. Benchmarks of fairness for health care reform: a policy tool for developing countries. Bull. World Health Organ., 78(6): 740-50, 2000.
-Deming W.E. In: JCHAO. Introduzione ai principi del miglioramento della qualità. Centro Scientifico Ed., 1998.
-Dove H.G., Greene B.R. Benchmarking medical group practices using claims data: methodological and practical problems. J. Ambulatory Care Manage Oct, 23(4): 67-77, 2000.
-Ellis J. Sharing the evidence: clinical practice benchmarking to improve continuously the quality of care. J. Adv. Nurs., 32(1): 215-25, 2000.
-Homa-Lowry J. Measuring and benchmarking quality in hospitals. Mich. Health Hosp., 37(2): 12-3, 2001.
-Hoppszallern S. 2001 Benchmarking Guide. Hosp. Health Netw., 75(1): 43-9, 2001. -John A. e Coll. Benchmarking can facilitate the sharing of information on outcomes of care. Int. J.
-Lang Commun. Disord., 36, suppl., 385-90, 2001.
-Jones C.S. Towards benchmarking in British acute hospitals. Health Serv. Manage Res., 14(2): 125-38, 2001.
-Macrina A., Ravaioli P. Controllo di gestione e Nuclei di valutazione. Giuffrè Ed., 1998.
-Magnus S.A., Smith D.G. Better Medicare Cost Report data are needed to help hospitals benchmark costs and performance. Health Care Manage Rev., 25(4): 65-76, 2000.
-Marchitto F. Benchmarking nella Pubblica Amministrazione. FrancoAngeli Ed., 2001.
-Masoni V. Monitoraggio e valutazione dei progetti. FrancoAngeli Ed., 1997.
-Murphy J.E. Using benchmarking data to evaluate and support pharmacy programs in health systems. Am. J. Health Syst. Pharm., 15; 57 suppl., 2: S28-31, 2000.
-Nelson R.E. Benchmarking in health-system pharmacy: experience at MeritCare Medical Center. Am. J. Health Syst. Pharm., 15; 57 suppl., 2: S25-7, 2000.
-OECD. OECD Science, Technology and Industry Scoreboard 1999: Benchmarking Knowledge-Based Economies. OECD, 1999.
-Patterson D.J. Indexing Managed Care: Benchmarking Strategies for Assessing Managed Care Penetration in Your Market. McGraw Hill, 1997.
-Roediger J.M., Medicine & Business Formally Benchmarking Your Medical Practice. Physician’s News Digest, August 1999.
-Spendolini M.J. The Benchmarking Book. AMACOM, 2001.
-Trivellini M., Caliendo G. Cenni storici e tipologie di benchmarking. In: Quaderni Qualità Agenzia Sanitaria Regione Emilia–Romagna. Fare benchmarking in Sanità. Clueb Ed., 1998.
-Weissman N.W. e Coll. Achievable benchmarks of care: the ABCs of benchmarking. J. Eval. Clin. Pract., 5(3): 269-81, 1999.
-Yurk R. e Coll. Benchmarking applications: linking state strategic planning, quality improvement, and consumer reporting. J. Public Health Manag. Pract., 7(3): 47-58, 2001.
-Zanetti M. e Coll. Il medico e il management (Glossario). Accademia Nazionale di Medicina, 1996.