La letteratura biblioteconomica propone numerosi la­vori che hanno come obiettivo quello di fornire ele­menti per la raccolta di dati quantitativi per la valu­tazione delle prestazioni del sistema biblioteca, il che presuppone un’analisi per individuare quali fattori de­terminano la riuscita e la qualità delle prestazioni erogate, l’individuazione degli elementi misurabili e delle relative metriche.

I servizi di reference sono ovviamente parte di que­sto tipo di ragionamenti e senz’altro l’aver introdotto degli elementi di analisi, valutazione e confronto degli stessi ha comportato per le biblioteche la possibilità di riflettere sul proprio operato e di guidare la crescita dei servizi di reference in un modo organico e coerente con la propria missione.

Uno dei limiti nel voler individuare metriche per valutare i servizi e la loro qualità si raggiunge quando l’in­troduzione di indicatori di performance e di standard di riferimento non è connessa ad alcuna prospettiva, strategica o tattica che sia. Fatte salve le organizza­zioni con strutture e finalità del tutto omogenee, il ri­sultato è che qualunque indagine perde di significa­to e la grande quantità di numeri raccolta finisce per non essere utile, perché non è connessa agli obiettivi di una biblioteca, che non sono definiti una volta per sempre, ma sono soggetti al cambiamento sulla base delle scelte dell’istituzione di appartenenza.

Quest’ultima dovrebbe elaborare infatti un piano stra­tegico con degli obiettivi su cui la biblioteca possa mo­dellare, allineandoli, i propri obiettivi strategici e definire le metriche per i servizi in base alle finalità prefissate, confrontandosi con i modelli gestionali e gli standard di riferimento biblioteconomici.

Spesso invece la dimensione della gestione strategica e quella della gestione della qualità si muovono su binari paralleli. Già a metà degli anni Novanta Johannsen, com­mentando l’attenzione delle discipline LIS alla gestione strategica nelle biblioteche degli anni Ottanta, e quella successiva al tema della gestione della qualità, conclu­deva auspicando una vera fusione tra i due approcci.

Da tempo nell’ambito della biblioteconomia si ragiona per fare in modo che gli standard introdotti nella mi­surazione della qualità e della performance di bibliote­ca possano funzionare in modo sinergico rispetto agli obiettivi strategici dell’istituzione. Questo aspetto è te­stimoniato da una letteratura biblioteconomica che ha analizzato e fatto propri differenti approcci economici e manageriali, tra cui alcune tecniche di controllo di gestione strategico che saranno qui di seguito considerate.

Se definire una strategia è fondamentale, il presuppo­sto del controllo di gestione strategico è che ciò non sia sufficiente: per poter monitorare l’avanzamento della strategia è fondamentale servirsi di strumenti di verifica. La verifica si fonda sulla raccolta di feedback da analizzarsi nel tempo, per scoprire gli scostamenti rispetto a quanto previsto, e quindi sulla definizione di indicatori e metriche su cui misurare il raggiungimento degli obiettivi.

Tra le differenti proposte di provenienza gestionale di strumenti diagnostici di controllo strategico nati con l’intento su citato, la biblioteconomia ha assegnato il suo favore, almeno negli ultimi quindici anni, a un mo­dello noto come scheda di valutazione bilanciata (ba­lanced scorecard, BSC), che ad oggi ha trovato nu­merose applicazioni in biblioteche nazionali, pubbliche e soprattutto universitarie in tutto il mondo.

Come si vedrà in seguito, alcuni tra i più importanti standard e documenti pubblicati di recente rispetto alla misurazione della qualità in biblioteca hanno fatto della BSC la cornice di riferimento per lo sviluppo di tutti gli indicatori.

La nostra indagine si propone di capire:

• se la cultura sottesa a questa metodologia, che è appunto intrinsecamente vincolata alla definizione di una strategia, sia riuscita a permeare realmente i documenti di origine biblioteconomica sulla misu­razione della qualità in biblioteca che esamineremo, indipendentemente dal fatto che venga fatto esplicito riferimento alla BSC;
• se gli indicatori proposti negli stessi documenti per valutare i servizi di reference siano in grado di rispon­dere all’esigenza di valutare il successo o meno delle strategie adottate.

La scelta dei servizi di reference non è casuale. Per usa­re un’espressione che viene da una delle pubblicazioni recenti più rilevanti sulla misurazione della qualità in bi­blioteca, Measuring quality dell’IFLA, «se non si tratta dei servizi più importanti tra quelli di biblioteca, ci si va vicino». Tra l’altro nello stesso passo si osserva come in questo ambito, a differenza di altri, la misurazione non è divenuta un’operazione abituale per le statistiche nazio­nali: mentre infatti negli Stati Uniti rilevare dati su questi servizi è normale, in Europa molte statistiche nazionali ancora continuano a non rilevare nulla in merito ai ser­vizi di reference, continuando a focalizzarsi unicamente su altri fenomeni, come i servizi di prestito librario.

Se poi si rileva qualcosa, a stento si raccolgono dati quantitativi sulle transazioni, molto raro che ci si occupi del piano qualitativo, nonostante l’ampia letteratura che dibatte le modalità di valutazione della transazione.

Nel prosieguo la prospettiva teorica si manterrà rigida­mente connessa a un approccio disciplinare di controllo di gestione strategico e di strumenti di monitoraggio del­la strategia (BSC nel nostro caso), escludendo quindi la prospettiva, senz’altro molto rilevante, specie per i servizi di consulenza documentale e i corsi di information lite­racy, della misurazione d’impatto della biblioteca, di re­cente concretizzatasi nello standard ISO 16439: 2014.

Esiste una letteratura estremamente ampia sul tema della valutazione dei servizi di reference e non è nostro obiettivo concentrarci su questo punto. Analizzan­do dei testi di riferimento, un primo discrimine viene individuato tra l’esperienza del singolo, il “self-asses­sment” del bibliotecario di reference (rispetto all’effica­cia dell’intervista, alla didattica dei corsi di information literacy ecc.) e quella invece strutturata che parte da un’azione della biblioteca. Quest’ultima comprende sia l’analisi degli input del processo di reference (e quindi ad esempio l’analisi delle collezioni o delle risor­se di reference) sia del processo stesso come relazio­ne bibliotecario-lettore (in presenza o a distanza) sia l’analisi degli output e degli outcome. I dati si possono ottenere in questo caso tramite indagini e questionari, osservazione, focus group o interviste.

La prima raccomandazione è quella di non considerare la raccolta di dati e informazioni su aspetti del servizio come fine a sé stessa, ossia di intendere l’analisi dei dati come funzionale alla presa di decisioni, con una ricaduta sulla vita stessa della biblioteca e dell’istitu­zione. Nel processo di valutazione, attraverso tecniche differenti, i bibliotecari analizzano l’efficacia, la qualità dei servizi di reference e delle risorse informative rese disponibili, il livello di soddisfazione degli utenti e ne valutano l’evoluzione una volta individuati gli obiettivi, in una prospettiva di accountability e di miglioramenti da realizzare in relazione a quanto previsto da mis­sione e obiettivi. Per questo si parla di “ciclo di valu­tazione”, riferendosi al fatto che a partire da obiettivi specifici si raccolgono e analizzano dati, che vengono comunicati, condivisi, usati per decidere. Gli obiettivi sono soggetti a revisione e il ciclo può ricominciare.

Fondamentale è definire cosa si deve valutare e in che modo. Tradizionalmente le metriche proposte hanno cercato di individuare come misurare input e output. Tra gli input fondamentali sono stati considerati il la­voro dei bibliotecari e le risorse finanziarie. L’output in questo caso è rappresentato dal numero di domande di reference ricevute e risposte, dal numero di fonti in­formative suggerite, dal numero di persone che hanno frequentato le sessioni di information literacy. Questa rilevazione è utile per capire il trend di certi servizi nel tempo, oppure consente di comparare la biblioteca ad altre biblioteche.

Nel tempo, mano a mano che la pressione sui servizi di biblioteca ha spinto a dover dimostrare il valore dei ser­vizi stessi per i portatori di interesse, questi indicatori si sono rilevati sempre più insufficienti. Altri concetti sono stati introdotti, in primis quello di qualità e di outcome, non di output. La qualità può essere misurata attraver­so standard e valori di riferimento o compresa a partire dalla valutazione della percezione degli utenti. I risultati sono invece determinati sulla base dei benefici che la comunità di riferimento per la biblioteca riceve. Ancora, la riflessione ha approfondito l’aspetto economico della rendicontazione, cercando di individuare attraverso l’a­nalisi costi-benefici o la valutazione del ROI (Return On Investment) il “valore” dei servizi di reference.

Dovendo individuare delle metriche per reference ser­vices, la letteratura considerata mostra di riferirsi piut­tosto alle linee guida di tipo professionale rispetto a standard nazionali, quello americano ANSI NISO che considereremo, e internazionali, quelli di ISO.

Più in generale la prospettiva che ci interessa, la di­mensione delle metriche per il controllo delle strate­gie di un’organizzazione bibliotecaria, con le relative ricadute sui servizi di reference, non viene considerata nella letteratura relativa ai servizi di reference. Le me­triche presentate hanno come focus un impiego per il controllo della qualità, il benchmarking, l’individuazio­ne di indicatori di performance, di outcome rispetto all’importante problema della valutazione d’impatto della biblioteca, ma la dimensione della programma­zione e del controllo strategico da cui proviene la ba­lanced scorecard non pare essere presente.

A partire dalla seconda metà del decennio scorso l’in­soddisfazione per modelli di valutazione che non con­sentivano al management una visione d’insieme dei fattori da monitorare ha portato anche il settore della pubblica amministrazione a introdurre tecniche che avevano già trovato ampia diffusione nelle aziende pri­vate, nella funzione pianificazione, controllo e gestione strategica. Tra questi strumenti figura la BSC, un siste­ma di gestione strategico che entra nel mondo delle biblioteche attraverso una serie di esperienze. Tra di esse citiamo quelle di alcune biblioteche nazionali (la National Library of Australia, la Kongelige Bibliotek di Copenhagen, la Technische Informationsbibliothek di Hannover), universitarie (Johns Hopkins Universi­ty, McMaster University, University of Virginia e Univer­sity of Washington) e di pubblica lettura (il progetto tedesco BIX ha realizzato una BIX scorecard di deriva­zione dalla BSC; in ambito statunitense invece han­no sperimentato la tecnica alcune biblioteche civiche del Sud della California).

Sul fronte accademico si segnala che la più grande associazione professionale statunitense di bibliote­che accademiche di ricerca, l’Association of Rese­arch Libraries (ARL), nello sviluppare gli indicatori di LIBQUAL, il maggior progetto di misurazione della qualità lanciato nei primi anni Duemila, ha scelto la balanced scorecard come riferimento e ancora oggi opera con questo modello.

IFLA e ISO hanno pure contribuito alla diffusione del­lo strumento. Nel 2007 l’IFLA ha scelto la BSC come modello da consigliare alle biblioteche per strutturare gli indicatori di misurazione. Il vantaggio dell’impiego della BSC era così indicato:

Negli stessi anni uno standard fondamentale in que­sto ambito, ISO 11620:2008 ha scelto di impiegare la BSC come cornice, scelta poi riconfermata nella redazione della terza versione dello stesso standard del 2014.

L’attenzione riservata alla BSC è testimoniata anche dal fatto che nel 2006 il volume Measuring library per­formance di Peter Brophy dedica un intero capitolo alla balanced scorecard. Negli ultimi anni lo stru­mento è stato applicato anche in Inghilterra, Danimar­ca, Finlandia, Norvegia, Canada, oltre che in ulteriori biblioteche americane.

Questa rapida rassegna mostra come la comunità scientifica internazionale di ambito biblioteconomico abbia ritenuto necessario, ragionando attorno agli in­dicatori e alle metriche per la valutazione, confrontarsi con questo strumento. Volendo capire con quali esiti ciò sia accaduto rispetto alle potenzialità dello stru­mento, riteniamo utile addentrarsi maggiormente nel significato e nei meccanismi della BSC, come pure negli strumenti che la accettano come base reale o apparente di partenza.

Gli americani Kaplan e Norton, in un articolo pubbli­cato nel 1992 su «Harvard business review», propo­nevano alla comunità dell’alta direzione aziendale la “scheda di valutazione bilanciata”.

La novità dello strumento era rappresentata dalla sua multidimensionalità, essendo la BSC adatta a monito­rare una serie di relazioni causa-effetto tra asset intangibili e valore economico, spostando l’attenzione su una pluralità di fattori, quando invece di norma il focus era tutto sui risultati economico-finanziari. Questi ulti­mi, nella prospettiva della BSC, sono invece lagging indicators, ossia “indicatori che seguono” in ritardo altri indicatori, mostrando un risultato che non viene determinato sul piano economico, ma che deriva da come l’azienda si rapporta ai clienti, da come vengono svolti alcuni processi chiave, da come si apprende e si innova.

La BSC va a monitorare il dispiegarsi della strategia lungo queste differenti prospettive:

• la prospettiva economico-finanziaria, ossia i risultati che l’organizzazione consegue sul piano economi­co finanziario, i «tangible outcomes of the strategy in traditional financial terms»;
• la prospettiva del cliente, ossia la capacità dell’azien­da di soddisfare la propria clientela in modo compe­titivo rispetto agli altri concorrenti;
• la prospettiva interna dei processi, ossia ciò in cui l’organizzazione deve eccellere per raggiungere la soddisfazione dei clienti e quindi un vantaggio eco­nomico;
• la prospettiva dell’apprendimento e della crescita, os­sia le strutture tecnologiche e organizzative che ser­vono per realizzare i più importanti processi aziendali.

Realizzare una scheda di valutazione bilanciata con­sente di “visualizzare” queste prospettive, ma l’esito da ottenere è un altro: la BSC è la traduzione della strategia in obiettivi, il punto di raccordo. La scheda bilanciata non può esistere se manca una strategia.

Mentre la mission e i valori che la accompagnano sono relativamente stabili, l’evoluzione dell’azienda, ciò che si vorrà diventi, è invece espressa nella vision, che col­lega la staticità della missione e dei core values al di­namismo della strategia. La vision esprime gli obiettivi di medio-lungo periodo cui la strategia deve condurre. Una volta definita una mappa strategica, la balanced scorecard “traduce” la strategia in obiettivi da attuarsi ai vari livelli dell’organizzazione, rendendo evidente la strategia aziendale stessa, stimolando l’apprendimen­to organizzativo e consentendo di definire misure in grado di guidare successive decisioni.

La BSC, che negli anni ha trovato moltissime applica­zioni sia nel settore del privato che del pubblico, perde di efficacia e di significato se l’applicazione concreta non tiene conto del rischio di interpretare lo strumento come semplice strumento per individuare performan­ce indicators. Scrive ancora Bubbio:

Iniziamo ora ad analizzare quali indicatori considerare per l’area di nostro interesse, cioè i servizi di reference, articolati sotto i due ambiti fondamentali dell’assisten­za individuale alla ricerca e all’uso dell’informazione (information) e dell’educazione all’informazione (infor­mation literacy education).

Per individuare che cosa le biblioteche misurano nel settore utilizzeremo un metodo indiretto, cioè l’analisi degli indicatori che alcuni standard di rilevanza inter­nazionale per la valutazione dei servizi delle bibliote­che consigliano per questi servizi.

La scelta di utilizzare un proxy piuttosto che indagini dirette è dettata da due motivi:

• l’estrema varietà di indicatori esistenti attestati, come si è avuto modo di riferire, nella letteratura biblioteconomica;
• la difficoltà di avviare un’indagine ampia e internazio­nale basata su un campione significativo;
• la convinzione che se ci fossimo limitati alle biblioteche italiane avremmo avuto un numero di risposte troppo esiguo per poter fare alcuna seria considerazione.

In base a ciò, riteniamo quindi di poterci basare su un metodo indiretto. Pensiamo che gli standard che individueremo siano un buon proxy riguardo le prassi delle biblioteche, sia perché redatti da esperti e pro­fessionisti sulla base delle loro conoscenze delle reali attività delle biblioteche stesse, sia perché a loro vol­ta influenzano le scelte degli operatori di biblioteca su che cosa misurare.

Partiamo con l’analizzare il documento più recente prodotto dall’IFLA in tema di misurazione della quali­tà, cioè il già citato Measuring Quality. Si tratta non di uno standard o di una norma tecnica, ma di un vero e proprio testo manualistico di riferimento sui principali indicatori impiegati in biblioteca, nato da un confronto con i principali modelli e indicatori internazionali, inclu­si ovviamente gli standard ISO.

Sono 40 gli indicatori proposti da IFLA per la bibliote­ca, scelti in base a quattro criteri fondamentali:

Viene precisato subito come la balanced scorecard sia stata riadattata qui, in modo analogo rispetto a quan­to fanno lo standard ISO 11620 e il progetto tedesco BIX, così che le quattro prospettive originarie (users, finances, processes, learning and development) sono diventate:

• risorse, infrastruttura (BSC: prospettiva finanziaria);
• uso (BSC: prospettiva del cliente);
• efficienza (BSC: prospettiva dei processi);
• potenzialità e sviluppo (BSC : prospettiva dell’apprendimento).

Più precisamente le denominazioni delle prospettive, con le lettere di riferimento attribuite nel documento e le relative domande guida, sono le seguenti:

1. Resources, infrastructure: What services does the library offer?
2. Use: How are the services accepted?
3. Efficiency: Are the services offered cost-effectively?
4. Potentials and development: Are there sufficient potentials for future development?

Passiamo ora a considerare gli indicatori relativi ai servizi di reference. Una premessa necessaria è che il testo distingue tra “servizio di reference”, riferendosi sostanzialmente alla risposta a domande dell’utente e all’intervista, e “user training”, riferendosi a tutte le attività di educazione a documentarsi proposte dalla biblioteca.

Tab. 1: Indicatori riferiti ai servizi di reference.

All’interno della dimensione delle “infrastrutture” (A), con riferimento alla presenza di informazioni fonda­mentali sul sito web della biblioteca (A.10), i servizi di reference vengono considerati irrinunciabili, ossia tra i 15 “main topics” che devono essere presenti in home page ci sono i reference service («Reference, e-reference, reference questions, enquiries, ask a librarian, ask us; possible general heading: information servi­ces, help») e le attività di user training («Training, user training, teaching, library tours, research skills training, information skills training, tutorials; possible general heading: help»).

Passando a considerare la dimensione dei “servizi” (B), la raccomandazione è quella di evitare, nel valuta­re la loro penetrazione nella comunità di riferimento, di fondarsi unicamente sul numero di persone che hanno effettuato prestiti, per rendere conto invece di quanto accada per altri servizi, tra cui figurano quelli di no­stro interesse use of help services (reference service) come pure attending user training lessons.

L’altro indicatore in cui sono richiamati i servizi di re­ference è quello relativo alla soddisfazione dell’utente, che va misurata per tutti i servizi, e specificamente per i singoli servizi di reference (B.2.). Reference services e user training sono infatti entrambi indicati come am­biti su cui si deve utilmente indagare la soddisfazione degli utenti, chiedendo sia in merito alla soddisfazione vera e propria che al giudizio di importanza del servi­zio per l’utente. Emerge però una prevalenza della dimensione puramente quantitativa nel determinare la “adeguatezza” della biblioteca nel fornire servizi di re­ference: «[…]The adequacy of the library’s information services is measured against attendances at user trai­ning and reference questions per capita».

Ai corsi di information literacy e di user education offerti dalla biblioteca è dedicato l’indicatore B10 “frequenza per capita alle lezioni di information literacy”, ossia il «numero dei partecipanti alle sessioni di educazione all’informazione, sulla popolazione di riferimento fratto 1.000, durante un anno».

Sono esclusi tutorial e one to one instruction (point of use training), sono invece inclusi i tour della biblioteca; la durata degli eventi non é considerata rilevante quin­di può trattarsi anche di corsi molto brevi.

Rispetto alle attività volte ad accrescere la competenza informativa, in un quadro complessivo di netta povertà di dati attualmente raccolti, si consiglia alle biblioteche di mettersi in grado di mostrare almeno «basic data about input and output of their training activity». Se possibile – si continua – «[le biblioteche] dovrebbero provare a valutare effetti e impatto attraverso indagini della soddisfazione dei partecipanti e interviste, come pure abilità e competenze dei partecipanti prima e dopo l’attività attraverso test».

In ultima analisi, al di là dei consigli, l’unico indicatore fornito è la “Acceptance of library training” presso la popolazione di riferimento, ossia la capacità di rag­giungere con i propri corsi l’utenza di riferimento, pro­posto con la motivazione che la scelta risponde a fini pratici e perché comunque il dato consente azioni di benchmarking. Il volume ammette esplicitamente che sia la qualità che l’impatto del training non sono con­siderati a livello di indicatori.

L’indicatore B11 riguarda la misurazione delle “referen­ce questions per capita”, ossia «il numero totale delle domande di reference ricevute in un anno dai membri della popolazione di riferimento diviso il numero delle persone della popolazione di riferimento». Le doman­de di virtual reference sono contate separatamente.

Sulla “efficienza” (C) va invece valutato il “reference fill rate”, C12, che indica il successo della risposta rispet­to al bisogno espresso nella domanda.

Tra le possibili variabili che influenzano la qualità delle risposte la scelta è qui di incentrare l’attenzione sul pa­rametro dell’accuratezza delle stesse, con la motivazio­ne che si tratta in assoluto del parametro più rilevante, senza nulla togliere all’empatia e alla capacità relazionale, perché una risposta sbagliata o poco precisa danneggia l’utente e la reputazione della biblioteca.

I metodi suggeriti per valutare l’accuratezza sono test su domande fattuali, per argomento e sulla ricerca di documenti, selezionate tra quelle tipicamente poste in un contesto come quello accademico o della bibliote­ca pubblica, e somministrate da utenti fittizi in modo casuale (unobstrusive observation).

L’altro metodo é il monitoraggio dei transcript del refe­rence digitale e la selezione di un campione di essi. Lo standard chiede di rilevare la percentuale di risposte fornite correttamente, escludendo le domande dire­zionali o puramente legate ad aspetti procedurali (de­finite “amministrative”).

Complessivamente possiamo notare come per le at­tività di assistenza personale al lettore che cerca in­formazioni, quello che qui è denominato tout court “reference”, abbiamo sia indicatori relativi ad aspetti quantitativi che qualitativi (numero di consulenze [B11] + qualità della consulenza [C12]), mentre per i corsi di information literacy la misurazione è unicamente di aspetti quantitativi, ossia relativa alla presenza degli utenti a corsi [B10]. È vero che viene considerata la soddisfazione dell’utente in tutti i servizi [B2], quindi potenzialmente anche rispetto ai corsi erogati, ma la valutazione dei corsi di information literacy è comples­sa e strutturata con vari approcci e metodologie che riguardano non solo la soddisfazione, ma anche la valutazione dell’apprendimento conseguito.

Se approfondiamo poi gli indicatori relativi alle rispo­ste alle domande di reference, dobbiamo notare che il giudizio di supposto successo in termini di esattezza è di facile determinazione se si tratta di un recupero puntuale di informazione, ma diventa molto più difficile da valutare nel caso di un’intervista di reference o di una transazione più complessa.

Analizziamo ora il più recente standard relativo alla misurazione della qualità e delle sue metriche nelle biblioteche, ISO 11620:2014, aggiornato rispetto alla precedente edizione del 2008 che già includeva il rife­rimento alla BSC.

La parte introduttiva dello standard al punto 3.3.2 (denominato Balanced scorecard approach) fa notare come la BSC sia impiegata come cornice rispetto agli indicatori, un approccio, quasi un modo di organiz­zare gli indicatori stessi. A questo punto le quattro prospettive della BSC sono rinominate come nel do­cumento precedente.

Rispetto ai servizi di reference ci sono alcuni indicatori di performance specifici che sono di riferimento, diffusi in tutto il documento, e altri non specifici ma correlati, che pure citeremo:

Tab. 2: Indicatori specificamente riferiti ai servizi di reference.

Il primo indicatore di riferimento è B 1.2.5 (speed of reference transactions). Questo indicatore appare molto legato alla realtà del servizio di consulenza di tipo bibliografico e indicale, per il quale la rapidità della risposta è l’unico elemento per differenziare le biblio­teche sulla base di parametri oggettivi.

Si chiarisce anche che l’indicatore può essere applica­to in qualsiasi biblioteca, con l’avvertenza di effettuare confronti tra biblioteche simili per scopi che attuino servizi di reference analoghi. L’indicatore è definito come «il tempo medio complessivo (noto come turn­around time) richiesto per completare le transazioni di reference, misurato in minuti». La misurazione deve avvenire per tramite di campione casuale di transa­zioni avvenute in una settimana tipica, da ripetersi più volte durante l’anno. I dati vanno raccolti tramite unobstrusive testing sheet. Per le transazioni di refe­rence è possibile fare impiego dei log e comunque è suggerito di tenere separate, se le biblioteche lo riten­gono, le transazioni online da quelle in presenza. L’in­dicatore è quindi la frazione tempo impiegato per tutte le transazioni del campione/numero di transazioni del campione.

Utile confrontarsi con le avvertenze sull’uso dell’indi­catore e le opportunità interpretative. Anche se si so­stiene che un numero più basso di quello che emerge dal calcolo è segno di efficienza, si precisa subito che, se le questioni sono complesse, la velocità non garan­tisce l’accuratezza necessaria e quindi la soddisfazio­ne dell’utente. Si consiglia di tenere presente anche la mediana e la distribuzione dei turnaround.

L’area 2, dedicata all’uso e alla soddisfazione dei clienti, offre molti indicatori, ma solo uno fa riferimento diretto al servizio di reference, mentre altri riguardano aspetti generali dell’azione delle biblioteche con molte implicazioni nell’area del reference.

L’indicatore che implica la rilevazione di dati esclusiva­mente relativi ad attività di reference è il B.2.2.5 (num­ber of user attendances at training lessons per capita). Questo indicatore sicuramente va a determinare il valo­re di una variabile rilevante, ma lo fa con tale genericità da non consentire di determinare se eventuali scelte strategiche di sviluppo di specifici tipi di interventi for­mativi abbiano avuto successo. Infatti la riduzione di impegno nell’offerta di lezioni con grande audience, a vantaggio dell’impiego di risorse in corsi molto più impegnativi ma focalizzati a target specifici, potrebbe produrre un peggioramento dell’indicatore anche nel caso l’obiettivo strategico sia pienamente raggiunto. La definizione di “training lessons” fa riferimento a at­tività della biblioteca articolate secondo piani di lezioni dettagliati che abbiano lo scopo di produrre lo svilup­po di specifiche conoscenze relative all’uso della bi­blioteca o di altri servizi e tecnologie informative.

La misurazione di questo indicatore è abbastanza semplice. Infatti si tratta di contare i partecipanti ad attività di addestramento in presenza o online e di sommare i risultati ottenuti alla fine del periodo di riferi­mento. L’indicazione sul significato è, ovviamente, che un numero più alto indica una maggiore capacità di far partecipare utenti alle sessioni di addestramento.

Importanti per l’area del reference risultano poi gli indi­catori elencati sotto la voce B.2.4 (General), dei quali l’ultimo è specifico per il servizio stesso. Questi indi­catori sono:

• B.2.4.1 (Percentage of the Target Population Rea­ched);
• B.2.4.2 (User satisfaction);
• B.2.4.3 (Willingness to Return).

Fondamentale per il servizio di reference è che il primo di essi (B.2.4.1) sia rilevato in modo separato per ogni servizio e attività. Diversamente, l’eventuale disponibi­lità di questo dato e del suo andamento per l’intera bi­blioteca non servirebbe a ottenere indicazioni sul suc­cesso delle azioni intraprese per adeguare il servizio di reference agli obiettivi strategici. Non essendo questo un indicatore specifico per il reference non entriamo nei dettagli di come si rilevano i dati e di come si elaborano e interpretano.

È fondamentale che sia seguita la prescrizione di rac­cogliere dati sulla soddisfazione degli utenti (B.2.4.2) anche a livello dei singoli servizi, se si vogliono produr­re indicatori per un servizio così specifico e basato su una forte interazione con l’utente come il reference. Come per il punto precedente non entriamo nei detta­gli di rilevazione e valutazione.

B.2.4.3 (Willingness to Return) individua la percentuale di utenti del servizio di reference che dichiara di voler­si servire nuovamente dello stesso servizio nel caso di ulteriore insorgenza di un bisogno informativo. La rilevazione riguarda sia le transazioni in persona che quelle online. Dalla rilevazione devono essere escluse le domande di tipo semplice che prevedono risposte direzionali o procedurali. Tra le precisazioni si speci­fica come questo indicatore non sia in grado di dare alcuna informazione su velocità della transazione e/o accuratezza della risposta. La modalità di rilevazione è quella della survey o dell’intervista, sia dopo la tran­sazione in presenza che a distanza. La domanda può assumere la seguente espressione:

L’area 3 (Efficiency) mostra un solo indicatore sicu­ramente rilevante per il reference: B.3.3.2 (Correct answer fill rate). Questa variabile, e il suo andamento nel tempo, è centrale per comprendere la qualità del servizio, del personale che lo svolge e l’impegno che la biblioteca vi dedica.

Naturalmente, come tutti gli indicatori di performan­ce, anche questo non può essere interpretato a pri­ori in base all’andamento, ma solo in confronto con gli obiettivi dell’istituzione. Se l’obiettivo fosse ridurre drasticamente i costi del personale, un calo di questo indicatore non potrebbe sorprendere e sarebbe anzi prevedibile. L’indicatore consiste semplicemente nella percentuale delle risposte esatte sulle risposte totali. Molto più complesso è definire i metodi di rilevazione. Come nel caso precedente, il metodo applicato con maggior frequenza è quello di test non intrusivi, in pre­senza o a distanza. Sono vari i problemi segnalati per questa rilevazione, come pure sono varie le indica­zioni date per superare le limitazioni che la rilevazione presa per sé sola mostra.

Un altro indicatore, il B.3.3.1 (User services staff as a percentage of Total Staff) può dare informazioni im­portanti, ma può essere anche fuorviante nel caso ci siano molti addetti a servizi al pubblico di scarso con­tenuto professionale. In questo caso sarebbe stato più utile suddividere questo indicatore tra personale ad­detto alle transazioni di documenti da quello addetto alle transazioni informative, anche se in molte situazio­ni ciò non è facilmente distinguibile.

L’ultima area, la 4 (Potentials and Development) pre­senta due indicatori rilevanti in modo indiretto ma im­portanti per il servizio di reference, il B.4.2.2 (Number of Attendance Hours at formal Training Lessons per Staff Member) e B.4.2.3 (Percentage per Staff Time Spent in Training). Queste due variabili, pur non es­sendo direttamente in grado di misurare l’efficacia e l’efficienza del servizio di reference, sono molto impor­tanti perché danno indicazioni sulle possibilità di for­nire servizi di reference adeguati anche in futuro, visto che questo settore di attività della biblioteca richiede personale estremamente preparato e aggiornato, sia dal punto di vista dell’uso degli strumenti di ricerca, sia da quello della conoscenza dei documenti e delle banche dati, dell’evoluzione delle loro tipologie e del mondo dell’editoria commerciale e istituzionale.

Anticipando ciò che diremo nella conclusione, possia­mo dire che lo standard ISO 11620:2014 rappresenta indubbiamente un notevole passo in avanti verso un sistema di indicatori di risultato e qualità offerto alle biblioteche. Lo standard risulta potenzialmente mol­to utile per indirizzare le scelte operative delle singole realtà, allontanandosi, almeno nella parte introduttiva, da una impostazione determinata fortemente da esi­genze e visioni proprie della rilevazione statistica a fini descrittivi, comparativi e di evidenziazione degli anda­menti relativi ad aggregati di realtà simili.

La sottolineatura della necessità di utilizzare i valori ri­levati per gli indicatori nel confronto con una strategia che si sostanzia di obiettivi, di programmi e progetti e di risorse allocate rende questo standard potenzial­mente ottimale per chi voglia impostare una gestione basata sulle rilevazioni numeriche.

Molto meno innovativo e quindi potenzialmente utile appare lo standard quando dà indicazioni rispetto ai fenomeni che utilmente si potrebbero rilevare, alle loro specificazioni e ai loro metodi di rilevazione.

Solo considerando, come abbiamo fatto, gli indicatori specifici o rilevanti per il servizio di reference, emerge chiaramente che spesso sono troppo generici, troppo orientati a un modello di biblioteca basato sulla preva­lenza del problema dell’introduzione delle tecnologie digitali, troppo poco articolati per poter essere impie­gati alternativamente nel caso di obiettivi diversi.

Lo standard, pur accogliendo il modello della balan­ced scorecard come inquadramento generale delle at­tività di rilevazione e valutazione dei dati di risultato, lo fa senza dare una chiara indicazione che solo a fronte di una strategia precisa si possono scegliere indica­tori adatti a dare informazioni sulla sua riuscita. Meno ancora vengono forniti esempi su come articolare o modificare gli indicatori per adattarsi ad una pluralità di obiettivi strategici diversi.

Gli enti normativi statunitensi ANSI e NISO pubblica­no lo standard intitolato Information Services and Use: Metrics & Statistics for Libraries and Information Pro­viders – Data Dictionary (ANSI/NISO Z39.7-2013), oggi alla quinta edizione, che offre indicatori pertinenti al servizio di reference sotto due voci:

• 7.3 Information requests (con la sottovoce Virtual Reference Transactions);
• 7.8 User Orientation and Training (con varie sotto­voci).

Anche se dal titolo della pubblicazione non emerge l’intento specifico della valutazione della qualità, il con­testo è simile a quello degli standard precedenti:

Riguardo le misurazioni consigliate nell’ambito del­le Information requests, viene chiarito che si tratta di misurare le transazioni informative che implichino da parte di chi risponde, il bibliotecario di reference, «co­noscenze, capacità d’uso, di offrire raccomandazioni, di interpretare o istruire riguardo l’utilizzo di una o più fonti informative», della biblioteca o esterne. In que­sto contesto sono compresi i servizi di informazione rapida o di indicazione di specifiche opere, mentre devono essere escluse tutte le transazioni che si ri­feriscano a mere indicazioni su dove trovare e usare luoghi, attrezzature o servizi della biblioteca.

Le fonti a cui si fa riferimento, che devono essere con­siderate pertinenti per poter considerare la transazio­ne all’interno di quelle rilevabili, sono: opere a stampa o non a stampa, banche dati online, cataloghi della biblioteca, altre biblioteche o istituzioni con cui si co­munica o a cui si rimanda l’utente, persone interne o esterne alla biblioteca.

Per il punto subordinato “Virtual Reference Transac­tion”, vanno rivelate tutte le transazioni riguardanti richieste di informazioni, intese come appena sopra descritto, che avvengano tramite e-mail, un sito web, o qualsiasi altro sistema in rete che supporti l’attivi­tà di virtual reference. Ciò che lo standard indica di misurare sono le “Reference Transactions in a Typical Week”, senza indicare alcun metodo preferibile per la rilevazione.

L’altro ambito di pertinenza dei servizi di reference che viene affrontato dallo standard sono le attività di orien­tamento e formazione degli utenti. In questa indicazio­ne si può notare una certa arretratezza nelle modalità di designazione di queste attività, che oggi sono larga­mente designate con la dizione di “information literacy education”.

Anche la definizione appare particolarmente datata perché fa riferimento alle azioni svolte dai bibliotecari per l’orientamento nell’uso delle collezioni, dei servizi, delle attrezzature messe a disposizione, delle fonti in­formative, senza alcun riferimento ad attività formative più complesse e impegnative. I valori da rilevare sono le ore impegnate dai bibliotecari in queste attività e le ore complessive di partecipazione da parte degli utenti alle attività formative offerte, siano svolte in presenza o a distanza.

Indubbiamente lo standard in questione non appare particolarmente sofisticato riguardo le misurazioni che prevede per un servizio tanto complesso come il refe­rence. Nessun riferimento specifico viene fatto riguar­do il successo delle transazioni, la soddisfazione degli utenti, la valutazione delle metodologie didattiche nelle attività formative.