Statistikkens rammer
Kursmateriell for Bruk statistikken! Tord Høivik
Høgskolen i Oslo, 2009
Innledning
Statistikk er
kunnskapsproduksjon.
Utvikling og drift av statistiske systemer forutsetter både god teori (solid
begrepsarbeid) og gode metoder for
operasjonalisering, datainnsamling, databearbeiding,
tolking og
formidling. Produksjon og kvalitetssikring av statistikk som skal brukes til beslutninger, krever penger, tid og omtanke. Kall det gjerne et håndverk.
Hovedtrinnene i et empirisk prosjekt kan settes opp slik:
- Utarbeide sentrale problemstillinger: klargjøre problemfeltet,
utvikle begreper, definere målgrupper for resultatet av prosjektet
- Velge hovedstrategi for innhenting av data: survey, foreliggende data, observasjon, eksperiment, kvalitative data, …
- Utvikle konkrete metoder og instrumenter for datainnsamling: spørreskjema, logganalyse, indikatorer, intervjuguide, …
- Gjennomføre innhenting av data
- Bearbeide data: kode, standardisere, tabellere
- Tolke data - slik at de belyser problemstillingene
- Formidle resultatene skriftlig og muntlig
I dagliglivet og dagspressen blir statistikk ofte undervurdert. -
There are white lies, black lies, and statistics, heter det jo.
- Du kan bevise alt med statistikk.
Erfarne økonomer, bedriftsledere og forskere tenker sjelden slik. For
dem er statistikk et nødvendig verktøy. Uten statistikk blir svært
mange spørsmål stående åpne. Det kan være mange ulike meninger om en
sak. Men det er liten grunn til å diskutere meninger uten målinger - dersom diskusjonen faktisk kan avgjøres ved å måle.
1. Statistikkutvikling
Statistikken har lange tradisjoner. Den eldste offentlige bibliotekstatikken går tilbake til årene rundt 1920. Bredere og mer omfattende datainnsamling startet i 1970-årene. Dagens statistikk fikk i hovedsak sin nåværende utforming rundt 1990. Etter datidens mål var dette et moderne og godt gjennomarbeidet system. I dag er imidlertid svakhetene åpenbare. Det skyldes i hvert fall tre faktorer:
-
For det første skifter bibliotekenes virksomhet karakter. Den etablerte statistikken legger hovedvekten på bibliotekenes samlinger og utlån. I dag begynner tjenester på stedet og tjenester som leveres over nettet å konkurrere med utlånet av fysiske medier.
-
For det andre blir statistikken, i langt høyere grad enn tidligere, nå benyttet i styringsøyemed. Den tradisjonelle offentlige styringen gjennom et fast regelverk erstattes av resultatstyring. Budsjett og belønning knyttes til de resultatene som oppnås. Organisasjonene får større handlefrihet, men også større ansvar. Og når resultatene skal måles, er offentlige virksomheter avhengige av sine statistiske data. De har jo ingen aksjekurs de kan vise til. KOSTRA-systemet har blitt viktig for folkebibliotekene. Database for statistikk om høyere utdanning (DBH) vil få betydning for universitets- og høgskolebibliotekene (studiebibliotekene). En statlig parallell til KOSTRA - StatRes - er under oppbygging.
-
For det tredje innebærer digitaliseringen av bibliotekets verktøy, at vi, med nokså enkle grep, kan få adgang til langt mer detaljert og oppdatert informasjon enn tidligere. Katalogsystemene kan levere mye mer enn aggregerte utlånsdata - slik Kikkhullet til Bibliofil viser. Vi kan i prinsippet følge det digitale referansearbeidet - gjennom Biblioteksvar og andre systemer - fra time til time. Når bibliotekene formidler adgang til, eller selv produserer, nettbaserte informasjonsressurser, kan den faktiske bruken av ressursene kartlegges ved å logge virtuelle besøk og nedlastinger.
De statistiske systemene er først og fremst
hjelpemidler for praksisfeltet. De institusjonene som utvikler, samler inn og publiserer statistikken (SSB, ABMU), er - i denne sammenhengen - tjenesteytere og serviceorganer for praktikerne. Derfor hjelper det ikke å lage veldreide statistiske systemer hvis de ikke tas i aktiv bruk. Brukerne må se seg tjent med de nye systemene. Det vil ofte kreve opplæring og markedsføring. Det betyr at statistikkutvikling er en form for entreprenørvirksomhet eller sosial innovasjon.
Samspillet mellom de som samler inn og bearbeider, og de som leverer og bruker, statistikk er komplisert.
Statistikkmarkedet, hvis vi kan kalle det det, styres bare delvis av forvaltningsorganene. Det å levere kvalitetssikrede data fra grunnplanet tar mye tid. I forbindelse med KOSTRA har Kommunenes sentralforbund lagt vesentlig vekt på at rapporteringsbyrden fra kommunene til staten ikke skal bli for stor. Dette spørsmålet er så viktig at det nylig er opprettet et offentlig register for å måle denne arbeidsbyrden.
Bibliotekstatistikkens svakheter skyldes først og fremst manglende bruk av tallene som samles inn. I det lange løp er det
brukerne - ikke leverandørene og styringsorganene - som bestemmer
statistikkens kvalitet. Det er brukernes krav til statistikkprodusentene som gir leverandørene de nødvendige impulser til å fortsette utviklingsarbeidet. Hvis brukerne "står på krava" - blir statistikken bedre. Hvis de unnlater å kreve, står den ofte stille.
2. Smal og bred statistikk
Bibliotekstatistikk i snever eller tradisjonell forstand består av de opplysningene norske bibliotek en gang i året rapporterer inn til ABM-utvikling. Direktoratet bruker dette materialet som grunnlag for en omfattende serie tabeller - i trykt og digital form. Tabellene formidles hovedsaklig gjennom
ABM-utviklings statistiske årbok, i trykt og digital utgave. I årboka - som også omfatter museer og arkiver - presenteres folkebibliotek, fylkesbibliotek, skolebibliotek og fagbibliotek hver for seg.
Den tradisjonelle statistikkproduksjonen viderefører statistikksystemene til Statens bibliotektilsyn og Riksbibliotektjenesten. Deler av materialet blir sendt videre til Statistisk sentralbyrå, som benytter det i sin egen, mer begrensede, publisering. Tallene fra ABM brukes også i den delen av KOSTRA som handler om folkebibliotek, og i den generelle Statistikkbanken, der brukerne selv kan velge ut hvilke variable og enheter de ønsker å se nærmere på.
Bibliotekstatistikk i bred eller nyere forstand består (vil jeg si) av
all detaljert og systematisk kvantitativ informasjon som er tilgjengelig om bibliotekfeltet. Etterspørselen etter slik informasjon er raskt økende. I artikkelen "Den hybride biblioteksstatistik - fra bagudskuende opgørelse til ressourceudløsende redskab" sier Aase Lindahl:
- Det er af væsentlig strategisk betydning, at de rette, ikke blot de rigtige, data er til rådighed for beslutningstagerne, så omfanget av bibliotekernes mangfoldige virksomhed kan dokumenteres, ligesom de kvalitative aspekter skal kunne godtgøres.
Den brede statistikken omfatter, i tillegg til den tradisjonelle, i hvert fall også:
-
periodisk statistikk fra nasjonale spørreundersøkelser utført av SSB (se Kulturstatistikk fra SSB)
-
periodisk statistikk fra nasjonale spørreundersøkelser ("tilfredshet med kommunale tjenester")
utført av NGI ("Gallup")
-
statistiske rapporter fra systemleverandører, f.eks bruksstatistikk fra BIBSYS og Bibliofils lister over de mest utlånte bøker
-
statistikk fra større utredninger og forskningsprosjekter, som Buskovens Undersøkelse om bibliotekbruk (2006) og det brede prosjektet PLACE, om folkebiblioteket som møteplass.
-
statistikk fra lokale brukerundersøkelser og prosjekter, som studiet av det nye kombinasjonsbiblioteket i Farsund og trafikktellingene i Lillehammer og Drammen
3. Systemutvikling
Når en organisasjon eller en virksomhet skal opprette et nytt datasystem, må den først avgrense og strukturere det konkrete området som skal fanges inn av systemet. Det å kartlegge en bit av virkeligheten, for å avbilde den i en database, kalles ofte
datamodellering eller
semantisk modellering. Vi må definere objekter, egenskaper og relasjoner som skal tas med i systemet. Datamodellering innebærer alltid forenklinger, valg og kompromisser. Den ruglete virkeligheten må glattes ut for å få plass i datasystemet.
Dagens bibliotekstatistikk ble utviklet lenge før denne tankegangen slo igjennom i bibliotekmiljøene. Men det betyr bare at dagens system bygger på en implisitt datamodellering. Når systemet nå skal oppdateres, er det rimelig å bygge på vår nye forståelse av forholdet mellom virkelighet og datamodell. Tenk konstruktivistisk og ta begrepsarbeidet på alvor.
Elementene i den sosiale virkelighet er ikke enkle og greie objekter med selvsagte grenser og egenskaper. De skapes, vedlikeholdes og utvikles gjennom konvensjoner. Alle definisjoner er midlertidige. Vi kartlegger ikke landskap, men språkbruk og praksisfelt.
Datamodellering kombinerer beskrivelse og nyskapende virksomhet. Når vi velger én kartprojeksjon framfor en annen - som
Peters-projeksjonen framfor
Mercator - foretar vi også et politisk valg (Ulla Winter, 2005)
Også internasjonalt er det sterke ønsker om systemutvikling. Og da tenker jeg ikke bare på de tekniske systemene for registrering, bearbeiding og publisering av data, men også det som må til for å utnytte ny og kraftfull teknologi: kompetanseutvikling hos personene og organisasjonsutvikling hos de kollektive aktørene som skal bruke statistikken.
I forkant av Geneverunden til WSIS (World Summit on the Information Society) engasjerte IFLAs statistikk-komite Teresa Hackett til å se på dagens bibliotekstatistikk. Hennes rapport, som særlig bygget på materiale fra UNESCO og fra det store, europeiske Libecon-prosjektet, revealed the incompleteness and weakness – and the diminishing relevance – of the existing figures available to us.
Unesco-statistikken bygger på retningslinjer som går helt tilbake til 1970.
- The data which is gathered emphasise collections, buildings and simple usage figures.
- No recommendations are made about the use of these measures in the compilation of derived statistics and indicators. ...
- The pervasiveness of electronic sources of information has reduced the ability of the traditional statistics to reflect the provision of information to the world’s citizens.
- The traditional statistics are not best suited to demonstrating impact and outcome.
Vi ser at summen av muligheter, nasjonalt og internasjonalt, er stor. Det skorter ikke på data - og heller ikke på instanser og interessenter. Det er fragmenteringen - mangelen på samordning, felles utvikling, spredning og syntese - som i dag er den største hindringen for å utnytte dette brede faktagrunnlaget.
4. Brukere og bruksmåter
Systematisk kvantitativ informasjon om bibliotek blir i dag samlet inn og brukt i en rekke ulike sammenhenger:
-
Bibliotekledere og ansatte på det enkelte bibliotek trenger data for å lage planer og vurdere resultater. I tillegg til den faste statistikken, kan de skaffe seg innsikt ved egne, enkle undersøkelser - som fortrinnsvis bør gjentas flere år på rad.
-
Kommunene, utdanningsinstitusjonene og andre virksomheter - i offentlig og privat sektor - bruker lokal bibliotekstatistikk, lokale brukerundersøkelser og andre kvantitative data i forbindelse med budsjettarbeid og strategisk planlegging
-
Flere fylkesbibliotek (se fylkesbiblioteksjefkollegiets nettsted) lager statistiske oversikter på fylkesnivå - og kan gi folke- og skolebibliotekene faglig støtte i forbindelse med datainnsamling. Mange lokale og regionale bibliotekprosjekter genererer nyttig kvantitativ informasjon - som bør formidles aktivt til hele det norske bibliotekmiljøet.
-
Fylkeskommunene trenger informasjon i forbindelse med sitt ansvar for fylkesbibliotekene og for bibliotekene i de videregående skolene.
-
I Norge er ABM-utvikling hovedorganet for innsamling og faglig utvikling av bibliotekstatistikk på nasjonalt nivå. ABM-utvikling foretar også enkelte spørreundersøkelser rettet mot brukerne.
-
Statistisk sentralbyrå er hovedorganet for innsamling og faglig utvikling av kultur-, utdannings- og mediestatistikk på nasjonalt nivå. Mye av ABM-statistikken blir også overført til Byrået, som bruker tallene i sine statistiske publikasjoner på papir og på nett. SSB foretar med jevne mellomrom spørreundersøkelser som er svært relevante for bibliotek. Se nettsiden Bibliotek, museer, arkiver og annen kulturformidling.
-
SSB har også teknisk og faglig ansvar for databasen KOSTRA, som er utviklet for å gi kommuner og fylkeskommuner bedre styringsinformasjon. KOSTRA (startside) omfatter alle typer kommunale tjenester. Data om folkebibliotekene inngår i kulturdelen av KOSTRA.
-
Bibliotekere og -forskere bruker bibliotekstatistikk og annen relevant statistikk i undervisning og forskning.
-
Forskerne - og enkelte studenter - bidrar også med statistiske data fra egne prosjekter. Datainnsamling er dyrt, og det kan være mye å vinne ved bevisst gjenbruk av foreliggende forskningsdata. Gode systemer for lagring, dokumentasjon og formidling av prosjektdata er derfor viktig. I denne sammenhengen spiller Norsk samfunnsvitenskapelig datatjeneste (NSD) en sentral rolle.
ABM-utvikling, som har hovedansvaret for den norske statistikken, har løpende kontakt med de internasjonale organisasjonene som publiserer og lager retningslinjer for bibliotekstatistikk. Det dreier seg først og fremst om Unesco, IFLA og ISO (International Standards Organization).
-
De nordiske land utgir en Nordisk statistisk årsbok, som også omfatter noe bibliotekstatistikk. De som jobber med å utvikle den norske bibliotekstatistikken, kan forøvrig lære mye av Sverige, Finland og Danmark. De samme problemstillingene - er indikatorene relevante? - dukker opp overalt. De nyeste danske tallene finnes på Biblioteksstyrelsens nettsted.
-
I Europa drives det viktig utviklingsarbeid rundt bibliotekstatistikk i Tyskland (se Alt om BIX), Nederland og Storbritannia (i hvert fall).
-
Også EU har vært interessert i dette. EU finansierte prosjektet LibEcon (nettsted, avsluttet), som sammenstilte bibliotekdata fra mange land i Europa - med en økonomisk vinkling.
-
Internasjonalt driver den verdensomspennende bibliotekorganisasjonen IFLA og den viktige International standards organization (ISO) systematisk utviklingsarbeid. Personer fra ABM-utvikling deltar i de bibliotekstatistiske arbeidsgruppene i ISO og har tidligere vært med i IFLA-komiteen for statistikk og styringsindikatorer. Norsk IFLA-representant 2007-2011 er Tord Høivik fra HiO.
-
UNESCO har et eget statistisk institutt og publiserer bibliotekstatistikk på nettet.
5. Hva kan måles?
Bibliotekene bidrar til å realisere viktige samfunnsverdier: lett adgang til kultur og kunnskap, læring og opplevelser, underholdning og informasjon. I de aller fleste land har publikum gratis adgang til bibliotektjenester.
Samfunnet har tatt den høye sosiale verdien av tjenestene for gitt - og valgt å dekke de høye økonomiske kostnadene over de offentlige budsjettene. I de siste ti-femten årene har det imidlertid blitt mer vanlig å be om begrunnelser for ting vi hittil har tatt for gitt. Det betyr å utvikle en mer
kunnskapsbasert bibliotekpraksis (evidence-based librarianship).
Er det mulig å måle
virkningen av bibliotekenes tjenester? Kan vi si noe kvantitativt om hva samfunnet - eller moderinstitusjonen - får igjen for innsatsen?
Kravet om empirisk funderte begrunnelser stilles både til folke-, fag- og skolebibliotek. De
metodiske problemene er størst for folkebibliotekene, siden de ivaretar
mange ulike oppgaver overfor mange ulike demografiske grupper: barn, ungdom, studenter, funksjonshemmede, foreldre, kvinner, eldre, minoriteter, osv.
Det er lettere å undersøke skolebibliotekenes bidrag til læring, studiebibliotekenes bidrag til eksamensresultater og spesialbibliotekenes bidrag til tjenesteproduksjon og verdiskaping. På den andre siden er studie- og spesialbibliotekene - på grunn av sin smalere fokus - sterkere eksponert for tekniske og organisatoriske endringer. Overgangen fra industri- til kunnskapssamfunn slår raskere inn i fagbibliotekene - nettopp fordi disse bibliotekene har en snevrere og mer instrumentell profil.
Når vi undersøker betydningen av en informasjonstjeneste, må vi se på hensikten med tjenesten - og ikke bare på informasjonens innhold eller omfang. Hva er bibliotekenes overordnede målsettinger? Hva er det som skal realiseres i brukernes verden?
Da må vi skille mellom de umiddelbare leveransene (outputs), de kortsiktige resultatene (outcomes) og de langsiktige konsekvensene (impacts).
I økonomens språk kan vi si at bibliotekets produkter oppstår ved bearbeiding av ressurser (medier, årsverk, budsjettmidler, bygninger) gjennom faglig forankrede prosesser (samlingsutvikling, kat & klass, utlånsvirksomhet, veiledning, osv.). Leveransene består av de tjenestene brukerne mottar der og da.
Outputs are the direct service product of combining inputs and processes. They provide a measure of efficiency and have traditionally been measured quantitatively (for example: number of services provided and number of people provided for, number of books issued, number of reference enquiries answered, time taken to process raw materials).
Bibliotekets resultater er det som i første omgang skjer når brukeren forholder seg til leveransene. Et lån er et lån er et lån - hvis det da ikke er en fornyelse. Men resultatet av lånet kan være så mangt: en opplevelse for livet, noen nyttige fakta, et par hyggelige timer på sofaen - eller en skikkelig nedtur. Svaret på referansespørsmålet kan være en åpenbaring eller en blindgate. Brukernes opplevelser av bibliotekenes nettsider spenner fra det sublime til det infernalske.
Outcomes are the positive or negative engagement with planned outputs by an intended or unintended user. Outcomes can be short or medium term (for example: book read, interaction with a Web site, answer to enquiry received).
Bibliotekets konsekvenser er den langsiktige virkningen av de tilbud og tjenester bibliotekene leverer. Bidrar biblioteket til endringer hos individer og grupper? Opplever brukerne seg selv og verden på andre måter enn før (state)? Uttrykker de nye holdninger (attitudes)? Forandrer de sin atferd (behaviour)?
Impact is the overall effect of outcomes and conditioning factors resulting in a change in the state, attitude or behaviour of an individual or group after engagement with the output, and is most easily expressed as “Did it make a diffference?”.
Konsekvensene oppstår i samspillet mellom samfunnets strukturer og de mer kortsiktige resultatene. Typiske eksempler er folkebibliotekets betydning for demokratiet - og fagbibliotekets betydning for forskningen. Vi regner med at sammenhengene er til stede - men kan vi også påvise dem empirisk?
Det er åpenbart lettest å måle inputs, altså de konkrete ressursene vi legger inn i bibliotekene: penger, årsverk, nyinnkjøp, utstyr og bygninger. Alt som måles i penger, kan hentes ut av de vanlige regnskapssystemene. Anskaffelser av bøker og andre medier fanges opp av katalogsystemene. Også samlingene, som jo er kumulerte ressurser, kan regnes som en input-variabel. Det som kan skape problemer underveis, er ulikheter mellom systemene (eller innleggingsprosedyrene) i ulike kommuner (eller moderinstitusjoner).
Kommunenes varierende praksis med hensyn til postering av husleie (og andre infrastrukturutgifter) er et godt eksempel. Løsningen er standardisering på tvers av kommuner, institusjoner og systemleverandører.
Det samfunnet legger, eller burde legge, mest vekt på, er imidlertid ikke "hva det koster", men "hva det smaker". Hva får vi befolkningen og den norske stat offentlighet igjen for satsingen på bibliotek?
Her er det dessverre slik at det er lettest å måle de umiddelbare produktene, atskillig vanskeligere å måle hva de innebærer for brukerne (resultatene) og svært krevende å måle de sosiale eller kollektive konsekvenser av vår satsing. En bred studie av britiske folkebibliotek (Johnson, 2004) antyder at de bidrar positivt med hensyn til
-
personlig utvikling (personal development)
-
sosial integrasjon (social cohesion)
-
sosial mobilisering (community empowerment)
-
lokal kultur og identitet (local culture and identity)
-
helse og livskvalitet (health and well-being)
Men datagrunnlaget var ofte tynt. Forskningslitteraturen inkluderte empiri av typen prosjektvignetter, korte sitater (anekdoter) og kortfattede beskrivelser av kontakt og samarbeid med bestemte grupper i lokalsamfunnet. Både prosjektene og metodeneUndersøkelser ble startet opp ad hoc, med ulike tilnærmingsmåter, og sjelden systematisert og videreført. De fullførte prosjektene ble bare liggende som spredte steinblokker i det faglige landskapet.
Den britiske beskrivelsen av et fragmentert prosjektlandskap
kan også passe på Norge. Det som foregår av utrednings- og
forskningsprosjekter, mangler ofte en felles ramme. Det gjelder både
begreper, metodikk, datatilfang, formidling og strategiske retningslinjer.
Ressurser
- Buskoven, Nina Kristin (2006). Undersøkelse om bibliotekbruk. Rapporter 2006/14, Statistisk sentralbyrå.
- Johnson, Ian M.; Dorothy A. Williams, Caroline Wavell, Graeme Baxter
(2004). Impact evaluation, professional practice, and policy making , New Library World, Jan, nr. 1/2, s. 33-46. - Er også trykt i EUCLID/ALISE. Coping with continual change - change management in SLIS, Emerald: Badford, 2005, s. 79-90.
- Winter, Ulla (2005). The strategic dimensions of performance measurement.
Oslo 13. april 2009
Tord Høivik