Fo-anslag efter prestation
– LiU-forskare bakom beräkningsmodellen

Visst går det att jämföra vetenskapliga äpplen med dito päron. Det är just vad LiU-forskaren Ulf Sandström gjort.
Från 2009 ska statliga forskningsmedel delvis fördelas efter prestation, genom värdering av vetenskaplig publicering och citeringar utifrån en beräkningsmodell som Ulf och Erik Sandström, KTH, tagit fram.

Redan till Resursutredningens betänkande förra våren hade de bägge (jo, de är far och son som jobbar ihop) presenterat en modell för värdering; sedan dess har de jobbat vidare på modellen i en rapport utgiven av Högskoleverket.

Lärosäten med helt olika inriktningar, forskningsfält med olika publicerings- och citeringstraditioner, forskare som publicerar sig tillsammans med andra, vetenskapsområden som bevakas av en mängd tidskrifter med andra har ett fåtal … Hur sjutton har ni kunnat få till en rättvis bedömning av detta?

– Det har förvånansvärt gått bra. Vi hade tur och kom rätt redan från början, säger Ulf Sandström.
För att skapa en modell för svenska förhållanden utgick de från en som var framtagen inom matematisk statistik. Beräkningsmodellen visade sig ge en rättvis bild av respektive lärosätes samlade vetenskapliga prestationer.

– Det fungerar delvis också ned på fakultetsnivå. Men modellen är inte tänkt att värdera enskilda forskare, det kan slå fel, påpekar Ulf Sandström.

Enklast hade väl varit om det kunnat räcka med att helt sonika summera antalet publiceringar och citeringar. Men det säger inte mycket om den vetenskapliga prestationen.
Det är här äpplena och päronen kommer in i bilden.

– Inom framför allt naturvetenskapen bygger forskarna av tradition vidare på tidigare rön, därmed citerar de varandra flitigt. De har bra överblick över sina ämnen och det råder en samstämmighet i bedömningen av resultaten. Inom till exempel kemi är det vanligt att en forskare skriver 5-10 artiklar per år och det är inga större svårigheter att få dem publicerade, säger Ulf Sandström.

Detta ska jämföras med humaniora, där forskare för det första kan stå ganska ensamma på sin forskningsfront och för det andra får leva med ibland rent slumpmässiga möjligheter att få artiklar antagna.

– För att det ska bli rättvist måste man alltså ta reda på vad som är normal publicering inom respektive fält, man måste göra en fältnormalisering, förklarar Ulf Sandström.

Utifrån den vetenskapliga databasen Thomson/ISI och med stöd av amerikanska klusteralgoritmer utgår den sandströmska modellen från en indelning i 34 områden, innehållande minst 1000 artiklar vardera. Tillräckligt stora för att fungera statistiskt tillförlitligt. För att täcka upp forskningsfältens varierande publiceringstäthet har de använt på ett tidspann på fyra år.

– Därmed har vi kunnat räkna ut en årlig genomsnittsproduktion för forskare inom olika områden.
För att kunna identifiera skribenterna – många har samma namn – fick Ulf Sandström göra ett rejält hästjobb på egen hand. Två månader tog det att bygga upp en kompletterande databas där han identifierat 54 000 nordiska författare.

Många forskare publicerar sig ihop med kollegor på det egna universitetet eller på andra lärosäten. Hur ska man då kunna koppla forskningsprestationerna rätt?

– Genom första och sistanamnet i författarlistan. Då får man oftast med den forskare som gjort det mesta av jobbet samt den handledaren/professorn. Konsekvent genomfört fungerar det bra för att särskilja prestationerna på universitetsnivån, och det är den som gäller för anslagsfördelningarna, säger Ulf Sandström. Metoden kan byggas ut till att omfatta alla författare.

Utsträckningen en forskare citeras av andra brukar ses som ett bra mått på kvalitet. Databasen Web of Science som består av artiklar med referenslistor ger ett underlag för värdering, men det finns fallgropar. Tryckfel, stavfel och skrivfel, utelämnad information och missuppfattade artikeldata – sådant måste kompenseras i beräkningsmodellen. För att få med en rimlig mängd citeringar gäller ett tvåårsintervall från publiceringen.

– Det har ändå varit enklare med citeringarna, här har vi kunnat köra med standardmetoder, säger Ulf Sandström och berättar i förbifarten att svenska forskare citeras i högre grad än världsgenomsnittet, 29 procent.

Självciteringar sållas bort. Och bygger artikeln på forskarsamarbeten görs en fraktionalisering:

– Är till exempel två universitet inblandade tilldelas de halva artikeln vardera. När citeringsgraden beräknas viktas universitetens artiklar efter dess fraktion, säger Ulf Sandström.

Ju färre samarbetspartners, desto högre vikt. En strategi med långa listor på samförfattare motas därmed. Inte heller att skriva många artiklar som sällan citeras:

– Så kallad salamipublicering får ingen effekt, säger Ulf Sandström.

Däremot premieras antalet citeringar en artikel ger upphov till. Att vara flitigt citerad – är det alltid en kvalitetsstämpel?

– Nej, det kan vara svårt att särskilja slentrianmässiga citeringar från forskning som citeras för att den har verklig impact.

– Detta är ändå problem på marginalen. Här gäller det lika för alla – det vi mäter ska användas för att värdera universitetens respektive prestation och då jämnar sådant ut sig, säger Ulf Sandström.

Text: Gunilla Pravitz

Foto: Ulf Sandström

Fotnot: Ulf Sandström är knuten till Institutionen för samhällsutveckling och kultur, ISAK. Han bloggar också om forskningspolitiska frågor.

Till Ulf Sandströms blogg