rapport från utvärderingssverige

Du sliter ditt hår med den förbannade självvärderingen, du Adobe Connectar med några höga höns i Stockholm, du får frågor om din progression och genomströmning, bjuder på tårta i personalrummet och gör high five med kollegor efter att din institution fått omdömet mycket hög kvalitet, känner hur något brister inom dig när bedömningen istället blir bristande kvalitet; då svär du över utvärderingssverige och googlar ENQA för att få svart på vitt att även utvärderarna utvärderats och blivit ifrågasatta.
   Eller så befinner du dig på den andra sidan och är själv en av bedömarna. Du känner dig plötsligt så vuxen, du får sitta i möten med riktiga vuxna som kan sitt ämne, som kan något så vackert som Litteratur, du sitter i rum som heter PostDoc och Magistern och på lunchen äter du libanesiskt och diskuterar 1700-skalder och den lidnerska knäppen eller resultatet av Bologna och den senaste litteraturutredningen, och sedan är det nya powerpoints och allt är mycket välstrukturerat och det byråkratiska språket är nästan lika precist som någonsins en filosofs ur den analytiska skolan. Du gillar’t!
   Du förstår att du på sätt och vis är systemets fånge som alla andra därinne. Du förstår att utvärderingar och kvalitetssäkringar inte alls är okontroversiella saker, du förstår att du inte bör låta dig eggas upp av röda och gula och gröna fält och börja räkna och jämföra. Ändå är det så du måste göra, och ni i bedömargruppen för litteraturvetenskap kan stöta och blöta hur mycket ni vill, men i slutändan måste ni ändå sätta ribban någonstans. Det måste skrivas ett yttrande och texten tillåts vara lite längre och fylligare än vid de första vändorna kring 2011, men i slutändan är det ändå bara två, tre ord som verkligen kommer läsas: mycket hög kvalitet, hög kvalitet eller bristande kvalitet. En utbildning som får mycket hög kvalitet får resurser, ståålar, och en utbildning som får bristande kvalitet riskerar indraget examenstillstånd. Systemet är, som det heter, skarpt. Och även om det finns andra än Universitetskanslersämbetet (tidigare Högskoleverket) som ägnar sig åt utvärderingar är det UK-ämbetet som innehar våldsmonopolet.

 

Från upptaktsmötet i mars 2012

På ett plan kan det tyckas självklart. Studenter har rätt till en bra utbildning och för att ta reda på om utbildningarna håller tillräcklig kvalitet kan man tänka sig att de självständiga arbetena på kandidat-, magister- och masternivå skulle vara ett bra mått på det. Det är ofta i slutet av utbildningarna dessa skrivs och det är då rimligt att de kan bli en slags sammanfattning av vad man lärt sig; här visar man att man kan tillämpa den inhämtade kunskapen och förhålla sig kritisk till den (i och för sig mindre sant på yrkesutbildningar där praktiken snarare än uppsatsen är höjdpunken). I uppsatserna bör också examensmålen, de som ska utvärderas, realiseras. Om uppsatserna en gång godkänts av lärosätena bör de också hålla för ytterligare en prövning, men märk väl, inte en överprövning, då det är de olika målen som kontrolleras och inte de enskilda uppsatserna. Det är då egendomligt och misskrediterande om det visar sig att ett lärosäte släppt igenom uppsatser som på ett eller flera mål inte uppnår hög kvalitet; i så fall är det väl helt rimligt att säga att utbildningen inte är kvalitetssäkrad. Ja, på ett plan är det självklart.

   På ett annat plan är det inte det. Det är också UK-ämbetet, som på uppdrag av regeringen genomför utvärderingarna, väl medvetna om. Det är inte uppsatserna som utvärderas, sägs det; de utgör bara (ett av) underlag(en) för bedömningen. Vid sidan av uppsatserna ska också lärosätenas självvärderingar vägas in, liksom det som framkommer vid platsbesök (som i de senare omgångarna blivit platsbesök via Adobe Connect).

Det är svårt att veta vad man ska ta med i självvärderingen.

Ändå är det uppsatserna som i slutändan fäller avgörandet. Självvärderingar och intervjuer kan komplettera och justera bilden när uppsatsunderlaget inte räcker till, men inte mer. För en bedömare är det på samma gång förståeligt som frustrerande. Förståeligt eftersom uppsatserna är det som kommer närmast den hårda faktan, det som möjligtvis går att jämföra och kvantifiera. I författandet av självvärderingarna får lärosätena ganska fria tyglar, vilket man skulle kunna se som en gest till den akademiska friheten. Men riktigt så är det inte, då de icke-mallade självvärderingarna gör att lärosätena måste ägna sig åt en gissningslek (”Vad vill HSV/ UK-ämbetet egentligen veta?”). Även om ingen gissar fel (det finns ju inget rätt) så gissar de olika och det gör det svårt, snart sagt omöjligt, att som bedömare veta vad man ska ta sikte på. På så sätt devalveras självvärderingarnas värde. De ger visserligen underlag för intervjuerna, men även där finns inbyggda svårigheter.

   Medan det vid de Adobe-möten jag deltog i alltid fanns företrädare för lärosätena att intervjua, var det mer slumpmässigt om det fanns studenter. Ibland kom det inga alls, ibland en och ibland flera. Om företrädare för lärosätena av naturliga skäl inte hade något intresse av att vara självkritiska kunde studenterna vara kritiska till utbildningen. Därför upplevde jag det som att vi fick en klarare bild av lärosätena när studentintervjuerna blev av, och intrycket förstärktes om det var mer än en student med. Samtidigt var det ibland svårt att veta vad man skulle göra med studentintervjuerna, eftersom vi bara hade detta underlag vid bedömningen av vissa lärosäten.

   Skevheten är delvis en följd av de svårigheter det innebär för kårerna att rekrytera studenter. Informationen om intervjuerna kommer ut till lärosätena med relativt kort varsel och särskilt vid undervisningsintensiva utbildningar (naturvetenskap, teknologi) kan det vara svårt för studenterna att få luckor i schemat. Det kan också upplevas som oklart varför man som student ska vilja bli intervjuad. Trots att anonymiteten ska vara strikt, kan det kännas obehagligt att, om det är det man vill, framföra kritiska synpunkter i ett läge där man vet att man är skulle kunna vara medansvarig till ett indraget examenstillstånd. För att citera Anders Malmberg, prorektor vid Uppsala universitet: ”Vi brukar efterfråga de studenter som kan komma med de mest sofistikerade kraven, men utvärderingarna leder till en önskan att få studenter som inte sänker utbildningen.”

   Då jag som studentrepresentant inte fick bedöma självständiga arbeten lade jag desto mer kraft på att läsa självvärderingar och delta i intervjuer. När intervjuerna fungerade kunde de åskådliggöra vad som faktiskt stod i de svårforcerade textsjoken som självvärderingarna var. Men ändå kunde vi inte i någon större utsträckning använda oss av dessa underlag i själva yttrandet. Det var ibland plågsamt, särskilt som man märkte hur stor vikt lärosätena i många fall lade vid intervjuerna. Vid ett tillfälle (vid ett lärosäte som, ska det sägas, klarade sig bra) slogs ljudet av misstag inte av när intervjun var genomförd och lektorerna och docenterna började genast fråga varandra ”tror ni de var nöjda, visst gjorde vi bra ifrån oss?”. Jag kände vilken makt vi i bedömargruppen hade och samtidigt visste jag att det de hade sagt i intervjun inte egentligen spelade så stor roll i slutändan.

   Vad som då var bra, faktiskt en lättnad, var att vi i gruppen efter att yttrandet var färdigskrivet, träffades ytterligare en gång och diskuterade allt det som inte hade låtit sig rymmas i bedömningen: hur litteraturvetenskapen i landet verkar må, vilka tendenser som går att skönja, vad det innebär att så mycket undervisning nu sker på distans... Det vi kom fram till ska sedan resultera i en artikel och/eller en presentation på en ämneskonferens. Sådant har också betydelse, är för att tala byråkratspråk, en av de ”dynamiska effekter” som utvärderingen kan ha.

Hur mår litteraturvetenskapen idag?

Men tillbaka till den hårda faktan, till det tunga underlaget, till uppsatserna. Till det som ändå går att jämföra. Eller – gör det verkligen det? I debatt-skriften Hets – en bok om skolan gör Sven-Eric Liedman upp med hela den utveckling som stavas Bolognaprocess och Public Mangement. Sedan nittiotalet har det svenska utbildningssystemet genomgått en rad omfattande utvärderingar, med kvalitetssäkring som honnörsord. Liedman skriver om att jämföra det ojämförbara, om omöjligheten i att mäta kvalitet. För att synliggöra detta introducerar han begreppet pseudokvantitet som han ställer i relation till en verklig kvantitet. Om jag till exempel säger att jag är 165 cm så är det faktiskt det ultimata sättet att berätta hur lång (eller kort) jag är; det ger en klarare bild av min höjd över markytan än om jag mångordigt skulle förklara att jag sällan har problem att få plats med benen när jag sätter mig i en biofåtölj och att jag någon generation tillbaka skulle ha varit av medellängd. Om jag däremot säger att filmen jag såg igår var en klar trea är det ganska tunt stoft; är det så att jag tyckte att den var liksom jämntjock eller menar jag istället att den hade vissa starka sidor och andra svaga, och vilka var i så fall de starka och svaga sidorna? Betyget tre kan med fördel uttryckas med ord, även om det kräver mer utrymme. Ett sådant filmbetyg, eller för den delen det betyg jag fick på mitt senaste pm eller den (bristande) kvalitet min förra utbildning fick, är exempel på pseudokvantiteter. Man mäter det omätbara, enligt Liedman.

Anteckningar från en littvetföreläsning. Kreativ kvalitet kanske.

Uppsatsunderlaget i utvärderingarna är ett exempel på sådan pseudo-kvantiteter; att omvandla ”kritiskt tänkande” eller ”värderingsförmåga” till en färg eller ett omdöme är inte utan komplikationer. Än svårare är det att ta reda på om examensmål som ”kunna kommunicera med olika grupper” och ”empatisk förmåga” tränas. Även de ivrigaste förespråkarna för utvärderings-systemet är villiga att erkänna det. Peter Honeth, statssekreterare i regeringen, menar till exempel att systemet är ideologiskt enkelt men metodologiskt svårt. Nu var i och för sig inte Honeth särskilt intresserad av att fördjupa sig i de metodologiska svårigheterna vid det anförande han höll  på konferensen ”Det nya utvärderingssystemet – hur kommer studenterna till tals?” den 20 mars i år. Istället formade sig hans anförande till ett brandtal för att resultatfokus alltid ska gå före processfokus i arbetet med kvalitetssäkring vid högskolor och universitet.

   För honom är systemet alltså ideologiskt enkelt, men alla har inte varit och är inte eniga med honom om det. De utvärderingar som genomfördes i början av 2000-talet var processinriktade; man frågade hur lärosätenas kvalitetsarbete såg ut och sökte svaren genom självvärderingar och platsbesök. Men som en följd av Bolognaprocessen och den autonomi som högskolor och universitet skulle åtnjuta ansåg regeringen att det var fel att blanda sig i det arbete som bedrevs på lärosätena. Istället skulle utvärderingar endast grundas på resultat, learning outcomes. Dåvarande Högskoleverket lade fram ett förslag som tog fasta på resultataspekten, men samtidigt behöll en del av processtänkandet. När regeringen kastade förslaget i soptunnan avgick ledningen för HSV i protest, och en ny tillsattes. Först därefter kunde det utvärderingssystem vi har idag sjösättas. Den kritik som den europeiska organisationen för kvalitetssäkring av högre utbildningar, ENQA, riktade mot HSV förra året grundar sig just på att HSV inte har förhållit sig självständig gentemot regeringen: ”HSV cannot be considered ’independent’, due to the extent to which their procedures and methods, as well as overall aims and objectives have been dictated by Government.”

Sedan 2011 har 746 examenstillstånd prövats och av dessa har 129 fått mycket hög kvalitet, 451 hög kvalitet och 166 bristande kvalitet. Termen hög kvalitet är något missvisande, då det i praktiken står för tillräcklig kvalitet, det vill säga den kvalitet en utbildning måste ha för att inte få sitt examenstillstånd indraget. Utredaren Irene Wennemo presenterade på konferensen om utvärderingssystemet den 20 mars ett försök till en tolkning av dessa siffror och för första gången fick jag en sammanhållen bild av vilka konsekvenser utvärderingarna kan få för landets universitet och högskolor.

   Det framkom att stora lärosätena hade påfallande slätstrukna resultat, att de mellanstora lärosätena klarade sig något sämre och att det fanns en stor variation bland de mindre. På några av de mellanstora lärosätena fick runt hälften av examenstillstånden bristande kvalitet, vilket uppenbart kan få dramatiska konsekvenser. Om inte de åtgärdsprogram som snart börjar redovisas håller måttet kan det bli fråga om omfattande nedläggningar på ett antal orter runt om i landet. För att få en förklaring till varför resultatet föll ut som det gjorde hade Wennemo gått vidare och istället för lärosäten slagit ner på vetenskapsområden. Här blev det tydligt att lärosäten där större vetenskapsområden ingick klarade sig markant bättre, vilket också förklarade varför några riktigt små lärosäten toppar tabellerna; de har specialiserat sig. De som hamnat i kläm var mellanstora lärosäten som inriktat sig på att bli universitet och då på relativt kort tid försökt täcka in ganska många vetenskapsområden. Så medan de stora lärosätena kan klara sig, utan att direkt briljera, hamnar de mindre i en rävsax. För att undgå nedläggning måste examensmålen höjas och då minskar genomströmningen, vilket i sin tur leder till mindre resurser, och följden kan bli nedläggning i alla fall, bara på ett kanske mer ”ädelt” och utdraget sätt.

   Efter denna ganska smärtsamma genomgång avslutade Wennemo med att säga att utvärderingen uppenbart mäter något, och även om den mäter fel har den betydelse. Hon ställde sig tveksam till om verktygen finns för att komma tillrätta med den situation som nu många högskolor och universitet ser ut att hamna i. Hon efterlyste en nationell strategi och ett samlat ansvar.

   Universitetskanslern Lars Haikola tackade henne och sa att ”det här var ju kontroversiellt stoff” och kastade sedan ut frågan till konferensdeltagarna hur en nationell strategi är förenlig med kravet på autonomi för högskolorna och universiteten.

   Ytterligare en rävsax.

  

Du blir varse hur något som på ett personligt plan är intressant och lärorikt, som är den bästa skolningen i mötesteknik och intevjuteknik och nätverkande och byråkratiska ramar, också innebär något annat. Att du är del av ett större politiskt spel, som du sällan orkar eller ens lyckas reflektera kring, att du nu är del av en utveckling där dina egna undervisningsglesa, oanställningsbara kurser än mer ska sättas på undantag, att allt är brännande politiskt och varje ord laddat.