Et system for studentevaluering av forelesninger ved medisinstudiet i Oslo

    ()

    sporsmal_grey_rgb
    Abstract
    BAKGRUNN

    BAKGRUNN

    Studenter og utdanningsmyndigheter har økende krav til undervisningskvalitet og studentmedvirkning i høyere utdanning. Vi presenterer en deskriptiv observasjonsstudie av et studentinitiert system for evaluering av forelesninger ved medisinstudiet ved Universitetet i Oslo.

    MATERIALE OG METODE

    MATERIALE OG METODE

    Kriteriebaserte studentevalueringer av 445 forelesninger i første og andre studieår av medisinstudiet ble gjennomført vår og høst 2017 og våren 2018 ved at tre studenter etter alle forelesninger fylte ut et spørreskjema om forelesningen. Svarene ble sendt på e-post til foreleser samme dag. Vi gjennomførte en analyse av evalueringene, gruppeintervju med de kulltillitsvalgte og en spørreundersøkelse blant foreleserne som mottok evaluering.

    RESULTATER

    RESULTATER

    Foreleserne fikk generelt gode tilbakemeldinger, men studentevalueringene påpekte også klare muligheter for forbedringer: 21 % av forelesningene var ikke tilpasset informasjonsmengden, 32 % poengterte ikke koblingen til læringsutbyttebeskrivelsene, 31 % unnlot å aktivisere studentene og 40 % avsluttet ikke med en oppsummering. De kulltillitsvalgte var positive til evalueringsordningen, men ønsket en enklere teknisk løsning. Nesten alle foreleserne var positive til studentevaluering, og over halvparten hadde brukt evalueringene til å forbedre forelesningene.

    FORTOLKNING

    FORTOLKNING

    Dette prosjektet for kvalitetsutvikling viser hvordan studenter, lærere, administrasjon og ledelse kan samarbeide om å forbedre undervisningen.

    Abstract

    BACKGROUND

    Students and education authorities are expressing an increasing demand for educational quality and student involvement in higher education. We present a descriptive observational study of a student-initiated system for evaluation of lectures in the medical degree programme at the University of Oslo.

    MATERIAL AND METHOD

    Criteria-based student evaluations of 445 lectures in the first and second year of the medical degree programme were conducted in spring and autumn 2017 and spring 2018; after each lecture, three students completed a questionnaire about the lecture. The responses were sent by email to the lecturer on the same day. We performed an analysis of the evaluations, a group interview with the cohort’s elected representatives, and a questionnaire survey among the lecturers who received an evaluation.

    RESULTS

    The lecturers received generally good feedback, but the student evaluations also indicated a clear potential for improvement: 21 % of the lectures were not adapted to the volume of information, 32 % did not point out the association with the learning outcome descriptions, 31 % failed to activate the students and 40 % did not provide a summary at the end of the lecture. The cohort’s elected representatives had a positive attitude to the evaluation scheme, but requested a simpler technical solution. Almost all the lecturers welcomed the student evaluation, and more than half had used the evaluations to improve their lectures.

    INTERPRETATION

    This quality development project shows how students, teachers, administration and management can collaborate to improve the teaching.

    Main findings

    Hovedfunn

    Systemet med direkte evaluering av den enkelte forelesningen ble godt mottatt av foreleserne

    Foreleserne brukte evalueringene til å forbedre forelesningene

    Det er behov for tekniske løsninger som forenkler systemet

    Artikkel
    Innledning

    Utdanningsmyndigheter, studenter og arbeidsliv stiller i økende grad krav til kvalitet i høyere utdanning. Samtidig blir det lagt stor vekt på at studentene skal ha en aktiv rolle i utviklingen av undervisningen (1). Studentundersøkelser tyder på at medisinstudiene i Norge i begrenset grad oppfyller dette målet (2). Medisinstudiet i Oslo skårer relativt lavt på både undervisningskvalitet og studentenes mulighet for å påvirke i studieprogrammet (2).

    En gruppe studenter ved medisinstudiet i Oslo tok høsten 2016 initiativ til å evaluere deler av undervisningen. De var spesielt opptatt av forelesningene og utarbeidet et kriteriebasert evalueringsskjema for å gi tilbakemeldinger til den enkelte forleser. Modellen var hentet fra studentenes erfaring med såkalt objektiv strukturert klinisk eksamen (OSKE). Dette er en eksamensform hvor studentene selv blir evaluert basert på objektive kriterier for god klinisk praksis. Gruppen utarbeidet et skjema med tilsvarende kriterier for en god forelesning. Skjemaet ble fylt ut i fellesskap av 1–3 studenter umiddelbart etter undervisningen og sendt på e‑post til den aktuelle foreleseren.

    Fakultetsledelsen ønsket å gjennomføre et pilotprosjekt for evaluering av forelesninger basert på studentenes metode som ledd i arbeidet med å videreutvikle fakultetets kvalitetssystem for undervisning. I denne artikkelen beskriver vi dette prosjektet, evalueringsmetoden, resultatene og undersøkelser av hvordan studenter og forelesere oppfattet ordningen.

    Materiale og metode

    Materiale og metode

    Profesjonsstudiet i medisin ved Det medisinske fakultet ved Universitetet i Oslo tar opp ca. 110 studenter to ganger i året. Fakultetet gjennomførte i perioden 2013–17 en omfattende studiereform med mål om «kvalitetsmessig styrking og mer relevant undervisning i tråd med nye kompetansebehov» bl.a. ved å utarbeide læringsutbyttebeskrivelser for alle fag (3).

    I dette prosjektet har vi evaluert forelesninger i første og andre studieår (modul 1 og 2), som har særlig vekt på medisinske basalfag. Forelesningene i modul 1 og i første del av modul 2 ble gjennomført i felleskap med profesjonsstudiene i odontologi eller klinisk ernæring.

    Evalueringsmetode

    Evalueringsmetode

    Det primære formålet med studentevalueringene var å gi den enkelte foreleser strukturert tilbakemelding om styrker og svakheter ved forelesningen, med spesiell vekt på pedagogiske faktorer. Slike formative evalueringer har fokus på dialog og utvikling, og skiller seg fra mer summative evalueringsformer, som er innrettet på kontroll og dokumentasjon av kvalitet i undervisningen (4). Ved å gjøre evalueringen systematisk og ved å gjøre resultatene tilgjengelige, bl.a. gjennom denne artikkelen, har prosjektet likevel også et visst preg av kvalitetskontroll og kvalitetsdemonstrasjon.

    Studentenes egenutviklede evalueringsskjema var basert på velkjente og i stor grad objektive prinsipper for pedagogikk og forelesningsteknikk, slik som agendasetting, tilpassing av informasjonsmengden, studentaktivisering og punktlighet (5–8). Spørsmålene ble revidert i samarbeid med undervisningsledere og kulltillitsvalgte for å komme frem til et enkelt nettskjema for evaluering av både tavlebaserte og PowerPoint-baserte forelesninger. Skjemaet inneholdt også åpne spørsmål om hva som var bra og hva som kunne forbedres med forelesningen (se appendiks 1). Det ble dessuten lagt til et spørsmål om hvorvidt forelesningen ble tatt opp på video.

    Evalueringsprosedyren

    Evalueringsprosedyren

    Prosedyren for evalueringen ble utviklet i samarbeid med studenttillitsvalgte og studiekoordinatorene for modul 1 og 2. Ved semesterstart inviterte utdanningsleder og studiekoordinatorene de kulltillitsvalgte til dialogmøte, bl.a. for å lære opp nye tillitsvalgte i evalueringssystemet. Studiekoordinator opprettet og administrerte et evalueringsskjema i universitetets nettskjemaportal og la ut lenke til evalueringsskjemaet på studentkullets nettside. Kulltillitsvalgte organiserte en «turnusordning» hvor tre og tre studenter fikk i oppdrag å evaluere en forelesning. Disse fylte så i felleskap ut nettskjemaet umiddelbart etter forelesningen og sendte kort tid etter det utfylte skjemaet til foreleser med en standardisert hilsen.

    Evalueringene for hver modul ble arkivert og kunne hentes ut av studiekoordinator for videre analyse og rapportering.

    Studentenes evaluering av forelesningene

    Studentenes evaluering av forelesningene

    Evalueringene av forelesningene i modul 1 og 2 våren 2017, høsten 2017 og våren 2018 ble innhentet og oppsummert. Evalueringene i modul 1 var noe ufullstendige siden ordningen krevde opplæring og innarbeiding hos nye studentkull. Studentenes fritekstsvar ble kartlagt med en enkel kvalitativ tematisk analyse av to av forfatterne (Stokke og Breivik), som sammenlignet resultatene og etablerte konsensus.

    Studentenes og forelesernes vurdering av ordningen

    Studentenes og forelesernes vurdering av ordningen

    Vi gjennomførte et semistrukturert gruppeintervju med de fire tillitsvalgte for modul 1 og 2. Vi spurte hvordan de oppfattet studentenes holdning til prosjektet, om erfaringene med å organisere og gjennomføre evalueringen, om det hadde oppstått problemer, og om de hadde ideer til videre utvikling av ordningen. I tillegg spurte vi om de hadde opplevd en forbedring av forelesningene.

    For å innhente forelesernes synspunkter og erfaringer gjennomførte vi en anonymisert nettbasert spørreundersøkelse (se appendiks 2). De kvantitative dataene ble oppsummert med deskriptiv statistikk, mens fritekstsvarene ble gjenstand for en enkel kvalitativ tematisk analyse (som beskrevet over).

    Alle data er innhentet med hjemmeli universitets- og høyskoleloven og behandlet i samsvar med personopplysningsloven.

    Resultater

    Resultater

    I løpet av prosjektperioden evaluerte studentene 445 av 1 663 forelesninger (27 %), 167 (20 %) i modul 1 og 278 (33 %) i modul 2. Resultatene av den kriteriebaserte vurderingen er presentert i figur 1. Majoriteten av forelesningene oppfylte de fleste av kriteriene i evalueringsskjemaet, men en betydelig andel var ikke tilpasset informasjonsmengden (21 %), poengterte ikke koblingen til læringsutbyttebeskrivelsene i faget (32 %), unnlot å aktivisere studentene (31 %) og avsluttet ikke med en oppsummering (40 %).

    Studentenes kommentarer i fritekstfeltet viste at studentene generelt sett var positive til forelesningene de hadde evaluert. Forelesere som brukte tavle og aktive læringsformer, fikk spesielt positive tilbakemeldinger, og studentene etterspurte mer av dette. Kritikken var i stor grad knyttet til manglende struktur, for stor informasjonsmengde og manglende kobling til læringsutbyttebeskrivelsene i faget. Studentene ga dessuten tilbakemeldinger på at noen forelesninger overlappet hverandre, og at det var behov for bedre koordinering mellom foreleserne.

    Studentenes kommentarer fremsto generelt sett som konstruktive og respektfulle. Noen tilbakemeldinger var relativt krasse og direkte, men ingen ble vurdert som ufine eller trakasserende.

    Studentenes vurdering av ordningen

    Studentenes vurdering av ordningen

    De kulltillitsvalgte konkluderte i gruppeintervju med at studentene jevnt over var positivt innstilt til ordningen, men uttrykte samtidig at ikke alle studentene så verdien av den. Som forklaring på at mange forelesninger ikke ble evaluert, trakk de frem at det var krevende å opprettholde engasjementet for å evaluere, spesielt sent i semesteret. Samtidig mente de kulltillitsvalgte at evalueringsordningen hadde en positiv sosial effekt ved at evalueringsgrupper ble satt sammen på tvers av etablerte vennegjenger.

    Som forslag til forbedringer ble det foreslått at resultatene av evalueringene bør legges frem for alle studentene, ikke bare de tillitsvalgte, slik at flere ser nytteverdien av ordningen. De tillitsvalgte etterspurte også en forbedring av den tekniske løsningen, for eksempel i form av en egen mobil-app.

    Forelesernes vurdering av ordningen

    Forelesernes vurdering av ordningen

    Av totalt 88 forelesere svarte 52 (59 %) på undersøkelsen om studentevalueringen. Av disse var 48 generelt positive til studentevaluering av undervisning. 37 oppga at de hadde hatt nytte av tilbakemeldingene, og 29 hadde gjort endringer i forelesninger på bakgrunn av evalueringene. 4 oppga at de hadde fått evalueringer de oppfattet som ubehagelige eller utidige.

    Foreleserne var delt i synet på evalueringsform. Mens 28 likte den kriteriebaserte løsningen, ville 24 foretrukket en mer subjektiv evaluering av forelesningens innhold og kvalitet basert på tilbakemeldinger fra et representativt utvalg av studenter. Mange fremhevet den raske og direkte tilbakemeldingen fra studentene som spesielt positiv, og flere forelesere fremhevet kommentarene i fritekst som den mest verdifulle delen av evalueringen.

    På spørsmål om hvordan man best kan møte utfordringen med forelesere som får negative tilbakemeldinger, svarte noen at det må være opp til foreleseren selv å følge opp evalueringene, mens andre foreslo kollegaveiledning og kurs. Noen fremhevet oppfølging av foreleserne som et ledelsesansvar og foreslo at utdanningsleder tar saken opp med den enkelte.

    Diskusjon

    Diskusjon

    Denne studien viser hvordan vi ved medisinstudiet ved Det medisinske fakultet i Oslo har utviklet og evaluert et system for studentevaluering av forelesninger. Både studentene og foreleserne var positivt innstilt til ordningen, og vi har lagt stor vekt på å dele og diskutere resultatene med fagmiljøene. De fleste foreleserne sa at evalueringene var nyttige, og over halvparten hadde gjort endringer i forelesningene på bakgrunn av tilbakemeldingene. Gitt at de fleste foreleserne oppfylte de fleste kriteriene i skjemaet og fikk generelt gode tilbakemeldinger, oppfatter vi dette som et svært positivt resultat.

    Studentene hadde valgt å fokusere på forelesningene, som er en klassisk, men også kritisert undervisningsform. Forelesninger er effektive i den forstand at én underviser kan undervise et stort antall studenter, men er samtidig svært avhengig av denne personens kommunikasjonsevner. Den er også, i all hovedsak, basert på enveiskommunikasjon og aktiviserer i begrenset grad studentens evne til kritisk tekning og problemløsning. En rekke studier viser at forelesninger generelt sett gir dårligere læringsresultat enn mer aktive læringsformer (9). Det er derfor en internasjonal trend at forelesninger erstattes av studentaktiviserende undervisningsformer, som f.eks. team-basert læring eller omvendt undervisning (på engelsk: flipped classroom) (10). Like fullt har forelesningen en sentral rolle i mange studieprogrammer, også ved medisinstudiet i Oslo. I dette prosjektet har vi derfor gitt foreleserne strukturerte tilbakemeldinger om hvordan de kan forbedre forelesningene, der et av kvalitetskriteriene nettopp var bruk av studentaktiviserende elementer.

    Studentevaluering som mål på studiekvalitet er forbundet med betydelig usikkerhet og bør tolkes med varsomhet (4). Studentevalueringer kan ha preg av popularitetskonkurranser som i begrenset grad reflekterer den egentlige kvaliteten og læringsutbyttet av undervisningen. Denne kritikken underbygges av studier som har undersøkt validiteten på summative studentevalueringer. Svakheter er bl.a. knyttet til manglende validering av spørreskjemaer. Studenter kan være forutinntatt om bl.a. kjønn og etnisitet, og evalueringer som gjennomføres etter at et kurs eller emne er fullført, kan være unyanserte og påvirket av eksamensresultater (11).

    Hensikten med dette prosjektet var derfor ikke å innføre studentevaluering som et objektivt mål på studiekvalitet, men å gi den enkelte foreleser tilbakemelding om hvordan undervisningen kan forbedres. Summativ evaluering av den enkelte underviser kan oppfattes som kontroll og kritikk, mens vi ønsket å evaluere forelesningene på en måte som ble oppfattet som konstruktiv og støttende. Vi antar at en evalueringsform som subjektivt skårer forelesningen på en skala fra 1 til 5, ville møtt mer motstand. Det var også et poeng at evalueringen ble gitt rett etter gjennomført undervisning, direkte fra studentene til foreleserne. Studentenes initiativ og engasjement bidro slik i stor grad til å legitimere ordningen i fagmiljøene.

    Et annet suksesskriterium var at ordningen var lite arbeidskrevende. Fra forelesernes ståsted innebar den en e-post fra studentene med konkrete forslag til hvordan forelesningen kunne forbedres. For den enkelte student handlet det om å avsette 5–10 minutter til å evaluere en forelesning 2–3 ganger i hver termin. Studiekoordinatorenes oppgave var å opprette et nettskjema og å innkalle til møte med de kulltillitsvalgte én gang hver termin. Den største arbeidsoppgaven var lagt på de kulltillitsvalgte, som organiserte turnusordningen blant studentene og sendte jevnlige påminnelser for å sikre at evalueringene ble gjennomført. Tross iherdig innsats var det likevel under en tredjedel av forelesningene som ble evaluert, og det er derfor viktig å finne løsninger som både forenkler og stimulerer de kulltillitsvalgtes rolle som pådriver og motivator for videreføring av ordningen.

    Vi valgte å bruke Nettskjema, som er Universitetet i Oslos løsning for datainnsamling, som teknisk løsning for evalueringene. Dette sikret intern og sikker behandling av informasjonen. Vi hadde i prosjektperioden utfordringer knyttet til hvordan studentene kunne sende evalueringsskjemaet anonymt til den enkelte foreleser, og studentene valgte å videresende via en ekstern e-postadresse. Dette problemet ble løst, og vi arbeider nå med tekniske løsninger som ytterligere forenkler evalueringsprosedyren. På sikt ser vi for oss at evaluering av ulike undervisningsformer, ikke bare forelesninger, kan organiseres i en mobil-app.

    Styrker og svakheter

    Styrker og svakheter

    Den største styrken ved dette kvalitetsutviklingsprosjektet er at det bygger på studentenes engasjement for å bedre undervisningen. De har definert problemer ved forelesningene og på en konstruktiv måte tatt initiativ til å løse dem. Vi kan også vise til en relativt høy svarprosent (59 %) på spørreundersøkelsen blant foreleserne, hvor et overveiende flertall var positive til evaluering av undervisning.

    Prosjektet har i stor grad blitt til underveis, i en relativt komplisert organisasjon og basert på en kombinasjon av indre og ytre påvirkninger. Vi beskriver først og fremst en prosess, og ikke en nøye planlagt intervensjon. Vi presenterer kvantitative og kvalitative data, samlet over en begrenset tidsperiode, som antyder at prosjektet har bidratt til å forbedre undervisningen, men vi har ikke mål på om studentene har hatt økt læringsutbytte som resultat av ordningen. En slik studie vil kreve et mer langsiktig og stringent forskningsdesign.

    Konklusjon

    Konklusjon

    I denne studien har vi vist hvordan studentevaluering kan bidra til å forbedre kvaliteten på forelesningene i medisinstudiet. Slik studentevaluering er ikke nødvendigvis et godt mål på kvalitet i undervisning, men den kan være et godt middel for dialog og samarbeid om å utvikle god undervisning. Dermed har vi også tatt et viktig steg i utviklingen av en «kultur for kvalitet», nettopp slik stortingsmeldingen om studiekvalitet etterlyser (1).

    Artikkelen er fagfellevurdert.

    PDF
    Skriv ut

    Anbefalte artikler

    Laget av Ramsalt med Ramsalt Media