Evaluacija nastavnog plana i programa i nastavnika ključna je za sve visokoškolske ustanove, uključujući medicinske fakultete. Studentske evaluacije nastave (SET) obično se provode u obliku anonimnih upitnika i, iako su izvorno razvijene za evaluaciju kolegija i programa, s vremenom su se koristile i za mjerenje učinkovitosti nastave i potom donošenje važnih odluka vezanih uz nastavu. Stručno usavršavanje nastavnika. Međutim, određeni čimbenici i pristranosti mogu utjecati na SET rezultate, a učinkovitost nastave ne može se objektivno mjeriti. Iako je literatura o evaluaciji kolegija i nastavnika u općem visokom obrazovanju dobro utemeljena, postoji zabrinutost zbog korištenja istih alata za evaluaciju kolegija i nastavnika u medicinskim programima. Konkretno, SET u općem visokom obrazovanju ne može se izravno primijeniti na dizajn i provedbu nastavnog plana i programa na medicinskim fakultetima. Ovaj pregled pruža pregled kako se SET može poboljšati na razini instrumenata, upravljanja i interpretacije. Osim toga, ovaj članak ističe da se korištenjem različitih metoda poput recenzije kolega, fokus grupa i samoprocjene za prikupljanje i triangulaciju podataka iz više izvora, uključujući studente, kolege, voditelje programa i samosvijest, može izgraditi sveobuhvatan sustav procjene. Učinkovito mjeriti učinkovitost poučavanja, podržavati profesionalni razvoj medicinskih edukatora i poboljšavati kvalitetu poučavanja u medicinskom obrazovanju.
Evaluacija kolegija i programa je interni proces kontrole kvalitete u svim visokoškolskim ustanovama, uključujući medicinske fakultete. Studentska evaluacija nastave (SET) obično se provodi u obliku anonimnog rada ili online upitnika korištenjem ljestvice ocjenjivanja kao što je Likertova ljestvica (obično pet, sedam ili više) koja omogućuje ljudima da naznače svoje slaganje ili stupanj slaganja. Ne slažem se s određenim tvrdnjama) [1,2,3]. Iako su SET-ovi izvorno razvijeni za evaluaciju kolegija i programa, s vremenom su se koristili i za mjerenje učinkovitosti nastave [4, 5, 6]. Učinkovitost nastave smatra se važnom jer se pretpostavlja da postoji pozitivan odnos između učinkovitosti nastave i učenja studenata [7]. Iako literatura ne definira jasno učinkovitost obuke, obično se specificira kroz specifične karakteristike obuke, kao što su „grupna interakcija“, „priprema i organizacija“, „povratne informacije studentima“ [8].
Informacije dobivene iz SET-a mogu pružiti korisne informacije, poput toga postoji li potreba za prilagodbom nastavnih materijala ili metoda poučavanja koje se koriste u određenom kolegiju. SET se također koristi za donošenje važnih odluka vezanih uz profesionalni razvoj nastavnika [4,5,6]. Međutim, prikladnost ovog pristupa je upitna kada visokoškolske ustanove donose odluke u vezi s nastavnim osobljem, kao što je promaknuće u viša akademska zvanja (često povezano s povećanjem senioriteta i plaća) i ključne administrativne pozicije unutar ustanove [4, 9]. Osim toga, ustanove često zahtijevaju od novih nastavnika da u svoje prijave za nova radna mjesta uključe SET-ove iz prethodnih ustanova, čime utječu ne samo na promaknuća nastavnika unutar ustanove, već i na potencijalne nove poslodavce [10].
Iako je literatura o nastavnom planu i programu i evaluaciji nastavnika dobro utemeljena u području općeg visokog obrazovanja, to nije slučaj u području medicine i zdravstvene skrbi [11]. Nastavni plan i program i potrebe medicinskih edukatora razlikuju se od onih u općem visokom obrazovanju. Na primjer, timsko učenje često se koristi u integriranim tečajevima medicinskog obrazovanja. To znači da se nastavni plan i program medicinskog fakulteta sastoji od niza tečajeva koje predaje niz članova fakulteta koji imaju obuku i iskustvo u različitim medicinskim disciplinama. Iako studenti imaju koristi od dubinskog znanja stručnjaka u tom području u okviru ove strukture, često se suočavaju s izazovom prilagodbe različitim stilovima poučavanja svakog nastavnika [1, 12, 13, 14].
Iako postoje razlike između općeg visokog obrazovanja i medicinskog obrazovanja, SET koji se koristi u prvom se ponekad koristi i u medicinskim i zdravstvenim kolegijima. Međutim, primjena SET-a u općem visokom obrazovanju predstavlja mnoge izazove u smislu nastavnog plana i programa i evaluacije nastavnika u programima zdravstvenih stručnjaka [11]. Posebno zbog razlika u metodama poučavanja i kvalifikacijama nastavnika, rezultati evaluacije kolegija možda ne uključuju mišljenja studenata o svim nastavnicima ili kolegijima. Istraživanje Uytenhaagea i O'Neilla (2015.) [5] sugerira da bi traženje od studenata da ocjenjuju sve pojedinačne nastavnike na kraju kolegija moglo biti neprikladno jer je studentima gotovo nemoguće zapamtiti i komentirati više kategorija ocjena nastavnika. Osim toga, mnogi nastavnici medicinskog obrazovanja ujedno su i liječnici za koje je poučavanje samo mali dio njihovih odgovornosti [15, 16]. Budući da su prvenstveno uključeni u njegu pacijenata i, u mnogim slučajevima, istraživanje, često imaju malo vremena za razvoj svojih nastavničkih vještina. Međutim, liječnici kao nastavnici trebali bi dobiti vrijeme, podršku i konstruktivne povratne informacije od svojih organizacija [16].
Studenti medicine obično su visoko motivirane i marljive osobe koje uspješno upisuju medicinski fakultet (kroz konkurentan i zahtjevan međunarodni proces). Osim toga, tijekom studija medicine od studenata medicine očekuje se da steknu veliku količinu znanja i razviju velik broj vještina u kratkom vremenskom razdoblju, kao i da uspiju u složenim internim i sveobuhvatnim nacionalnim procjenama [17,18,19,20]. Stoga, zbog visokih standarda koji se očekuju od studenata medicine, studenti medicine mogu biti kritičniji i imati veća očekivanja za visokokvalitetnu nastavu od studenata u drugim disciplinama. Stoga, studenti medicine mogu imati niže ocjene od svojih profesora u usporedbi sa studentima u drugim disciplinama iz gore navedenih razloga. Zanimljivo je da su prethodne studije pokazale pozitivan odnos između motivacije studenata i individualnih evaluacija nastavnika [21]. Osim toga, tijekom posljednjih 20 godina većina nastavnih planova i programa medicinskih fakulteta diljem svijeta postala je vertikalno integrirana [22], tako da su studenti izloženi kliničkoj praksi od najranijih godina svog programa. Stoga su se liječnici tijekom proteklih nekoliko godina sve više uključili u obrazovanje studenata medicine, podržavajući, čak i u ranoj fazi svojih programa, važnost razvoja nastavnih planova i programa prilagođenih specifičnim populacijama fakulteta [22].
Zbog specifične prirode gore spomenutog medicinskog obrazovanja, SET-ovi koji se koriste za procjenu općih visokoškolskih kolegija koje predaje jedan član fakulteta trebali bi se prilagoditi za procjenu integriranog kurikuluma i kliničkog fakulteta medicinskih programa [14]. Stoga postoji potreba za razvojem učinkovitijih SET modela i sveobuhvatnih sustava procjene za učinkovitiju primjenu u medicinskom obrazovanju.
Ovaj pregled opisuje nedavni napredak u korištenju SET-a u (općem) visokom obrazovanju i njegova ograničenja, a zatim ocrtava različite potrebe SET-a za medicinske kolegije i nastavno osoblje. Ovaj pregled pruža ažurirane informacije o tome kako se SET može poboljšati na instrumentalnoj, administrativnoj i interpretativnoj razini te se usredotočuje na ciljeve razvoja učinkovitih SET modela i sveobuhvatnih sustava procjene koji će učinkovito mjeriti učinkovitost poučavanja, podržati razvoj profesionalnih zdravstvenih edukatora i poboljšati kvalitetu poučavanja u medicinskom obrazovanju.
Ova studija slijedi studiju Greena i suradnika (2006.) [23] za savjet i Baumeistera (2013.) [24] za savjet o pisanju narativnih osvrta. Odlučili smo napisati narativni osvrt na ovu temu jer ova vrsta osvrta pomaže u predstavljanju široke perspektive o temi. Štoviše, budući da se narativni osvrti temelje na metodološki raznolikim studijama, oni pomažu u odgovoru na šira pitanja. Osim toga, narativni komentar može pomoći u poticanju razmišljanja i rasprave o nekoj temi.
Kako se SET koristi u medicinskom obrazovanju i koji su izazovi u usporedbi sa SET-om koji se koristi u općem visokom obrazovanju,
Baze podataka Pubmed i ERIC pretražene su kombinacijom pojmova za pretraživanje „evaluacija studentske nastave“, „učinkovitost nastave“, „medicinsko obrazovanje“, „visoko obrazovanje“, „evaluacija kurikuluma i nastavnika“, a za Peer Review 2000 logički operatori. Članci objavljeni između 2021. i 2021. Kriteriji uključivanja: Uključene studije bile su originalne studije ili pregledni članci, a studije su bile relevantne za područja tri glavna istraživačka pitanja. Kriteriji isključenja: Studije koje nisu bile na engleskom jeziku ili studije u kojima se nisu mogli pronaći članci u punom tekstu ili nisu bili relevantni za tri glavna istraživačka pitanja isključene su iz trenutnog preglednog dokumenta. Nakon odabira publikacija, organizirane su u sljedeće teme i povezane podteme: (a) Korištenje SET-a u općem visokom obrazovanju i njegova ograničenja, (b) Korištenje SET-a u medicinskom obrazovanju i njegova relevantnost za rješavanje pitanja vezanih uz usporedbu SET-a (c) Poboljšanje SET-a na instrumentalnoj, upravljačkoj i interpretativnoj razini radi razvoja učinkovitih SET modela.
Slika 1 prikazuje dijagram toka odabranih članaka uključenih i raspravljenih u ovom dijelu pregleda.
SET se tradicionalno koristi u visokom obrazovanju i tema je dobro proučena u literaturi [10, 21]. Međutim, velik broj studija ispitao je njihova brojna ograničenja i napore da se ta ograničenja riješe.
Istraživanja pokazuju da postoje mnoge varijable koje utječu na SET rezultate [10, 21, 25, 26]. Stoga je važno da administratori i nastavnici razumiju te varijable prilikom tumačenja i korištenja podataka. Sljedeći odjeljak daje kratak pregled tih varijabli. Slika 2 prikazuje neke od čimbenika koji utječu na SET rezultate, a detaljno su opisani u sljedećim odjeljcima.
Posljednjih godina korištenje online kompleta povećalo se u usporedbi s papirnatim kompletima. Međutim, dokazi u literaturi sugeriraju da se online SET može završiti bez da studenti posvete potrebnu pažnju procesu dovršetka. U zanimljivoj studiji Uitdehaagea i O'Neilla [5], nepostojeći nastavnici dodani su u SET, a mnogi studenti dali su povratne informacije [5]. Štoviše, dokazi u literaturi sugeriraju da studenti često vjeruju da završetak SET-a ne dovodi do poboljšanja obrazovnih postignuća, što, u kombinaciji s užurbanim rasporedom studenata medicine, može rezultirati nižim stopama odaziva [27]. Iako istraživanja pokazuju da se mišljenja studenata koji polažu test ne razlikuju od mišljenja cijele skupine, niske stope odaziva i dalje mogu navesti nastavnike da manje ozbiljno shvate rezultate [28].
Većina online SET-ova ispunjava se anonimno. Ideja je omogućiti studentima da slobodno izraze svoja mišljenja bez pretpostavke da će njihovo izražavanje imati ikakav utjecaj na njihove buduće odnose s nastavnicima. U studiji Alfonsa i suradnika [29], istraživači su koristili anonimne ocjene i ocjene u kojima su ocjenjivači morali dati svoja imena (javne ocjene) kako bi procijenili učinkovitost poučavanja medicinskog osoblja od strane specijalizanata i studenata medicine. Rezultati su pokazali da su nastavnici općenito postigli niže rezultate na anonimnim procjenama. Autori tvrde da su studenti iskreniji u anonimnim procjenama zbog određenih prepreka u otvorenim procjenama, kao što su narušeni radni odnosi s nastavnicima koji sudjeluju [29]. Međutim, treba napomenuti i da anonimnost koja se često povezuje s online SET-om može dovesti do toga da neki studenti budu nepoštovani i osvetoljubivi prema instruktoru ako rezultati procjene ne ispunjavaju studentska očekivanja [30]. Međutim, istraživanja pokazuju da studenti rijetko daju nepoštovne povratne informacije, a potonje se mogu dodatno ograničiti podučavanjem studenata da daju konstruktivne povratne informacije [30].
Nekoliko je studija pokazalo da postoji korelacija između SET rezultata studenata, njihovih očekivanja u pogledu uspješnosti na testovima i zadovoljstva testovima [10, 21]. Na primjer, Strobe (2020.) [9] izvijestio je da studenti nagrađuju lagane kolegije, a nastavnici slabe ocjene, što može potaknuti lošu nastavu i dovesti do inflacije ocjena [9]. U nedavnoj studiji, Looi i sur. (2020.) [31] istraživači su izvijestili da su povoljniji SET-ovi povezani i lakši za procjenu. Štoviše, postoje uznemirujući dokazi da je SET obrnuto proporcionalan studentskom uspjehu u sljedećim kolegijima: što je viša ocjena, to je lošiji studentski uspjeh u sljedećim kolegijima. Cornell i sur. (2016.) [32] proveli su studiju kako bi ispitali jesu li studenti relativno više naučili od nastavnika čiji su SET visoko ocijenili. Rezultati pokazuju da kada se učenje ocjenjuje na kraju kolegija, nastavnici s najvišim ocjenama također doprinose učenju većine studenata. Međutim, kada se učenje mjeri uspješnošću u sljedećim relevantnim kolegijima, nastavnici koji postižu relativno niske ocjene su najučinkovitiji. Istraživači su pretpostavili da bi produktivnije uvođenje izazova u tečaj moglo sniziti ocjene, ali poboljšati učenje. Stoga, studentske procjene ne bi trebale biti jedina osnova za vrednovanje nastave, već bi trebale biti priznate.
Nekoliko studija pokazuje da na uspješnost u SET-u utječe sam kolegij i njegova organizacija. Ming i Baozhi [33] su u svojoj studiji otkrili da postoje značajne razlike u SET rezultatima među studentima različitih predmeta. Na primjer, kliničke znanosti imaju više SET rezultate od temeljnih znanosti. Autori su objasnili da je to zato što su studenti medicine zainteresirani postati liječnici i stoga imaju osobni interes i veću motivaciju za sudjelovanje u kolegijima kliničkih znanosti u usporedbi s kolegijima temeljnih znanosti [33]. Kao i u slučaju izbornih predmeta, motivacija studenata za predmet također ima pozitivan učinak na rezultate [21]. Nekoliko drugih studija također podržava da vrsta kolegija može utjecati na SET rezultate [10, 21].
Štoviše, druge studije su pokazale da što je manji razred, to je viša razina SET-a koju postižu nastavnici [10, 33]. Jedno moguće objašnjenje je da manji razredi povećavaju mogućnosti interakcije između nastavnika i učenika. Osim toga, uvjeti u kojima se provodi procjena mogu utjecati na rezultate. Na primjer, čini se da na SET rezultate utječu vrijeme i dan kada se tečaj održava, kao i dan u tjednu kada se SET završava (npr. procjene završene vikendom obično rezultiraju pozitivnijim rezultatima) od procjena završenih ranije u tjednu. [10]
Zanimljiva studija Hesslera i suradnika također dovodi u pitanje učinkovitost SET-a. [34]. U ovoj studiji provedeno je randomizirano kontrolirano ispitivanje na tečaju hitne medicine. Studenti medicine treće godine nasumično su raspoređeni u kontrolnu skupinu ili skupinu koja je dobila besplatne kolačiće s komadićima čokolade (skupina s kolačićima). Sve skupine podučavali su isti nastavnici, a sadržaj obuke i materijali za tečaj bili su identični za obje skupine. Nakon tečaja, svi studenti su zamoljeni da završe set. Rezultati su pokazali da je skupina s kolačićima ocijenila nastavnike značajno bolje od kontrolne skupine, što dovodi u pitanje učinkovitost SET-a [34].
Dokazi u literaturi također podupiru da spol može utjecati na rezultate SET-a [35,36,37,38,39,40,41,42,43,44,45,46]. Na primjer, neke studije pokazale su vezu između spola studenata i rezultata ocjenjivanja: studentice su postigle više rezultate od studenata [27]. Većina dokaza potvrđuje da studenti niže ocjenjuju učiteljice od nastavnika [37, 38, 39, 40]. Na primjer, Boring i sur. [38] pokazali su da i studenti i studentice vjeruju da muškarci imaju više znanja i jače liderske sposobnosti od žena. Činjenicu da spol i stereotipi utječu na SET također podupire studija MacNella i sur. [41], koji je izvijestio da su studenti u njegovoj studiji niže ocjenjivali učiteljice od nastavnika u različitim aspektima poučavanja [41]. Štoviše, Morgan i sur. [42] pružili su dokaze da su liječnice dobile niže ocjene poučavanja u četiri glavne kliničke rotacije (kirurgija, pedijatrija, opstetricija i ginekologija te interna medicina) u usporedbi s liječnicima.
U studiji Murraya i suradnika (2020.) [43], istraživači su izvijestili da su privlačnost nastavnika i interes studenata za kolegij povezani s višim SET rezultatima. Suprotno tome, težina kolegija povezana je s nižim SET rezultatima. Osim toga, studenti su dali više SET rezultate mladim bijelim muškim nastavnicima humanističkih znanosti i nastavnicima s redovitim profesorskim zvanjima. Nije bilo korelacija između evaluacija nastave u SET-u i rezultata ankete nastavnika. Druge studije također potvrđuju pozitivan utjecaj fizičke privlačnosti nastavnika na rezultate procjene [44].
Clayson i sur. (2017.) [45] izvijestili su da iako postoji opće slaganje da SET daje pouzdane rezultate i da su prosjeci razreda i nastavnika dosljedni, i dalje postoje nedosljednosti u pojedinačnim odgovorima učenika. Ukratko, rezultati ovog izvješća o procjeni pokazuju da se učenici nisu složili s onim što je od njih zatraženo da procijene. Mjere pouzdanosti izvedene iz studentskih evaluacija nastave nisu dovoljne da bi pružile osnovu za utvrđivanje valjanosti. Stoga SET ponekad može pružiti informacije o učenicima, a ne o nastavnicima.
SET za zdravstveno obrazovanje razlikuje se od tradicionalnog SET-a, ali edukatori često koriste SET dostupan u općem visokom obrazovanju, a ne SET specifičan za programe zdravstvenih struka o kojima se izvještava u literaturi. Međutim, studije provedene tijekom godina identificirale su nekoliko problema.
Jones i sur. (1994.) [46] proveli su studiju kako bi utvrdili pitanje kako vrednovati nastavno osoblje medicinskog fakulteta iz perspektive nastavnika i administratora. Općenito, najčešće spominjana pitanja vezana su uz vrednovanje nastave. Najčešće su se pritužbe odnosile na neadekvatnost trenutnih metoda ocjenjivanja učinka, a ispitanici su također iznosili konkretne pritužbe na SET i nedostatak priznavanja nastave u akademskim sustavima nagrađivanja. Ostali prijavljeni problemi uključivali su nedosljedne postupke vrednovanja i kriterije napredovanja među odjelima, nedostatak redovitih vrednovanja i nepovezivanje rezultata vrednovanja s plaćama.
Royal i sur. (2018.) [11] opisuju neka od ograničenja korištenja SET-a za evaluaciju nastavnog plana i programa i nastavnog osoblja u programima zdravstvenih stručnjaka u općem visokom obrazovanju. Istraživači izvještavaju da se SET u visokom obrazovanju suočava s raznim izazovima jer se ne može izravno primijeniti na dizajn nastavnog plana i programa i nastavu na medicinskim fakultetima. Često postavljana pitanja, uključujući pitanja o predavaču i nastavnom planu i programu, često se kombiniraju u jedan upitnik, pa studenti često imaju problema s razlikovanjem među njima. Osim toga, nastavne planove i programe u medicinskim programima često predaje više članova nastavnog osoblja. To postavlja pitanja o valjanosti s obzirom na potencijalno ograničen broj interakcija između studenata i nastavnika koje su procijenili Royal i sur. (2018.) [11]. U studiji Hwanga i sur. (2017.) [14], istraživači su ispitali koncept kako retrospektivne evaluacije nastavnog plana i programa sveobuhvatno odražavaju studentsku percepciju nastavnog plana i programa različitih predavača. Njihovi rezultati sugeriraju da je individualizirana procjena nastave potrebna za upravljanje višeodsječnim nastavom unutar integriranog nastavnog plana i programa medicinskog fakulteta.
Uitdehaage i O'Neill (2015.) [5] ispitali su u kojoj mjeri su studenti medicine namjerno pohađali SET u višefakultetskom kolegiju. Svaki od dva predklinička kolegija imao je izmišljenog predavača. Studenti moraju dati anonimne ocjene svim predavačima (uključujući izmišljene predavače) u roku od dva tjedna od završetka kolegija, ali mogu odbiti ocjenjivati predavača. Sljedeće godine to se ponovilo, ali je uključen portret izmišljenog predavača. Šezdeset šest posto studenata ocijenilo je virtualnog predavača bez sličnosti, ali manje studenata (49%) ocijenilo je virtualnog predavača sa sličnošću. Ovi nalazi sugeriraju da mnogi studenti medicine ispunjavaju SET-ove naslijepo, čak i kada su popraćeni fotografijama, bez pažljivog razmatranja koga procjenjuju, a kamoli performansi predavača. To ometa poboljšanje kvalitete programa i može biti štetno za akademski napredak nastavnika. Istraživači predlažu okvir koji nudi radikalno drugačiji pristup SET-u koji aktivno i predano angažira studente.
Postoje mnoge druge razlike u obrazovnom programu medicinskih programa u usporedbi s drugim općim programima visokog obrazovanja [11]. Medicinsko obrazovanje, poput profesionalnog zdravstvenog obrazovanja, jasno je usmjereno na razvoj jasno definiranih profesionalnih uloga (klinička praksa). Kao rezultat toga, nastavni planovi i programi medicinskih i zdravstvenih programa postaju statičniji, s ograničenim izborom kolegija i nastavnika. Zanimljivo je da se kolegiji medicinskog obrazovanja često nude u kohorti, pri čemu svi studenti pohađaju isti kolegij u isto vrijeme svakog semestra. Stoga upis velikog broja studenata (obično n = 100 ili više) može utjecati na format nastave, kao i na odnos nastavnik-student. Štoviše, u mnogim medicinskim fakultetima psihometrijska svojstva većine instrumenata ne procjenjuju se pri početnoj upotrebi, a svojstva većine instrumenata mogu ostati nepoznata [11].
Nekoliko studija provedenih posljednjih nekoliko godina pružilo je dokaze da se SET može poboljšati rješavanjem nekih važnih čimbenika koji mogu utjecati na učinkovitost SET-a na instrumentalnoj, administrativnoj i interpretativnoj razini. Slika 3 prikazuje neke od koraka koji se mogu koristiti za stvaranje učinkovitog SET modela. Sljedeći odjeljci pružaju detaljniji opis.
Poboljšati SET na instrumentalnoj, upravljačkoj i interpretativnoj razini kako bi se razvili učinkoviti SET modeli.
Kao što je ranije spomenuto, literatura potvrđuje da rodna pristranost može utjecati na ocjenjivanje nastavnika [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46]. Peterson i sur. (2019.) [40] proveli su studiju koja je ispitivala utječe li spol učenika na odgovore učenika na napore za ublažavanje pristranosti. U ovoj studiji, SET je proveden u četiri razreda (dva su predavala muška učitelja i dva su predavala ženske učiteljice). Unutar svakog predmeta, učenici su nasumično raspoređeni u razrede koji su primili standardni alat za procjenu ili isti alat, ali koristeći jezik osmišljen za smanjenje rodne pristranosti. Studija je otkrila da su učenici koji su koristili alate za procjenu bez pristranosti dali učiteljicama značajno više SET rezultate od učenika koji su koristili standardne alate za procjenu. Štoviše, nije bilo razlika u ocjenama muških učitelja između dvije skupine. Rezultati ove studije su značajni i pokazuju kako relativno jednostavna jezična intervencija može smanjiti rodnu pristranost u studentskim ocjenjivanjima nastave. Stoga je dobra praksa pažljivo razmotriti sve SET-ove i koristiti jezik za smanjenje rodne pristranosti u njihovom razvoju [40].
Kako bi se dobili korisni rezultati iz bilo kojeg SET-a, važno je unaprijed pažljivo razmotriti svrhu procjene i formulaciju pitanja. Iako većina SET anketa jasno navodi odjeljak o organizacijskim aspektima kolegija, tj. „Evaluacija kolegija“, i odjeljak o nastavnicima, tj. „Evaluacija nastavnika“, u nekim anketama razlika možda nije očita ili može doći do zbrke među studentima oko toga kako pojedinačno procijeniti svako od ovih područja. Stoga dizajn upitnika mora biti prikladan, pojasniti dva različita dijela upitnika i osvijestiti studente o tome što treba procijeniti u svakom području. Osim toga, preporučuje se pilot testiranje kako bi se utvrdilo interpretiraju li studenti pitanja na predviđeni način [24]. U studiji Oermanna i suradnika (2018.) [26], istraživači su pretražili i sintetizirali literaturu koja opisuje upotrebu SET-a u širokom rasponu disciplina u dodiplomskom i diplomskom obrazovanju kako bi edukatorima pružili smjernice o upotrebi SET-a u sestrinstvu i drugim programima zdravstvenih stručnjaka. Rezultati sugeriraju da bi SET instrumente trebalo procijeniti prije upotrebe, uključujući pilot testiranje instrumenata sa studentima koji možda neće moći interpretirati stavke ili pitanja SET instrumenta kako je namjeravao predavač.
Nekoliko je studija ispitalo utječe li model upravljanja SET-om na angažman studenata.
Daumier i sur. (2004.) [47] usporedili su studentske ocjene obuke instruktora završene u nastavi s ocjenama prikupljenim online uspoređujući broj odgovora i ocjena. Istraživanja pokazuju da online ankete obično imaju niže stope odgovora od anketa u nastavi. Međutim, studija je otkrila da online procjene nisu dale značajno drugačije prosječne ocjene od tradicionalnih procjena u učionici.
Prijavljen je nedostatak dvosmjerne komunikacije između studenata i nastavnika tijekom ispunjavanja online (ali često tiskanih) SET-ova, što je rezultiralo nedostatkom mogućnosti za pojašnjenje. Stoga značenje SET pitanja, komentara ili studentskih evaluacija možda nije uvijek jasno [48]. Neke su institucije riješile ovaj problem tako što su studente okupile na sat vremena i dodijelile određeno vrijeme za online (anonimno) ispunjavanje SET-a [49]. U svojoj studiji, Malone i sur. (2018.) [49] održali su nekoliko sastanaka kako bi sa studentima razgovarali o svrsi SET-a, tko će vidjeti rezultate SET-a i kako će se rezultati koristiti, te o svim drugim pitanjima koja studenti postave. SET se provodi slično fokus grupi: kolektivna grupa odgovara na otvorena pitanja neformalnim glasanjem, raspravom i pojašnjenjem. Stopa odgovora bila je preko 70–80%, pružajući nastavnicima, administratorima i odborima za nastavni plan i program opsežne informacije [49].
Kao što je gore spomenuto, u studiji Uitdehaagea i O'Neilla [5], istraživači su izvijestili da su studenti u njihovoj studiji ocjenjivali nepostojeće nastavnike. Kao što je ranije spomenuto, ovo je čest problem u medicinskim kolegijima, gdje svaki kolegij može predavati mnogo članova fakulteta, ali se studenti možda ne sjećaju tko je doprinio svakom kolegiju ili što je svaki član fakulteta radio. Neke su institucije riješile ovaj problem pružanjem fotografije svakog predavača, njegovog/njezinog imena i teme/datuma predstavljanja kako bi osvježile pamćenje studenata i izbjegli probleme koji ugrožavaju učinkovitost SET-a [49].
Možda najvažniji problem povezan sa SET-om jest taj što učitelji ne mogu ispravno interpretirati kvantitativne i kvalitativne rezultate SET-a. Neki učitelji možda žele provoditi statističke usporedbe tijekom godina, neki mogu smatrati manja povećanja/smanjenja prosječnih rezultata značajnim promjenama, neki žele vjerovati svakoj anketi, a drugi su potpuno skeptični prema bilo kojoj anketi [45,50, 51].
Neuspjeh u ispravnom tumačenju rezultata ili obradi povratnih informacija studenata može utjecati na stavove nastavnika prema poučavanju. Rezultati Lutovca i suradnika (2017.) [52] Podržavajuća obuka nastavnika je neophodna i korisna za pružanje povratnih informacija studentima. Medicinskom obrazovanju hitno je potrebna obuka za ispravno tumačenje SET rezultata. Stoga bi nastavnici medicinskih fakulteta trebali dobiti obuku o tome kako procijeniti ishode i važna područja na koja bi se trebali usredotočiti [50, 51].
Stoga opisani rezultati upućuju na to da SET-ove treba pažljivo osmisliti, provoditi i interpretirati kako bi se osiguralo da rezultati SET-a imaju značajan utjecaj na sve relevantne dionike, uključujući nastavno osoblje, administratore medicinskih fakulteta i studente.
Zbog nekih ograničenja SET-a, trebali bismo nastaviti težiti stvaranju sveobuhvatnog sustava evaluacije kako bismo smanjili pristranost u učinkovitosti poučavanja i podržali profesionalni razvoj medicinskih edukatora.
Potpunije razumijevanje kvalitete nastave kliničkog nastavnog osoblja može se postići prikupljanjem i triangulacijom podataka iz više izvora, uključujući studente, kolege, administratore programa i samoprocjene nastavnog osoblja [53, 54, 55, 56, 57]. Sljedeći odjeljci opisuju moguće druge alate/metode koje se mogu koristiti uz učinkovit SET kako bi se pomoglo u razvoju prikladnijeg i potpunijeg razumijevanja učinkovitosti obuke (Slika 4).
Metode koje se mogu koristiti za razvoj sveobuhvatnog modela sustava za procjenu učinkovitosti nastave na medicinskom fakultetu.
Fokusna grupa definira se kao „grupna rasprava organizirana za istraživanje određenog skupa pitanja“ [58]. Tijekom posljednjih nekoliko godina, medicinski fakulteti su stvorili fokusne grupe kako bi dobili kvalitetne povratne informacije od studenata i riješili neke od zamki online SET-a. Ove studije pokazuju da su fokusne grupe učinkovite u pružanju kvalitetnih povratnih informacija i povećanju zadovoljstva studenata [59, 60, 61].
U studiji Brundlea i suradnika [59] istraživači su implementirali proces evaluacije studenata koji je omogućio voditeljima kolegija i studentima da raspravljaju o kolegijima u fokus grupama. Rezultati pokazuju da rasprave u fokus grupama nadopunjuju online procjene i povećavaju zadovoljstvo studenata cjelokupnim procesom procjene kolegija. Studenti cijene priliku izravne komunikacije s voditeljima kolegija i vjeruju da ovaj proces može doprinijeti poboljšanju obrazovanja. Također su smatrali da su mogli razumjeti gledište voditelja kolegija. Osim studenata, voditelji kolegija također su ocijenili da fokus grupe olakšavaju učinkovitiju komunikaciju sa studentima [59]. Dakle, korištenje fokus grupa može medicinskim fakultetima pružiti potpunije razumijevanje kvalitete svakog kolegija i učinkovitosti poučavanja dotičnog fakulteta. Međutim, treba napomenuti da same fokus grupe imaju neka ograničenja, kao što je samo mali broj studenata koji u njima sudjeluju u usporedbi s online SET programom, koji je dostupan svim studentima. Osim toga, provođenje fokus grupa za različite kolegije može biti dugotrajan proces za savjetnike i studente. To predstavlja značajna ograničenja, posebno za studente medicine koji imaju vrlo zauzete rasporede i mogu obavljati kliničku praksu na različitim geografskim lokacijama. Osim toga, fokus grupe zahtijevaju veliki broj iskusnih voditelja. Međutim, uključivanje fokusnih grupa u proces evaluacije može pružiti detaljnije i specifičnije informacije o učinkovitosti obuke [48, 59, 60, 61].
Schiekierka-Schwacke i sur. (2018.) [62] ispitali su percepciju studenata i nastavnika o novom alatu za procjenu uspješnosti nastavnika i ishoda učenja studenata na dva njemačka medicinska fakulteta. Provedene su fokus grupe i individualni intervjui s nastavnicima i studentima medicine. Nastavnici su cijenili osobne povratne informacije koje je pružio alat za procjenu, a studenti su izvijestili da bi trebalo stvoriti petlju povratnih informacija, uključujući ciljeve i posljedice, kako bi se potaknulo izvještavanje o podacima procjene. Stoga rezultati ove studije podupiru važnost zatvaranja petlje komunikacije sa studentima i informiranja o rezultatima procjene.
Programi kolegijalnog pregleda nastave (PRT) vrlo su važni i već se dugi niz godina provode u visokom obrazovanju. PRT uključuje suradnički proces promatranja nastave i pružanja povratnih informacija promatraču kako bi se poboljšala učinkovitost nastave [63]. Osim toga, vježbe samorefleksije, strukturirane rasprave nakon nastave i sustavno dodjeljivanje obučenih kolega mogu pomoći u poboljšanju učinkovitosti PRT-a i nastavne kulture odjela [64]. Izvještava se da ovi programi imaju mnoge prednosti jer mogu pomoći nastavnicima da dobiju konstruktivne povratne informacije od kolega koji su se možda suočili sa sličnim poteškoćama u prošlosti i mogu pružiti veću podršku davanjem korisnih prijedloga za poboljšanje [63]. Štoviše, kada se koristi konstruktivno, kolegijalno pregledavanje može poboljšati sadržaj kolegija i metode izvedbe te podržati medicinske edukatore u poboljšanju kvalitete njihove nastave [65, 66].
Nedavna studija Campbella i suradnika (2019.) [67] pruža dokaze da je model vršnjačke podrške na radnom mjestu prihvatljiva i učinkovita strategija razvoja nastavnika za kliničke zdravstvene edukatore. U drugoj studiji, Caygill i suradnici [68] proveli su studiju u kojoj je posebno osmišljen upitnik poslan zdravstvenim edukatorima na Sveučilištu u Melbourneu kako bi im se omogućilo da podijele svoja iskustva korištenja PRT-a. Rezultati pokazuju da postoji potisnuti interes za PRT među medicinskim edukatorima te da se dobrovoljni i informativni format vršnjačke recenzije smatra važnom i vrijednom prilikom za profesionalni razvoj.
Vrijedi napomenuti da PRT programi moraju biti pažljivo osmišljeni kako bi se izbjeglo stvaranje osuđujućeg, „menadžerskog“ okruženja koje često dovodi do povećane anksioznosti među promatranim nastavnicima [69]. Stoga bi cilj trebao biti pažljivo razviti PRT planove koji će nadopuniti i olakšati stvaranje sigurnog okruženja te pružiti konstruktivne povratne informacije. Stoga je potrebna posebna obuka za obuku recenzenata, a PRT programi trebaju uključivati samo istinski zainteresirane i iskusne nastavnike. To je posebno važno ako se informacije dobivene iz PRT-a koriste u donošenju odluka fakulteta kao što su promaknuća na više razine, povećanja plaća i promaknuća na važne administrativne pozicije. Treba napomenuti da PRT oduzima puno vremena i, poput fokus grupa, zahtijeva sudjelovanje velikog broja iskusnih članova fakulteta, što ovaj pristup čini teškim za provedbu na medicinskim fakultetima s niskim resursima.
Newman i sur. (2019.) [70] opisuju strategije korištene prije, tijekom i nakon obuke, opažanja koja ističu najbolje prakse i identificiraju rješenja za probleme učenja. Istraživači su recenzentima dali 12 prijedloga, uključujući: (1) mudro birati riječi; (2) dopustiti promatraču da odredi smjer rasprave; (3) održavati povratne informacije povjerljivima i formatiranima; (4) održavati povratne informacije povjerljivima i formatiranima; Povratne informacije usmjerene su na vještine poučavanja, a ne na pojedinog učitelja; (5) upoznati svoje kolege (6) biti obzirni prema sebi i drugima (7) zapamtiti da zamjenice igraju važnu ulogu u pružanju povratnih informacija, (8) koristiti pitanja kako bi se osvijetlila perspektiva poučavanja, (10) uspostaviti povjerenje u procese i povratne informacije u vršnjačkim opažanjima, (11) učiniti promatranje učenja obostrano korisnim, (12) stvoriti akcijski plan. Istraživači također istražuju utjecaj pristranosti na opažanja i kako proces učenja, promatranja i rasprave o povratnim informacijama može pružiti vrijedna iskustva učenja za obje strane, što dovodi do dugoročnih partnerstava i poboljšane kvalitete obrazovanja. Gomaly i sur. (2014.) [71] izvijestili su da kvaliteta učinkovite povratne informacije treba uključivati (1) pojašnjenje zadatka davanjem uputa, (2) povećanu motivaciju za poticanje većeg truda i (3) primateljevu percepciju o tome kao o vrijednom procesu. dobiveno od uglednog izvora.
Iako nastavnici medicinskog fakulteta primaju povratne informacije o PRT-u, važno ih je obučiti o tome kako interpretirati povratne informacije (slično preporuci za obuku u interpretaciji SET-a) i dati im dovoljno vremena za konstruktivno razmišljanje o primljenim povratnim informacijama.
Vrijeme objave: 24. studenog 2023.