Evaluacija nastavnog plana i programa i fakulteta ključna je za sve institucije visokog obrazovanja, uključujući medicinske škole.Studentske evaluacije nastave (SET) obično imaju oblik anonimnih upitnika, i iako su izvorno razvijene za evaluaciju kolegija i programa, s vremenom su se također koristile za mjerenje učinkovitosti nastave i naknadno donošenje važnih odluka vezanih uz nastavu.Profesionalni razvoj nastavnika.Međutim, određeni čimbenici i pristranosti mogu utjecati na rezultate SET-a i učinkovitost poučavanja ne može se objektivno mjeriti.Iako je literatura o evaluaciji kolegija i fakulteta u općem visokom obrazovanju dobro poznata, postoji zabrinutost oko korištenja istih alata za evaluaciju kolegija i fakulteta u medicinskim programima.Konkretno, SET u općem visokom obrazovanju ne može se izravno primijeniti na izradu i provedbu kurikuluma u medicinskim školama.Ovaj pregled daje pregled načina na koji se SET može poboljšati na razini instrumenta, upravljanja i interpretacije.Osim toga, ovaj članak ističe da korištenjem različitih metoda kao što su revizija kolega, fokusne grupe i samoprocjena za prikupljanje i triangulaciju podataka iz više izvora, uključujući učenike, kolege, voditelje programa i samosvijest, sveobuhvatan sustav ocjenjivanja može biti izgrađen.Učinkovito izmjerite učinkovitost poučavanja, podržite profesionalni razvoj medicinskih edukatora i poboljšajte kvalitetu poučavanja u medicinskom obrazovanju.
Evaluacija kolegija i programa interni je proces kontrole kvalitete na svim visokim učilištima, uključujući i medicinske fakultete.Studentska evaluacija poučavanja (SET) obično ima oblik anonimnog papira ili online upitnika koji koristi ljestvicu ocjenjivanja kao što je Likertova ljestvica (obično pet, sedam ili više) koja omogućuje ljudima da izraze svoje slaganje ili stupanj slaganja.Ne slažem se s određenim izjavama) [1,2,3].Iako su SET izvorno razvijeni za evaluaciju kolegija i programa, s vremenom su se također koristili za mjerenje učinkovitosti podučavanja [4, 5, 6].Učinkovitost poučavanja smatra se važnom jer se pretpostavlja da postoji pozitivan odnos između učinkovitosti poučavanja i učenja učenika [7].Iako u literaturi nije jasno definirana učinkovitost treninga, ona se obično specificira kroz specifične karakteristike treninga, kao što su „grupna interakcija“, „priprema i organizacija“, „povratna informacija studentima“ [8].
Informacije dobivene od SET-a mogu pružiti korisne informacije, primjerice postoji li potreba za prilagodbom nastavnih materijala ili nastavnih metoda koje se koriste u određenom kolegiju.SET se također koristi za donošenje važnih odluka vezanih uz profesionalni razvoj nastavnika [4,5,6].Međutim, prikladnost ovog pristupa je upitna kada visokoškolske ustanove donose odluke koje se tiču fakulteta, kao što su napredovanje u viša akademska zvanja (često povezano sa stažom i povećanjem plaće) i ključnim administrativnim položajima unutar institucije [4, 9].Osim toga, institucije često zahtijevaju od novih fakulteta da u svoje prijave za nova radna mjesta uključe SET-ove s prethodnih institucija, čime utječu ne samo na napredovanja fakulteta unutar institucije, već i na potencijalne nove poslodavce [10].
Iako je literatura o kurikulumu i evaluaciji nastavnika dobro utemeljena u području općeg visokog obrazovanja, to nije slučaj u području medicine i zdravstvene njege [11].Nastavni plan i program i potrebe medicinskih edukatora razlikuju se od onih u općem visokom obrazovanju.Na primjer, timsko učenje često se koristi u integriranim medicinskim obrazovnim tečajevima.To znači da se nastavni plan i program medicinske škole sastoji od niza kolegija koje predaje određeni broj članova fakulteta koji imaju obuku i iskustvo u različitim medicinskim disciplinama.Iako učenici imaju koristi od dubinskog znanja stručnjaka u tom području pod ovom strukturom, često se suočavaju s izazovom prilagodbe različitim stilovima poučavanja svakog nastavnika [1, 12, 13, 14].
Iako postoje razlike između općeg visokog obrazovanja i medicinskog obrazovanja, SET koji se koristi u prvom također se ponekad koristi u tečajevima medicine i zdravstvene njege.Međutim, provedba SET-a u općem visokom obrazovanju postavlja mnoge izazove u smislu kurikuluma i evaluacije fakulteta u programima zdravstvenih djelatnika [11].Konkretno, zbog razlika u metodama podučavanja i kvalifikacijama nastavnika, rezultati vrednovanja predmeta možda neće uključivati mišljenja studenata o svim učiteljima ili razredima.Istraživanje Uytenhaagea i O'Neilla (2015.) [5] sugerira da bi traženje od učenika da ocijene sve pojedinačne nastavnike na kraju predmeta moglo biti neprikladno jer je studentima gotovo nemoguće zapamtiti i komentirati ocjene više nastavnika.kategorije.Osim toga, mnogi nastavnici medicinske edukacije također su liječnici za koje je podučavanje samo mali dio njihovih odgovornosti [15, 16].Budući da su prvenstveno uključeni u brigu o pacijentima i, u mnogim slučajevima, u istraživanje, često imaju malo vremena za razvoj svojih vještina podučavanja.Međutim, liječnici kao učitelji trebaju dobiti vrijeme, podršku i konstruktivne povratne informacije od svojih organizacija [16].
Studenti medicine obično su visoko motivirani i marljivi pojedinci koji se uspješno upisuju na medicinski fakultet (kroz natjecateljski i zahtjevan proces na međunarodnoj razini).Osim toga, tijekom studija medicine od studenata medicine očekuje se da steknu veliku količinu znanja i razviju veliki broj vještina u kratkom vremenskom razdoblju, kao i da uspiju u složenim internim i sveobuhvatnim nacionalnim procjenama [17,18,19]. ,20].Stoga, zbog visokih standarda koji se očekuju od studenata medicine, studenti medicine mogu biti kritičniji i imati veća očekivanja od visokokvalitetne nastave od studenata drugih disciplina.Stoga studenti medicine mogu imati niže ocjene od svojih profesora u usporedbi sa studentima drugih disciplina iz gore navedenih razloga.Zanimljivo je da su prethodne studije pokazale pozitivan odnos između motivacije učenika i individualnih procjena nastavnika [21].Osim toga, tijekom proteklih 20 godina, većina nastavnih programa medicinskih škola diljem svijeta postala je vertikalno integrirana [22], tako da su studenti izloženi kliničkoj praksi od najranijih godina svog programa.Stoga su tijekom posljednjih nekoliko godina liječnici postali sve više uključeni u obrazovanje studenata medicine, podržavajući, čak i rano u svojim programima, važnost razvoja SET-ova prilagođenih specifičnim populacijama fakulteta [22].
Zbog gore navedene specifične prirode medicinskog obrazovanja, SET-ovi koji se koriste za evaluaciju kolegija općeg visokog obrazovanja koje predaje jedan član fakulteta trebali bi se prilagoditi za evaluaciju integriranog kurikuluma i kliničkih fakultetskih medicinskih programa [14].Stoga postoji potreba za razvojem učinkovitijih SET modela i sveobuhvatnih sustava procjene za učinkovitiju primjenu u medicinskom obrazovanju.
Trenutačni pregled opisuje nedavni napredak u korištenju SET-a u (općem) visokom obrazovanju i njegova ograničenja, a zatim ocrtava različite potrebe SET-a za medicinske obrazovne tečajeve i fakultete.Ovaj pregled pruža ažurirane informacije o tome kako se SET može poboljšati na instrumentalnoj, administrativnoj i interpretativnoj razini i fokusira se na ciljeve razvoja učinkovitih SET modela i sveobuhvatnih sustava ocjenjivanja koji će učinkovito mjeriti učinkovitost poučavanja, podržati razvoj profesionalnih zdravstvenih edukatora i poboljšati kvaliteta nastave u medicinskom obrazovanju.
Ova studija slijedi studiju Greena i sur.(2006) [23] za savjet i Baumeister (2013) [24] za savjet o pisanju narativnih prikaza.Odlučili smo napisati narativnu recenziju o ovoj temi jer ova vrsta recenzije pomaže predstaviti široku perspektivu na temu.Štoviše, budući da se narativni pregledi oslanjaju na metodološki različite studije, oni pomažu odgovoriti na šira pitanja.Osim toga, narativni komentar može pomoći u poticanju razmišljanja i rasprave o temi.
Kako se SET koristi u medicinskom obrazovanju i koji su izazovi u usporedbi sa SET-om koji se koristi u općem visokom obrazovanju,
Baze podataka Pubmed i ERIC pretražene su kombinacijom pojmova za pretraživanje "evaluacija nastave studenata", "učinkovitost nastave", "medicinsko obrazovanje", "visoko obrazovanje", "evaluacija nastavnog plana i programa i fakulteta", a za Peer Review 2000, logičkih operatora .članci objavljeni između 2021. i 2021. Kriteriji uključivanja: Uključene studije bile su izvorne studije ili pregledni članci, a studije su bile relevantne za područja tri glavna istraživačka pitanja.Kriteriji za isključenje: Studije koje nisu bile na engleskom jeziku ili studije u kojima se nisu mogli pronaći cjeloviti tekstovi ili nisu bili relevantni za tri glavna istraživačka pitanja isključene su iz trenutnog recenziranog dokumenta.Nakon odabira publikacija, one su organizirane u sljedeće teme i povezane podteme: (a) Upotreba SET-a u općem visokom obrazovanju i njegova ograničenja, (b) Upotreba SET-a u medicinskom obrazovanju i njegova relevantnost za rješavanje pitanja povezanih s usporedbom SET (c ) Poboljšanje SET-a na instrumentalnoj, upravljačkoj i interpretativnoj razini za razvoj učinkovitih SET modela.
Slika 1 prikazuje dijagram toka odabranih članaka uključenih i raspravljenih u trenutnom dijelu recenzije.
SET se tradicionalno koristi u visokom obrazovanju i tema je dobro proučena u literaturi [10, 21].Međutim, veliki broj studija ispitao je njihova brojna ograničenja i nastojanja da se ta ograničenja riješe.
Istraživanja pokazuju da postoje mnoge varijable koje utječu na SET rezultate [10, 21, 25, 26].Stoga je važno da administratori i nastavnici razumiju ove varijable kada tumače i koriste podatke.Sljedeći odjeljak daje kratak pregled ovih varijabli.Slika 2 prikazuje neke čimbenike koji utječu na SET rezultate, a koji su detaljno opisani u sljedećim odjeljcima.
Posljednjih se godina povećala upotreba mrežnih kompleta u usporedbi s papirnatim setovima.Međutim, dokazi u literaturi sugeriraju da se online SET može završiti bez da učenici posvete potrebnu pozornost procesu završetka.U zanimljivoj studiji koju su proveli Uitdehaage i O'Neill [5], nepostojeći učitelji dodani su u SET i mnogi su učenici dali povratne informacije [5].Štoviše, dokazi u literaturi sugeriraju da studenti često vjeruju da završetak SET-a ne dovodi do poboljšanja obrazovnih postignuća, što, u kombinaciji s prezauzetim rasporedom studenata medicine, može rezultirati nižim stopama odgovora [27].Iako istraživanja pokazuju da se mišljenja učenika koji polažu test ne razlikuju od mišljenja cijele skupine, niske stope odgovora ipak mogu navesti nastavnike da rezultate shvate manje ozbiljno [28].
Većina mrežnih SET-ova ispunjava se anonimno.Ideja je omogućiti učenicima da slobodno izražavaju svoja mišljenja bez pretpostavke da će njihovo izražavanje imati bilo kakav utjecaj na njihove buduće odnose s učiteljima.U studiji Alfonsa et al. [29], istraživači su koristili anonimne ocjene i ocjene u kojima su ocjenjivači morali navesti svoja imena (javne ocjene) kako bi procijenili učinkovitost poučavanja medicinskog fakulteta od strane specijalizanata i studenata medicine.Rezultati su pokazali da učitelji općenito postižu niže rezultate na anonimnim procjenama.Autori tvrde da su učenici iskreniji u anonimnim procjenama zbog određenih prepreka u otvorenim procjenama, kao što su oštećeni radni odnosi s nastavnicima koji sudjeluju [29].Međutim, također treba napomenuti da anonimnost koja se često povezuje s online SET-om može navesti neke učenike na nepoštovanje i odmazdu prema instruktoru ako rezultati ocjenjivanja ne ispunjavaju očekivanja učenika [30].Međutim, istraživanja pokazuju da studenti rijetko daju povratne informacije bez poštovanja, a one se mogu dodatno ograničiti podučavanjem učenika da daju konstruktivne povratne informacije [30].
Nekoliko je studija pokazalo da postoji korelacija između studentskih SET rezultata, njihovih očekivanja uspješnosti na ispitu i njihovog zadovoljstva testom [10, 21].Na primjer, Strobe (2020) [9] je izvijestio da učenici nagrađuju lagane tečajeve, a učitelji slabe ocjene, što može potaknuti loše poučavanje i dovesti do inflacije ocjena [9].U nedavnoj studiji, Looi i sur.(2020.) [31] Istraživači su izvijestili da su povoljniji SET-ovi povezani i da ih je lakše procijeniti.Štoviše, postoje uznemirujući dokazi da je SET obrnuto proporcionalan učinku studenata u sljedećim kolegijima: što je ocjena viša, to je lošiji uspjeh studenata u sljedećim kolegijima.Cornell i sur.(2016)[32] proveli su studiju kako bi ispitali jesu li studenti relativno više naučili od nastavnika čiji su SET visoko ocijenili.Rezultati pokazuju da kada se učenje ocjenjuje na kraju tečaja, učitelji s najvišim ocjenama također doprinose učenju većine učenika.Međutim, kada se učenje mjeri učinkom u sljedećim relevantnim predmetima, učitelji s relativno niskim ocjenama najučinkovitiji su.Istraživači su pretpostavili da bi stvaranje tečaja izazovnijim na produktivan način moglo smanjiti ocjene, ali poboljšati učenje.Dakle, studentske ocjene ne bi trebale biti jedina osnova za vrednovanje nastave, već ih treba priznati.
Nekoliko studija pokazuje da na izvedbu SET-a utječe sam tečaj i njegova organizacija.Ming i Baozhi [33] su u svojoj studiji otkrili da postoje značajne razlike u SET rezultatima među učenicima u različitim predmetima.Na primjer, kliničke znanosti imaju više rezultate SET od temeljnih znanosti.Autori su objasnili da je to zato što su studenti medicine zainteresirani da postanu liječnici i stoga imaju osobni interes i veću motivaciju da više sudjeluju u kliničkim znanstvenim kolegijima u usporedbi s osnovnim znanstvenim kolegijima [33].Kao i kod izbornih predmeta, motivacija učenika za predmet također pozitivno utječe na bodove [21].Nekoliko drugih studija također podržava da vrsta tečaja može utjecati na SET rezultate [10, 21].
Štoviše, druga su istraživanja pokazala da što je manji razred, to je viša razina SET-a koju postižu učitelji [10, 33].Jedno od mogućih objašnjenja je da manje veličine razreda povećavaju mogućnosti interakcije učitelja i učenika.Osim toga, uvjeti u kojima se ocjenjivanje provodi mogu utjecati na rezultate.Na primjer, čini se da na rezultate SET-a utječe vrijeme i dan kada se tečaj predaje, kao i dan u tjednu kada je SET završen (npr. ocjenjivanja dovršena vikendom obično rezultiraju pozitivnijim rezultatima) od ocjenjivanja završenih ranije u tjednu.[10].
Zanimljiva studija Hesslera i suradnika također dovodi u pitanje učinkovitost SET-a.[34].U ovoj studiji, randomizirano kontrolirano ispitivanje provedeno je na tečaju hitne medicine.Studenti treće godine medicine nasumično su raspoređeni ili u kontrolnu skupinu ili u skupinu koja je dobila besplatne kekse s komadićima čokolade (skupina kolačića).Sve grupe podučavali su isti učitelji, a sadržaj obuke i materijali tečaja bili su identični za obje grupe.Nakon tečaja, svi studenti su zamoljeni da popune set.Rezultati su pokazali da je skupina koja je primala kolačiće učitelje ocijenila znatno boljom od kontrolne skupine, dovodeći u pitanje učinkovitost SET-a [34].
Dokazi u literaturi također podupiru da spol može utjecati na SET rezultate [35,36,37,38,39,40,41,42,43,44,45,46].Na primjer, neka su istraživanja pokazala odnos između spola učenika i rezultata ocjenjivanja: učenice su postigle više bodova od učenika [27].Većina dokaza potvrđuje da studenti niže ocjenjuju učiteljice nego nastavnike [37, 38, 39, 40].Na primjer, Boring et al.[38] pokazalo je da i studenti i studentice vjeruju da su muškarci obrazovaniji i da imaju jače liderske sposobnosti od žena.Činjenicu da spol i stereotipi utječu na SET također podupire studija MacNell et al.[41], koji je izvijestio da su studenti u njegovoj studiji ocijenili učiteljice nižim od nastavnika u različitim aspektima nastave [41].Štoviše, Morgan i suradnici [42] pružili su dokaze da su liječnice dobile niže ocjene u nastavi u četiri glavne kliničke rotacije (kirurgija, pedijatrija, opstetricija i ginekologija te interna medicina) u usporedbi s liječnicima.
U studiji Murraya i suradnika (2020.) [43], istraživači su izvijestili da su privlačnost fakulteta i interes studenata za kolegij povezani s višim SET rezultatima.Nasuprot tome, težina tečaja povezana je s nižim SET rezultatima.Osim toga, studenti su dali više ocjene SET mladim bijelcima, nastavnicima humanističkih znanosti i profesorima na fakultetima koji su redoviti profesori.Nije bilo korelacija između evaluacija nastave SET-a i rezultata ankete nastavnika.Druge studije također potvrđuju pozitivan utjecaj fizičke privlačnosti nastavnika na rezultate ocjenjivanja [44].
Clayson i sur.(2017.) [45] izvijestili su da iako postoji opće slaganje da SET daje pouzdane rezultate i da su prosjeci razreda i nastavnika dosljedni, još uvijek postoje nedosljednosti u individualnim odgovorima učenika.Ukratko, rezultati ovog izvješća o ocjenjivanju pokazuju da se studenti nisu slagali s onim što su zamoljeni da ocijene.Mjere pouzdanosti izvedene iz studentskih evaluacija nastave nisu dovoljne da bi pružile osnovu za utvrđivanje valjanosti.Stoga SET ponekad može pružiti informacije o učenicima, a ne o učiteljima.
Zdravstveno obrazovanje SET razlikuje se od tradicionalnog SET-a, ali edukatori često koriste SET koji je dostupan u općem visokom obrazovanju, a ne SET specifičan za programe zdravstvenih profesija o kojima se govori u literaturi.Međutim, istraživanja provedena tijekom godina identificirala su nekoliko problema.
Jones i dr. (1994).[46] proveli su studiju kako bi odredili pitanje kako ocijeniti fakultet medicinske škole iz perspektive nastavnika i administratora.Općenito, najčešće spominjana pitanja vezana su uz vrednovanje nastave.Najčešće su bile općenite pritužbe na neadekvatnost trenutnih metoda ocjenjivanja uspješnosti, a ispitanici su iznosili i posebne pritužbe na SET i nedostatak priznavanja nastave u sustavima akademskog nagrađivanja.Ostali prijavljeni problemi uključivali su nedosljedne postupke ocjenjivanja i kriterije napredovanja u svim odjelima, nedostatak redovitih ocjenjivanja i nepovezanost rezultata ocjenjivanja s plaćama.
Royal i suradnici (2018.) [11] ocrtavaju neka od ograničenja korištenja SET-a za evaluaciju nastavnog plana i programa i nastavnog osoblja u programima zdravstvene struke u općem visokom obrazovanju.Istraživači izvješćuju da se SET u visokom obrazovanju suočava s različitim izazovima jer se ne može izravno primijeniti na dizajn kurikuluma i predavanje kolegija u medicinskim školama.Često postavljana pitanja, uključujući pitanja o instruktoru i tečaju, često su spojena u jedan upitnik, pa ih studenti često teško razlikuju.Osim toga, kolegije u medicinskim programima često predaje više članova fakulteta.Ovo postavlja pitanja valjanosti s obzirom na potencijalno ograničen broj interakcija između učenika i nastavnika koje su ocijenili Royal i sur.(2018)[11].U studiji Hwanga i sur.(2017.) [14], istraživači su ispitali koncept kako retrospektivne evaluacije tečajeva sveobuhvatno odražavaju percepcije studenata o tečajevima raznih instruktora.Njihovi rezultati upućuju na to da je individualizirano ocjenjivanje razreda nužno za upravljanje kolegijima s više odjela unutar integriranog kurikuluma medicinske škole.
Uitdehaage i O'Neill (2015.) [5] ispitali su u kojoj su mjeri studenti medicine namjerno polagali SET u učionici s više fakulteta.Svaki od dva predklinička tečaja imao je fiktivnog instruktora.Studenti moraju dati anonimne ocjene svim instruktorima (uključujući fiktivne instruktore) unutar dva tjedna nakon završetka tečaja, ali mogu odbiti ocijeniti instruktora.Sljedeće godine to se ponovilo, ali je uvršten i portret izmišljenog predavača.Šezdeset i šest posto učenika ocijenilo je virtualnog instruktora bez sličnosti, ali je manje učenika (49%) ocijenilo virtualnog instruktora s prisutnom sličnošću.Ovi nalazi upućuju na to da mnogi studenti medicine ispunjavaju SET-ove naslijepo, čak i uz fotografije, bez pažljivog razmatranja koga ocjenjuju, a kamoli uspješnost instruktora.To sprječava poboljšanje kvalitete programa i može biti štetno za akademski napredak nastavnika.Istraživači predlažu okvir koji nudi radikalno drugačiji pristup SET-u koji aktivno i aktivno uključuje studente.
Postoje mnoge druge razlike u obrazovnom kurikulumu medicinskih programa u usporedbi s drugim programima općeg visokog obrazovanja [11].Medicinsko obrazovanje, kao i stručno zdravstveno obrazovanje, jasno je usmjereno na razvoj jasno definiranih profesionalnih uloga (kliničke prakse).Kao rezultat toga, nastavni programi medicinskih i zdravstvenih programa postaju statičniji, s ograničenim izborom predmeta i fakulteta.Zanimljivo je da se tečajevi medicinskog obrazovanja često nude u kohortnom formatu, pri čemu svi studenti pohađaju isti predmet u isto vrijeme svakog semestra.Stoga upis velikog broja studenata (obično n = 100 ili više) može utjecati na oblik nastave kao i na odnos nastavnik-učenik.Štoviše, u mnogim medicinskim školama psihometrijska svojstva većine instrumenata ne procjenjuju se nakon početne uporabe, a svojstva većine instrumenata mogu ostati nepoznata [11].
Nekoliko studija u proteklih nekoliko godina pružilo je dokaze da se SET može poboljšati rješavanjem nekih važnih čimbenika koji mogu utjecati na učinkovitost SET-a na instrumentalnoj, administrativnoj i interpretativnoj razini.Slika 3 prikazuje neke od koraka koji se mogu koristiti za stvaranje učinkovitog SET modela.Sljedeći odjeljci daju detaljniji opis.
Unaprijediti SET na instrumentalnoj, upravljačkoj i interpretativnoj razini kako bi se razvili učinkoviti SET modeli.
Kao što je ranije spomenuto, literatura potvrđuje da rodna pristranost može utjecati na ocjenjivanje nastavnika [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46].Peterson i sur.(2019) [40] proveli su studiju koja je ispitivala utječe li spol učenika na reakcije učenika na napore za ublažavanje pristranosti.U ovoj studiji SET je primijenjen u četiri razreda (dva u kojima su poučavali učitelji i dva u kojima su poučavale učiteljice).Unutar svakog predmeta, studenti su nasumično raspoređeni da dobiju standardni alat za ocjenjivanje ili isti alat, ali uz korištenje jezika osmišljenog za smanjenje rodne pristranosti.Studija je otkrila da su studenti koji su koristili alate za ocjenjivanje protiv pristranosti učiteljicama dali značajno više ocjene SET od učenika koji su koristili standardne alate za ocjenjivanje.Štoviše, nije bilo razlika u ocjenama muških učitelja između dviju skupina.Rezultati ove studije su značajni i pokazuju kako relativno jednostavna jezična intervencija može smanjiti rodnu pristranost u studentskim procjenama nastave.Stoga je dobra praksa pažljivo razmotriti sve SET-ove i koristiti jezik za smanjenje rodne pristranosti u njihovom razvoju [40].
Kako biste dobili korisne rezultate iz bilo kojeg SET-a, važno je unaprijed pažljivo razmotriti svrhu procjene i formulaciju pitanja.Iako većina SET anketa jasno ukazuje na dio o organizacijskim aspektima kolegija, tj. “Evaluacija kolegija”, i odjeljak o fakultetu, tj. “Evaluacija nastavnika”, u nekim anketama razlika možda nije očita ili može doći do zabune među studentima o tome kako procijeniti svako od ovih područja pojedinačno.Stoga dizajn upitnika mora biti prikladan, razjašnjavati dva različita dijela upitnika i upoznati učenike s onim što treba ocjenjivati u svakom području.Osim toga, preporuča se pilot testiranje kako bi se utvrdilo tumače li studenti pitanja na predviđeni način [24].U studiji Oermanna i sur.(2018) [26], istraživači su pretražili i sintetizirali literaturu koja opisuje upotrebu SET-a u širokom rasponu disciplina u dodiplomskom i diplomskom obrazovanju kako bi nastavnicima pružili smjernice o korištenju SET-a u medicinskim sestrama i drugim zdravstvenim profesionalnim programima.Rezultati sugeriraju da bi instrumente SET trebalo ocijeniti prije upotrebe, uključujući pilot testiranje instrumenata s učenicima koji možda neće moći protumačiti stavke ili pitanja instrumenta SET onako kako je to zamislio instruktor.
Nekoliko studija ispitalo je utječe li model upravljanja SET na angažman studenata.
Daumier i sur.(2004.) [47] uspoređivali su ocjene učenika o obuci instruktora završenoj u razredu s ocjenama prikupljenim na internetu uspoređujući broj odgovora i ocjene.Istraživanja pokazuju da online ankete obično imaju niže stope odgovora od anketa u razredu.Međutim, istraživanje je pokazalo da online ocjenjivanja nisu proizvela značajno različite prosječne ocjene od tradicionalnih ocjenjivanja u učionici.
Prijavljen je nedostatak dvosmjerne komunikacije između učenika i nastavnika tijekom ispunjavanja online (ali često tiskanih) SET-ova, što je rezultiralo nedostatkom mogućnosti za pojašnjenje.Stoga značenje SET pitanja, komentara ili studentskih evaluacija ne mora uvijek biti jasno [48].Neke su se institucije pozabavile ovim problemom okupljanjem učenika na sat vremena i dodjeljivanjem određenog vremena za ispunjavanje SET-a online (anonimno) [49].U svojoj studiji Malone i sur.(2018.) [49] održao je nekoliko sastanaka kako bi razgovarali sa studentima o svrsi SET-a, tko će vidjeti rezultate SET-a i kako će se rezultati koristiti te o svim drugim pitanjima koja su postavili studenti.SET se provodi slično kao fokus grupa: kolektivna grupa odgovara na otvorena pitanja kroz neformalno glasovanje, debatu i pojašnjenje.Stopa odgovora bila je preko 70-80%, pružajući opširne informacije nastavnicima, administratorima i odborima za kurikulum [49].
Kao što je gore spomenuto, u studiji Uitdehaagea i O'Neilla [5], istraživači su izvijestili da su studenti u njihovoj studiji ocjenjivali nepostojeće učitelje.Kao što je ranije spomenuto, ovo je čest problem u kolegijima medicinske škole, gdje svaki kolegij mogu predavati mnogi članovi fakulteta, ali studenti se možda neće sjetiti tko je doprinio svakom kolegiju ili što je svaki član fakulteta radio.Neke su se institucije pozabavile ovim problemom dajući fotografiju svakog predavača, njegovo/njezino ime i prikazanu temu/datum kako bi se studentima osvježila sjećanja i izbjegli problemi koji kompromitiraju učinkovitost SET-a [49].
Možda je najvažniji problem povezan sa SET-om taj što učitelji ne mogu ispravno interpretirati kvantitativne i kvalitativne rezultate SET-a.Neki nastavnici možda žele napraviti statističke usporedbe kroz godine, neki mogu smatrati manja povećanja/smanjenja srednjih rezultata značajnim promjenama, neki žele vjerovati svakoj anketi, a drugi su potpuno skeptični prema bilo kojoj anketi [45, 50, 51].
Neispravno tumačenje rezultata ili obrada povratnih informacija učenika može utjecati na stavove nastavnika prema nastavi.Rezultati Lutovca i sur.(2017) [52] Potporno usavršavanje nastavnika potrebno je i korisno za pružanje povratnih informacija učenicima.Medicinskom obrazovanju hitno je potrebna obuka za ispravno tumačenje rezultata SET-a.Stoga bi nastavno osoblje medicinske škole trebalo proći obuku o tome kako evaluirati ishode i važna područja na koja bi se trebali usredotočiti [50, 51].
Stoga, opisani rezultati sugeriraju da bi SET-ove trebalo pažljivo osmisliti, provoditi i tumačiti kako bi se osiguralo da rezultati SET-a imaju smislen utjecaj na sve relevantne dionike, uključujući fakultete, administratore medicinskih škola i studente.
Zbog nekih ograničenja SET-a, trebali bismo nastaviti težiti stvaranju sveobuhvatnog sustava evaluacije kako bismo smanjili pristranost u učinkovitosti podučavanja i podržali profesionalni razvoj medicinskih edukatora.
Potpunije razumijevanje kvalitete poučavanja kliničkog fakulteta može se steći prikupljanjem i triangulacijom podataka iz više izvora, uključujući studente, kolege, administratore programa i samoprocjene fakulteta [53, 54, 55, 56, 57].Sljedeći odjeljci opisuju moguće druge alate/metode koje se mogu koristiti uz učinkovit SET kako bi se pomoglo u razvoju prikladnijeg i potpunijeg razumijevanja učinkovitosti treninga (Slika 4).
Metode pomoću kojih se može razviti cjeloviti model sustava za procjenu učinkovitosti nastave na medicinskom fakultetu.
Fokusna grupa se definira kao "grupna rasprava organizirana za istraživanje određenog skupa pitanja" [58].Tijekom proteklih nekoliko godina, medicinske škole stvorile su fokusne grupe kako bi dobile kvalitetne povratne informacije od studenata i riješile neke od zamki online SET-a.Ove studije pokazuju da su fokusne grupe učinkovite u pružanju kvalitetnih povratnih informacija i povećanju zadovoljstva studenata [59, 60, 61].
U studiji Brundle i sur.[59] Istraživači su implementirali grupni proces ocjenjivanja studenata koji je omogućio voditeljima kolegija i studentima da raspravljaju o kolegijima u fokus grupama.Rezultati pokazuju da rasprave u fokusnim grupama nadopunjuju online ocjenjivanja i povećavaju zadovoljstvo studenata cjelokupnim procesom ocjenjivanja predmeta.Studenti cijene priliku za izravnu komunikaciju s voditeljima kolegija i vjeruju da ovaj proces može doprinijeti poboljšanju obrazovanja.Također su smatrali da mogu razumjeti gledište voditelja tečaja.Osim studenata, voditelji kolegija također su ocijenili da su fokus grupe omogućile učinkovitiju komunikaciju sa studentima [59].Stoga korištenje fokusnih grupa može medicinskim školama omogućiti potpunije razumijevanje kvalitete svakog predmeta i učinkovitosti podučavanja dotičnog fakulteta.Međutim, treba napomenuti da same fokus grupe imaju određena ograničenja, kao što je mali broj učenika koji sudjeluju u njima u usporedbi s online SET programom koji je dostupan svim studentima.Osim toga, vođenje fokus grupa za različite tečajeve može biti dugotrajan proces za savjetnike i studente.Ovo predstavlja značajna ograničenja, posebno za studente medicine koji imaju vrlo zaposlene rasporede i mogu obavljati kliničku praksu na različitim geografskim lokacijama.Osim toga, fokus grupe zahtijevaju velik broj iskusnih voditelja.Međutim, uključivanje fokusnih grupa u proces evaluacije može pružiti detaljnije i specifične informacije o učinkovitosti obuke [48, 59, 60, 61].
Schiekierka-Schwacke i sur.(2018) [62] ispitivali su percepcije studenata i fakulteta o novom alatu za procjenu uspješnosti fakulteta i ishoda učenja studenata u dva njemačka medicinska fakulteta.Rasprave u fokusnim grupama i individualni intervjui obavljeni su sa studentima fakulteta i medicine.Nastavnici su cijenili osobne povratne informacije koje je pružio alat za ocjenjivanje, a učenici su izjavili da bi trebalo stvoriti povratnu petlju, uključujući ciljeve i posljedice, kako bi se potaknulo izvještavanje o podacima o ocjenjivanju.Dakle, rezultati ovog istraživanja podupiru važnost zatvaranja kruga komunikacije sa studentima i informiranja o rezultatima ocjenjivanja.
Programi Peer Review of Teaching (PRT) vrlo su važni i provode se u visokom obrazovanju već dugi niz godina.PRT uključuje suradnički proces promatranja poučavanja i pružanja povratnih informacija promatraču kako bi se poboljšala učinkovitost poučavanja [63].Osim toga, vježbe samorefleksije, strukturirane naknadne rasprave i sustavno dodjeljivanje obučenih kolega mogu pomoći u poboljšanju učinkovitosti PRT-a i kulture podučavanja odjela [64].Zabilježeno je da ovi programi imaju mnoge prednosti jer mogu pomoći učiteljima da dobiju konstruktivne povratne informacije od učitelja vršnjaka koji su se možda suočili sa sličnim poteškoćama u prošlosti i mogu pružiti veću podršku pružanjem korisnih prijedloga za poboljšanje [63].Štoviše, kada se koristi na konstruktivan način, recenzija od strane kolega može poboljšati sadržaj tečaja i metode predavanja te podržati medicinske edukatore u poboljšanju kvalitete njihove nastave [65, 66].
Nedavno istraživanje Campbella i sur.(2019) [67] pružaju dokaze da je model vršnjačke podrške na radnom mjestu prihvatljiva i učinkovita strategija razvoja nastavnika za kliničke zdravstvene edukatore.U drugoj studiji, Caygill i sur.[68] proveli su studiju u kojoj je posebno dizajniran upitnik poslan zdravstvenim edukatorima na Sveučilištu u Melbourneu kako bi im se omogućilo da podijele svoja iskustva o korištenju PRT-a.Rezultati pokazuju da postoji suzdržano zanimanje za PRT među medicinskim edukatorima te da se dobrovoljni i informativni format recenzije smatra važnom i vrijednom prilikom za profesionalni razvoj.
Vrijedno je napomenuti da PRT programi moraju biti pažljivo dizajnirani kako bi se izbjeglo stvaranje osuđujućeg, "menadžerskog" okruženja koje često dovodi do povećane anksioznosti među promatranim učiteljima [69].Stoga bi cilj trebao biti pažljivo razviti PRT planove koji će nadopuniti i olakšati stvaranje sigurnog okruženja i pružiti konstruktivne povratne informacije.Stoga je potrebna posebna obuka za osposobljavanje recenzenata, a PRT programi trebaju uključivati samo istinski zainteresirane i iskusne nastavnike.Ovo je osobito važno ako se informacije dobivene od PRT-a koriste u fakultetskim odlukama kao što su promaknuća na više razine, povećanja plaća i promaknuća na važne administrativne položaje.Treba napomenuti da je PRT dugotrajan i, poput fokusnih grupa, zahtijeva sudjelovanje velikog broja iskusnih članova fakulteta, što ovaj pristup čini teškim za implementaciju u medicinskim školama sa malim resursima.
Newman i sur.(2019) [70] opisuju strategije korištene prije, tijekom i nakon obuke, opažanja koja ističu najbolje prakse i identificiraju rješenja za probleme učenja.Istraživači su recenzentima dali 12 prijedloga, uključujući: (1) mudro birajte riječi;(2) dopustiti promatraču da odredi smjer rasprave;(3) čuvati povratne informacije povjerljivima i oblikovanima;(4) čuvati povratne informacije povjerljivima i formatiranima;Povratne informacije usmjerene su na vještine poučavanja, a ne na pojedinog učitelja;(5) Upoznajte svoje kolege (6) Budite pažljivi prema sebi i drugima (7) Zapamtite da zamjenice igraju važnu ulogu u pružanju povratnih informacija, (8) Koristite pitanja da biste rasvijetlili perspektivu podučavanja, (10) Uspostavite povjerenje procesa i povratne informacije u promatranjima vršnjaka, (11) učiniti promatranje učenja dobitnim, (12) izraditi akcijski plan.Istraživači također istražuju utjecaj pristranosti na opažanja i kako proces učenja, promatranja i rasprave o povratnim informacijama može pružiti vrijedna iskustva učenja za obje strane, što dovodi do dugoročnih partnerstava i poboljšane kvalitete obrazovanja.Gomaly i sur.(2014) [71] izvijestio je da bi kvaliteta učinkovite povratne informacije trebala uključivati (1) pojašnjenje zadatka davanjem uputa, (2) povećanu motivaciju za poticanje većeg truda i (3) percepciju primatelja o tome kao o vrijednom procesu.osigurao renomirani izvor.
Iako nastavno osoblje medicinske škole dobiva povratne informacije o PRT-u, važno je obučiti nastavno osoblje o tome kako tumačiti povratne informacije (slično preporuci za pohađanje obuke u tumačenju SET-a) i omogućiti fakultetu dovoljno vremena da konstruktivno razmisli o primljenim povratnim informacijama.
Vrijeme objave: 24. studenoga 2023