Informator uniwersytecki

O ACEM słów kilka, czyli jak odbywają się flagowe egzaminy

O tym, jak działa ACEM i jak odbywają się flagowe egzaminy opowiedziała Magdalena Mielnik z Katedry i Zakładu Dydaktyki i Symulacji Medycznej Uniwersytetu Medycznego w Lublinie.

Jak funkcjonuje moduł testów komputerowych ACEM?
Moduł testów komputerowych ACEM pozwala na przeprowadzanie egzaminów testowych opartych na pytaniach zamkniętych z jedną poprawną opcją odpowiedzi. Testy tworzone są ze sparametryzowanych w kilku płaszczyznach pytań przechowywanych w tworzonych stopniowo bazach dedykowanych poszczególnym jednostkom Uniwersytetu Medycznego oraz przedmiotom. Każde pytanie wprowadzone do systemu przechodzi jedno- lub dwuetapową weryfikację zanim będzie mogło być dopuszczone do tworzenia testów. Zestawy testowe są generowane automatycznie (losowo) spośród pytań dostępnych w bazie na podstawie zadanych wytycznych (tj. kategoria tematyczna, stopień trudności, częstotliwość występowania przypadku).

Jakiego rodzaju egzaminy testowe są przeprowadzane?
Obecnie w systemie testów komputerowych przeprowadzane są wszystkie egzaminy wskazane jako „flagowe” dla danego kierunku studiów. Przez słowo „flagowe” należy tu rozumieć egzaminy wysokiej wagi, egzaminy końcowe z danego przedmiotu czy też modułu, ważne z punktu widzenia przyszłego profesjonalizmu zawodowego studenta.

Jak rozwija się ACEM?
Nad działalnością ACEM czuwa Koordynator Uczelnianego Zespołu ds. Akademickiego Centrum Egzaminów medycznych prof. dr hab. n. med. Renata Chałas, pełniąca tę funkcję od 2020 roku. W ciągu tych dwóch lat liczba egzaminów w systemie ACEM wzrosła niemal dwukrotnie.
Z uwagi na duże zainteresowanie przeprowadzaniem egzaminów komputerowych podjęto starania o zwiększenie zasobów sprzętu elektronicznego niezbędnego do tego typu egzaminów. Od 2020 roku do dyspozycji ACEM oddano 150 tabletów, które znacznie powiększyły dotychczasowe możliwości ACEM stanowiące wówczas 114 miejsc komputerowych. W obecnym roku akademickim 2022/23 liczba ta została zwiększona o zakup kolejnych 260 tabletów, które wkrótce trafią do dyspozycji ACEM.

Ile kierunków korzysta z modułu ACEM - testy komputerowe?
Każdy Wydział Uniwersytetu Medycznego w Lublinie, który prowadzi kształcenie studentów ma zaplanowane egzaminy flagowe w systemie ACEM.
Na Wydziale Lekarskim są to egzaminy dla studentów VI roku kierunku Lekarskiego z 7 modułów Praktycznego Nauczania Klinicznego (choroby wewnętrzne, pediatria, psychiatria, medycyna rodzinna, medycyna ratunkowa, ginekologia, chirurgia) zarówno dla studentów polsko jak i anglojęzycznych. Ponadto od 2021 roku do grupy przedmiotów kończących się egzaminem flagowym wprowadzono egzamin z onkologii.
Na Wydziale Lekarsko-Dentystycznym jest ich obecnie osiem: chirurgia szczękowo-twarzowa, chirurgia stomatologiczna, stomatologia zachowawcza z endodoncją, stomatologia dziecięca, protetyka stomatologiczna, ortodoncja, periodontologia oraz choroby błony śluzowej jamy ustnej. Od 2020r. egzaminy w systemie ACEM przeprowadzane są również dla studentów anglojęzycznych.
Na Wydziale Nauk o Zdrowiu egzaminy flagowe odbywają się na 4 kierunkach: Położnictwo I st., Pielęgniarstwo I i II st., Fizjoterapia i Zdrowie Publiczne II st.
Na Wydziale Farmaceutycznym z systemu ACEM korzystają kierunki: Farmacja oraz Analityka Medyczna.
Wydział Nauk Medycznych ma jeden egzamin flagowy na kierunku Ratownictwo medyczne I st.
Natomiast powstały w 2021 r. Wydział Biomedyczny prowadzi egzaminy flagowe na kierunku Dietetyka I i II st.

Ile egzaminów odbywa się w ramach ACEM?
Od momentu powstania z każdym kolejnym rokiem akademickim liczba egzaminów flagowych, przeprowadzanych na systemie ACEM stale rośnie:
- rok akademicki 2019/2020: 30 egzaminów flagowych z 9 przedmiotów/specjalności,
- rok akademicki 2020/2021: 46 egzaminów flagowych z 28 przedmiotów/specjalności,
- rok akademicki 2021/2022: 62 egzaminy flagowe z 48 przedmiotów/specjalności,
- rok akademicki 2022/2023: 83 egzaminy flagowe z 58 przedmiotów/specjalności.

Na czym polega standaryzacja w ACEM?
Przede wszystkim jest to baza wystandaryzowanych (sparametryzowanych) zadań dla danego egzaminu/przedmiotu egzaminacyjnego, sprawdzających spełnienie wymagań wynikających z odpowiedniej podstawy programowej. Zadania z bazy zadań mogą być wykorzystywane przy tworzeniu dowolnych testów egzaminacyjnych według ustalonego algorytmu. Zasadą jest, że wszyscy zdający w danej turze egzaminacyjnej otrzymują ten sam zestaw pytań.
Na standaryzację metod egzaminowania studentów w systemie ACEM składają się również jednolite i ogólne zasady przeprowadzania testu ujęte w Regulaminie ACEM.

Jak analizowane są statystyki egzaminacyjne i co z nich wynika?
Zaletą przeprowadzania egzaminów testowych w systemie ACEM jest możliwość przeprowadzenia analizy wyników, która jest warunkiem poprawy jakości oraz wskaźnikiem efektywności nauczania.
Oprócz podstawowych parametrów określających średnią ocen, mamy możliwość weryfikacji parametrów statystycznych wskazujących jakie są miary rozrzutu wyników studentów, czy dana grupa jest jednolita pod względem umiejętności. Ocena rzetelności testu, za pomocą wskaźnika alfa Cronbacha pokazuje powiązania pomiędzy poszczególnymi pytaniami w ramach zestawu pytań. Poznanie rzetelności testu jest ważne, gdyż na jej podstawie możemy oceniać jakość naszego narzędzia pomiarowego. Dane dotyczące odpowiedzi studentów w zależności od stopnia klasyfikacji pytań pod względem stopnia trudności dają odpowiedź zwrotną na temat opanowania wiedzy na danym poziomie
Dbanie o spójność i wysoką rzetelność egzaminu jest kluczem do zapewnienia obiektywnej i sprawiedliwej oceny osiągnięć studentów. Dzięki temu możemy także zdiagnozować słabości dydaktyczne. Mamy szansę na poprawę warsztatu, jako autora pytań testowych szczególnie powinno interesować to, jak w praktyce funkcjonują zadania testowe, które sami ułożyliśmy. Ponadto ważną zaletą egzaminów testowych, jest możliwość doskonalenia narzędzia w kolejnych sesjach egzaminacyjnych.