numer 019
Luty 2023
4

O ACEM słów kilka, czyli jak odbywają się flagowe egzaminy

O tym, jak działa ACEM i jak odbywają się flagowe egzaminy opowiedziała Magdalena Mielnik z Katedry i Zakładu Dydaktyki i Symulacji Medycznej Uniwersytetu Medycznego w Lublinie.
Grafika z logiem UMLub, CSM i ACEM.
Czym w zasadzie jest ACEM? Jak powstał i co oznacza skrót?
Powstały w 2019 roku system początkowo nosił nazwę CMET (Centrum Medycznych Egzaminów Testowych) i służył wyłącznie do egzaminowania studentów za pomocą testów komputerowych wzorowanych na egzaminach LEK. Z czasem system został rozbudowany o dodatkowe moduły związane ze sprawdzaniem wiedzy studentów lub wspierających nauczanie w następstwie czego od września 2021 platforma CMET odnosząca się wyłącznie do testów, została przemianowana na: ACEM (Akademickie Centrum Egzaminów Medycznych).
Grafika z logiem ACEM
Jak funkcjonuje moduł testów komputerowych ACEM?
Moduł testów komputerowych ACEM pozwala na przeprowadzanie egzaminów testowych opartych na pytaniach zamkniętych z jedną poprawną opcją odpowiedzi. Testy tworzone są ze sparametryzowanych w kilku płaszczyznach pytań przechowywanych w tworzonych stopniowo bazach dedykowanych poszczególnym jednostkom Uniwersytetu Medycznego oraz przedmiotom. Każde pytanie wprowadzone do systemu przechodzi jedno- lub dwuetapową weryfikację zanim będzie mogło być dopuszczone do tworzenia testów. Zestawy testowe są generowane automatycznie (losowo) spośród pytań dostępnych w bazie na podstawie zadanych wytycznych (tj. kategoria tematyczna, stopień trudności, częstotliwość występowania przypadku).

Jakiego rodzaju egzaminy testowe są przeprowadzane?
Obecnie w systemie testów komputerowych przeprowadzane są wszystkie egzaminy wskazane jako „flagowe” dla danego kierunku studiów. Przez słowo „flagowe” należy tu rozumieć egzaminy wysokiej wagi, egzaminy końcowe z danego przedmiotu czy też modułu, ważne z punktu widzenia przyszłego profesjonalizmu zawodowego studenta.

Jak rozwija się ACEM?
Nad działalnością ACEM czuwa Koordynator Uczelnianego Zespołu ds. Akademickiego Centrum Egzaminów medycznych prof. dr hab. n. med. Renata Chałas, pełniąca tę funkcję od 2020 roku. W ciągu tych dwóch lat liczba egzaminów w systemie ACEM wzrosła niemal dwukrotnie.
Z uwagi na duże zainteresowanie przeprowadzaniem egzaminów komputerowych podjęto starania o zwiększenie zasobów sprzętu elektronicznego niezbędnego do tego typu egzaminów. Od 2020 roku do dyspozycji ACEM oddano 150 tabletów, które znacznie powiększyły dotychczasowe możliwości ACEM stanowiące wówczas 114 miejsc komputerowych. W obecnym roku akademickim 2022/23 liczba ta została zwiększona o zakup kolejnych 260 tabletów, które wkrótce trafią do dyspozycji ACEM.
Ile kierunków korzysta z modułu ACEM - testy komputerowe?
Każdy Wydział Uniwersytetu Medycznego w Lublinie, który prowadzi kształcenie studentów ma zaplanowane egzaminy flagowe w systemie ACEM.
Na Wydziale Lekarskim są to egzaminy dla studentów VI roku kierunku Lekarskiego z 7 modułów Praktycznego Nauczania Klinicznego (choroby wewnętrzne, pediatria, psychiatria, medycyna rodzinna, medycyna ratunkowa, ginekologia, chirurgia) zarówno dla studentów polsko jak i anglojęzycznych. Ponadto od 2021 roku do grupy przedmiotów kończących się egzaminem flagowym wprowadzono egzamin z onkologii.
Na Wydziale Lekarsko-Dentystycznym jest ich obecnie osiem: chirurgia szczękowo-twarzowa, chirurgia stomatologiczna, stomatologia zachowawcza z endodoncją, stomatologia dziecięca, protetyka stomatologiczna, ortodoncja, periodontologia oraz choroby błony śluzowej jamy ustnej. Od 2020r. egzaminy w systemie ACEM przeprowadzane są również dla studentów anglojęzycznych.
Na Wydziale Nauk o Zdrowiu egzaminy flagowe odbywają się na 4 kierunkach: Położnictwo I st., Pielęgniarstwo I i II st., Fizjoterapia i Zdrowie Publiczne II st.
Na Wydziale Farmaceutycznym z systemu ACEM korzystają kierunki: Farmacja oraz Analityka Medyczna.
Wydział Nauk Medycznych ma jeden egzamin flagowy na kierunku Ratownictwo medyczne I st.
Natomiast powstały w 2021 r. Wydział Biomedyczny prowadzi egzaminy flagowe na kierunku Dietetyka I i II st.

Ile egzaminów odbywa się w ramach ACEM?
Od momentu powstania z każdym kolejnym rokiem akademickim liczba egzaminów flagowych, przeprowadzanych na systemie ACEM stale rośnie:
- rok akademicki 2019/2020: 30 egzaminów flagowych z 9 przedmiotów/specjalności,
- rok akademicki 2020/2021: 46 egzaminów flagowych z 28 przedmiotów/specjalności,
- rok akademicki 2021/2022: 62 egzaminy flagowe z 48 przedmiotów/specjalności,
- rok akademicki 2022/2023: 83 egzaminy flagowe z 58 przedmiotów/specjalności.

Na czym polega standaryzacja w ACEM?
Przede wszystkim jest to baza wystandaryzowanych (sparametryzowanych) zadań dla danego egzaminu/przedmiotu egzaminacyjnego, sprawdzających spełnienie wymagań wynikających z odpowiedniej podstawy programowej. Zadania z bazy zadań mogą być wykorzystywane przy tworzeniu dowolnych testów egzaminacyjnych według ustalonego algorytmu. Zasadą jest, że wszyscy zdający w danej turze egzaminacyjnej otrzymują ten sam zestaw pytań.
Na standaryzację metod egzaminowania studentów w systemie ACEM składają się również jednolite i ogólne zasady przeprowadzania testu ujęte w Regulaminie ACEM.

Jak analizowane są statystyki egzaminacyjne i co z nich wynika?
Zaletą przeprowadzania egzaminów testowych w systemie ACEM jest możliwość przeprowadzenia analizy wyników, która jest warunkiem poprawy jakości oraz wskaźnikiem efektywności nauczania.
Oprócz podstawowych parametrów określających średnią ocen, mamy możliwość weryfikacji parametrów statystycznych wskazujących jakie są miary rozrzutu wyników studentów, czy dana grupa jest jednolita pod względem umiejętności. Ocena rzetelności testu, za pomocą wskaźnika alfa Cronbacha pokazuje powiązania pomiędzy poszczególnymi pytaniami w ramach zestawu pytań. Poznanie rzetelności testu jest ważne, gdyż na jej podstawie możemy oceniać jakość naszego narzędzia pomiarowego. Dane dotyczące odpowiedzi studentów w zależności od stopnia klasyfikacji pytań pod względem stopnia trudności dają odpowiedź zwrotną na temat opanowania wiedzy na danym poziomie
Dbanie o spójność i wysoką rzetelność egzaminu jest kluczem do zapewnienia obiektywnej i sprawiedliwej oceny osiągnięć studentów. Dzięki temu możemy także zdiagnozować słabości dydaktyczne. Mamy szansę na poprawę warsztatu, jako autora pytań testowych szczególnie powinno interesować to, jak w praktyce funkcjonują zadania testowe, które sami ułożyliśmy. Ponadto ważną zaletą egzaminów testowych, jest możliwość doskonalenia narzędzia w kolejnych sesjach egzaminacyjnych.
Magdalena Mielnik,
Katedra i Zakład Dydaktyki i Symulacji Medycznej Uniwersytetu Medycznego w Lublinie
Rozmawiała: Aleksandra Kaźmierczak
© 2022 Centrum Symulacji Medycznej UM w Lublinie