نبذة مختصرة : Objective: In the context of educating medical students, testing of competence in medical communication is carried out primarily with the Objective Structured Clinical Examination [ref:1]. This makes it possible to assess practical performance, but it is resource-intensive and has a negative impact on test quality. The project “Digital test tool for measuring communication skills in medical studies” (digiRole) was funded by the BMBF (Federal Ministry of Education and Research) and its objective was to develop digital formats as electronic versions of an OSCE in order to test the communication competency of medical students. Such digital forms of examination should be cost-effective, be relevant to clinical practice and have high psychometric quality. In terms of content, the examination questions should incorporate factual and procedural knowledge as components of communication competency, although we assumed that procedural knowledge is more relevant than facutal knowledge to OSCE performance. This article describes the development and testing of a video-based, communication-related e-examination that is relevant to passing the test, which is the first milestone of the overall project. Methodology: We produced videos and related exam questions in the form of a situational judgement test [ref:2] related to medical psychology and medical sociology, based on the educational content of a preclinical course on doctor-patient communication at the Mainz University Medical Center. In the summer semester of 2018, 226 students sat for this video-based single-choice e-examination (VSE). In the winter semester of 2018/2019, a different cohort of 192 students participated in the VSE as well as a tried-and-tested communication OSCE with five stations [ref:3]. Results: The internal consistencies for the VSE in the summer semester of 2018 were α=.55, in the winter semester 2018/19 with α=.62 and for the OSCE with α=.60. There was a positive correlation between the performance of the students with the VSE and that with the OSCE (r=.21, p≤.01). Principal Axis Analyses did not reveal any dimensioning in terms of factual and procedural knowledge. In the evaluation, the majority of the students stated that the VSE was quite relevant to the practise of medical communication and were in favour of retaining this form of examination. Conclusion: The correlation between the VSE and the OSCE is relatively low, so that the VSE in this form is not a satisfactory predictor of an OSCE result. In terms of internal consistency, the VSE and the OSCE produced an almost identical result. It can also be assumed that the VSE can achieve a high degree of objectivity with the use of standardised video-based examinations as well as greater resource efficiency than OSCEs.
Zielsetzung: Die Überprüfung ärztlicher kommunikativer Kompetenzen erfolgt im Rahmen des Medizinstudiums primär über die Prüfungsform OSCE [ref:1]. Diese ermöglicht eine Bewertung praktischer Leistungen, ist allerdings ressourcenaufwändig und bringt Limitationen hinsichtlich der Testgüte mit sich. Die Zielsetzung des vom BMBF geförderten Projekts „Digitales Prüfungstool zur Messung kommunikativer Fertigkeiten im Medizinstudium“ (digiRole) war daher die Entwicklung digitaler Formate von Prüfungen kommunikativer Kompetenzen von Medizinstudierenden als elektronisch gestützte Varianten einer OSCE. Die entsprechenden Prüfungsformen sollten dabei ökonomisch sein, einen hohen Praxisbezug herstellen und eine hohe psychometrische Qualität aufweisen. Inhaltlich sollten die Prüfungsfragen Fakten- und Handlungswissen als Bestandteile der kommunikativen Kompetenz abbilden, wobei davon ausgegangen wurde, dass Handlungswissen stärker mit der OSCE-Leistung zusammenhängt als Faktenwissen. Der vorliegende Artikel beschreibt die Entwicklung und Erprobung einer bestehensrelevanten videobasierten kommunikationsbezogenen E-Prüfung als ersten Meilenstein des Gesamtprojekts. Methodik: Auf Grundlage der Lerninhalte eines vorklinischen Kursus zur Arzt-Patient-Kommunikation der Universitätsmedizin Mainz im Fach Medizinische Psychologie und Medizinische Soziologie wurden Videos produziert und dazu in Bezug stehende Prüfungsfragen mit Aufgaben im Sinne eines Situational Judgement Tests [ref:2] konzipiert. Im Sommersemester 2018 nahmen 226 Studierende an dieser videobasierten Single-Choice Prüfung (Video-based Single-Choice Examination, VSE) und im Wintersemester 2018/2019 192 Studierende (unterschiedliche Kohorten) an der VSE sowie an einer bereits gut erprobten Kommunikations-OSCE mit fünf Stationen teil [ref:3]. Ergebnisse: Die internen Konsistenzen lagen für die VSE im SS 2018 bei α=.55, im WS 2018/19 bei α=.62 und für die OSCE bei α=.60. Die Leistungen der Studierenden in VSE und OSCE waren positiv korreliert (r=.21, p≤.01). Hauptachsenanalysen ergaben keine Dimensionierung in die Aspekte Fakten- und Handlungswissen. Die Studierenden gaben in der Evaluation mehrheitlich an, dass in der VSE der Bezug zur Praxis des ärztlichen Gesprächs gut hergestellt wird und sprachen sich für eine Beibehaltung dieser Prüfungsform aus. Schlussfolgerung: Der Zusammenhang zwischen VSE und OSCE fällt relativ gering aus, so dass die VSE in dieser Form noch nicht hinreichend ein OSCE-Ergebnis prädizieren kann. Hinsichtlich der internen Konsistenz konnten die VSE und die OSCE ein nahezu identisches Ergebnis erzielen. Es kann des Weiteren angenommen werden, dass die VSE durch den Einsatz von standardisierten videobasierten Prüfungsaufgaben einen hohen Grad der Objektivität sowie ein im Vergleich zu OSCEs ressourcenschonenderes Vorgehen erzielen kann.
GMS Journal for Medical Education; 38(3):Doc70
Processing Request
No Comments.