FAMULUS: Förderung von Diagnosekompetenzen durch adaptive Online- Fallsimulationen in Medizin- und Lehramtsstudium
FAMULUS will einen Beitrag zur Umsetzung der nationalen Bildungsstandards für Lehrerbildung und medizinische Ausbildung mithilfe digitaler Hochschullehre leisten. Das Projekt fokussiert dabei auf Diagnosekompetenzen, die in vielen Studiengängen relevant und für viele berufliche Tätigkeiten kritisch sind. Ziel ist es, Bedingungen für den effektiven Einsatz von computergestützten Fallsimulationen zur Förderung von Diagnosekompetenzen in der Hochschullehre zu ermitteln. Gegenstandsbereiche sind die Ausbildung in der Medizin und im Lehramt.
Während im Hochschulstudium die Aneignung der konzeptuellen Wissensbasis unterstützt wird, gibt es bisher zu wenige Möglichkeiten für Studierende, das eigene Handeln in praktischen Diagnosesituationen mit entsprechendem lernförderlichem Feedback zu erproben. Online-Fallsimulationen bieten sich zur Förderung sowie zur Messung von Diagnosekompetenzen an. Im Rahmen dieses Projekts sollen (1) neue Möglichkeiten der automatischen Textanalyse für adaptives Feedback auf die Diagnose- und Begründungsversuche von Lernenden bei der Bearbeitung von Fallsimulationen untersucht und (2) Möglichkeiten der Kooperationsunterstützung von digitalen Medien daraufhin untersucht werden, inwieweit kooperatives Lernen rund um die Fallsimulationen gefördert werden kann.
Ansprechpartner:innen am Institut:
Projektlaufzeit:
- 03/2017 - 02/2020
Förderung:
Projekt-/Kooperationspartner:
Fragestellungen des Projekts:
Diese fünf Fragestellungen wurden während der dreijährigen Förderung in drei Studien bearbeitet, die jeweils in zwei Inhaltsbereichen (Medizin und Psychologie im Lehramtsstudium) aufgeteilt waren.
- Welche Effekte haben unterschiedliche Online-Fallsimulationsformate (Whole Case vs. Serial Cue) auf epistemisch-diagnostische Prozesse und die Diagnosekompetenzen in der Medizin und im Lehramtsstudium in Abhängigkeit vom Vorwissen der Lernenden?
- Inwieweit können die Diagnosekompetenzen von Studierenden bei der Bearbeitung von Online-Fallsimulationen automatisch analysiert werden?
- Welche Effekte hat adaptives automatisch generiertes Feedback im Unterschied zu Expertenfeedback?
- Unterscheiden sich die Effekte adaptiver automatisch generierter Feedbacks bei der Bearbeitung von Online-Fallsimulationen sowie die Diagnosekompetenzen zwischen individuellem und kooperativem Lernen bei Studierenden?
- Inwieweit lassen sich die in den Studien gefundenen Effekte zum automatisierten Feedback und zur Sozialform des Lernens bei der Bearbeitung von Online-Fallsimulationen bei Studierenden unter Feld-Bedingungen replizieren?
Studien:
Das Projekt bestand aus drei parallelisierten Studien.
Methodisches Vorgehen
Zur Vorbereitung der Studien wurde die CASUS-Fallsimulationsumgebung für die unterschiedlichen Fallformate angepasst. Zudem wurde ein Interface zum Datentransfer zwischen den Nutzereingaben bei der Fallbearbeitung in CASUS, den in Darmstadt entwickelten automatischen Analysewerkzeugen und dem CASUS-Feedback-Modul entwickelt. Außerdem wurden die technischen Schnittstellen zur adaptiven Zuordnung von Fallformaten zu den Lernenden gemäß derer (sich entwickelnder) Diagnosekompetenzen berücktsichtigt und integriert.
Bei diesen Studien handelt es sich um weitgehend parallelisierte Studien mit Medizin- und Leharamtstudierenden. Hier werden das Fallformat in den zwei Varianten Whole Case und Serial Cue sowie das Vorwissenslevel in den beiden Stufen niedrig vs. hoch unanbhängig voneinander variiert. In jeder der entstehenden vier experimentellen Bedingungen nehmen 30 Lernende teil. Diese bearbeiten Diagnosefälle auf der Lernplattform CASUS. Die Lernenden werden je nach Fallformat an unterschiedlichen Stellen um Begründungen und Diagnosen bzw. Einschätzungen (Studie 1a) durch Psychologen bzw. Psychiater (Studie 1b) gebeten. Inhaltlich geht es in den Diagnosefällen in Studie 1a (Medizin) um Rückenschmerzen und Fieber unklarer Genese und in Studie 1b (Psychologie im Lehramtsstudium) um Lese-Rechtsschreib-Störungen und ADHS.
Auch diese Studien sind weitgehend parallelisierte Studien mit Medizin- und Lehramtsstudierenden als Teilnehmenden. Hier wird zum einen der Faktor adaptives automatisches Feedback variiert (Verfügbarkeit von adaptivem automatischem Feedback vs. Verfügbarkeit einer statischen Expertenlösung). Zum anderen wird der Faktor Sozialform des Lernens (individuell vs. kooperativ) unabhängig vom Feedback variiert. Fälle und CASUS-Lernplattform werden wie in Studie 1a und 1b genutzt. Die Lernenden werden im Zuge der Fallbearbeitung um Begründungen und Diagnosen (Studie 2a) bzw. Einschätzungen und Notwendigkeit weiterer Diagnostik durch Psychologen bzw. Psychiater (Studie 2b) gebeten. Die Diagnosen samt argumentativer Begründungen, die die Lernenden zu den Lernfällen erstellen, werden automatisch und in Echtzeit mit den im Rahmen der Studien 1a und 1b trainierten Algorithmen ausgewertet. In der Bedingung mit automatisch generiertem Feedback wird zur Diagnose mit Begründungen eine automatische Analyse bereitgestellt, die Informationen zur Genauigkeit und Vollständigkeit der Diagnosen sowie zur Qualität der Begründungen enthält. In der Bedingung ohne adaptives automatisches Feedback wird nach Abschluss der Diagnose samt Begründung eine Expertenlösung bereitgestellt. Die Aufgabe des Diagnostizierenden besteht daraus, die ursprünglich verfasste Diagnose bzw. Begründung unter Berücksichtigung des Feedbacks zu überarbeiten.
Es handelt sich um Feldstudien zum Einsatz unter realen Studienbegingungen. In diesen Studien werden die fallbasierten Lernumgebungen in curriculare Lehrveranstaltungen integriert und an mindestens drei Universitätsstandorten je Inhaltsbereich angeboten. Das Studiendesign entspricht dem der Studien 2a und 2b. Die Teilnhemer bearbeiten die Fälle im Kontext einer Lehrveranstaltung online. Es werden wiederum epistemisch-diagnostische Aktivitäten anhand der schriftlich eingegebenen Diagnosen und Begründungen während der Bearbeitung der 12 Lernfälle automatisch bestimmt. Anhand der schriftlichen Äußerungen in Vor- und Nachtext werden die Diagnosekompetenzen bestimmt. Die Zuordnung zu einem lernpartner in den Bedingungen mit kooperativem lernen erfolgt anhand der automatischen Analyse der Diagnosekompetenzen im Vortest. Zudem werden die Lernenden zur Art der Nutzung und zum subjektiv eingeschätzten Lernerfolg sowie zur Nützlichkeit und Relevanz der Lernumgebung für ihr Studium befragt.
-
Ausgewählte Veröffentlichungen / Selected publications
- Bauer, E., Sailer, M., Kiesewetter, J., Fischer, M. R., & Fischer, F. (2022). Diagnostic argumentation in teacher education: Making the case for justification, disconfirmation, and transparency. Frontiers in Education, 7, Article 977631. https://doi.org/10.3389/feduc.2022.977631
- Kiesewetter, J., Hege, I., Sailer, M., Bauer, E., Schulz, C., Platz, M., & Adler, M. (2022). Implementing Remote Collaboration in a Virtual Patient Platform: Usability Study. JMIR Medical Education, 8(3), Article e24306. https://doi.org/10.2196/24306
- Kiesewetter, J., Sailer, M., Jung, V., Schönberger, R., Bauer, E., Zottmann, J. M., Hege, I., Zimmermann, H., Fischer, F., & Fischer, M. R. (2020). Learning clinical reasoning: How virtual patient case format and prior knowledge interact. BMC Medical Education, 20, Article 73. https://doi.org/10.1186/s12909-020-1987-y
- Pfeiffer, J., Meyer, C. M., Schulz, C., Kiesewetter, J., Zottmann, J., Sailer, M., Bauer, E., Fischer, F., Fischer, M. R., & Gurevych, I. (2019). FAMULUS: Interactive Annotation and Feedback Generation for Teaching Diagnostic Reasoning. In S. Padó, & R. Huang (Eds.), Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP): System Demonstrations (pp. 73-78). ACL.
- Sailer, M., Bauer, E., Hofmann, R., Kiesewetter, J., Glas, J., Gurevych, I., & Fischer, F. (2023). Adaptive Feedback from Artificial Neural Networks Facilitates Pre-Service Teachers’ Diagnostic Reasoning in Simulation-based Learning. Learning and Instruction, 83, Article 101620. https://doi.org/10.1016/j.learninstruc.2022.101620
-
Das Team am LMU Klinikum
Prof. Dr. Martin Fischer
Projektleiter am Institut für Didaktik und Ausbildungsforschung in der MedizinDr. Jan Kiesewetter
ProjektmitarbeiterDr. Jan Zottmann
ProjektmitarbeiterValentina Jung
DoktorandinMara Maticevic, M.A.
wissenschaftliche KoordinationRegina Schönberger
DoktorandinKatharina Nederstigt
DoktorandinHelene Werl
DoktorandinPablo Schäffner
DoktorandSven-Markus Sarbu-Rothsching
DoktorandDas Team an der LMU München
Prof. Dr. Frank Fischer
Projektleiter am Lehrstuhl für empirische Pädagogik und pädagogische PsychologieDr. Michael Sailer
ProjektmitarbeiterElisabeth Bauer, M.Sc.
Projektmitarbeiterin und DoktorandinSimon Eichler
studentische HilfskraftHanna Mißbach
wissenschaftliche HilfskraftDas Team an der TU Darmstadt
Prof. Dr. Iryna Gurevych
Projektleiterin am Ubiquitous Knowledge Processing Lab/ Computer Science DepartmentDr. Christian M. Meyer
ProjektkoordinatorJonas Pfeiffer, M.Sc.
Projektmitarbeiter und DoktorandEhemalige
Dr. Concetta Perdichizzi
ehemalige wissenschaftliche KoordinationDr. Claudia Schulz
ehemalige Projektmitarbeiterin an der TU Darmstadt-
-