Entwicklung der domänenspezifischen Critical Online Reasoning-Fähigkeiten (DOM-COR) von Wirtschaftsstudierenden im Verlauf des Bachelorstudiums und wesentliche Einflussfaktoren auf DOM-COR
Konzeptueller Hintergrund und Studienschwerpunkt
Die aktuelle Forschung und Praxis zeigen übereinstimmend, dass Studierende der Wirtschaftswissenschaften heutzutage das Internet als wichtigste Informationsquelle für ihr Studium nutzen. Studierende und Dozierende bewerten die Fähigkeit, Online-Informationen zu recherchieren und einzuschätzen, als entscheidend für ein erfolgreiches Studium der Wirtschaftswissenschaften. Zugleich gibt es vermehrt Hinweise darauf, dass Studierende beim internetbasierten Lernen häufig fachliche Fehlannahmen entwickeln, die zu einem verzerrten Verständnis von wirtschaftswissenschaftlichen Inhalten führen können.
Aktuelle Entwicklungen und Studien in den Wirtschaftswissenschaften verdeutlichen, dass die Vermittlung von Critical Online Reasoning (COR) stärker in der Hochschulausbildung verankert werden sollte, um den vorhandenen Defiziten in den entsprechenden Fähigkeiten bei Studierenden wie auch bei Absolvent:innen zu begegnen. Lehrende benötigen hierfür erprobte valide Erfassungsinstrumente für eine fundierte Diagnostik der COR-Fähigkeiten von Studierenden als eine notwendige Voraussetzung für Entwicklung von effektiven Trainingsansätzen, um die Studierenden auf ein kompetentes (selbstgesteuertes) Lernen im Internet vorzubereiten.
Konzept und Forschungsziel
Basierend auf Vorstudien definiert A02 die domänenspezifischen (DOM)-COR-Fähigkeiten als die Fähigkeiten, um wirtschaftsbezogene Informationen aus dem Internet kritisch auszuwählen, zu bewerten und zu nutzen, um darauf basierend fundiertes Wissen und begründete Entscheidungen abzuleiten. Das DOM-COR-Konstrukt wird anhand von drei Facetten modelliert:
- Online-Informationsbeschaffung,
- kritische Informationsbewertung,
- Schlussfolgerung mit Belegen, Argumentation und Synthese.
In A02 wird zwischen drei praktischen Kontexten unterschieden, in denen DOM-COR angewendet werden kann:
- fundamentales DOM-COR zur Bestimmung der korrekten Bedeutung von Konzepten (z. B. des Break-Even-Point),
- praxisbezogenes DOM-COR, das bei wirtschaftlichen Entscheidungen unter realen Anwendungsbedingungen erforderlich ist (z. B. die Erstellung eines Finanzplans auf der Grundlage widersprüchlicher Parameter),
- und transdisziplinäres DOM-COR für komplexe Problemlösungen (z. B. Entscheidungen über kostspielige lebensrettende Maßnahmen bei begrenzten Finanzmitteln).
A02 zielt darauf ab, ein objektives und verlässliches Messverfahren der DOM-COR-Entwicklung von Studierenden zu entwickeln, das eine valide Interpretation der Testergebnisse ermöglicht und den diagnostischen und prognostischen Anforderungen im universitären Kontext entspricht.
Messung und Analysen
Um die DOM-COR-Fähigkeiten valide zu messen, verwendet A02 Szenario-basierte Aufgaben, welche die Studierenden mit einem realistischen wirtschaftlichen Problem konfrontieren und bei denen neu entwickelte und validierte Assessments in einem offenen Format (mit uneingeschränktem Internetzugang) und einem geschlossenen Format (mit internetähnlichen Simulationen und vorgegebenen Quellen) durchgeführt werden. Entsprechend der konzeptionellen Grundlagen ist jede Aufgabe im DOM-COR-Assessment so aufgebaut, dass sie
- alle drei DOM-COR-Fähigkeitsfacetten und
- alle drei Anforderungskontexte abdeckt.
Demnach beinhalten die acht DOM-COR-Aufgaben Problemstellungen in den Wirtschaftswissenschaften in diesen drei Kontexten, die sich auf das Schlussfolgern anhand von recherchierten (offenes Aufgabenformat) oder vorgegebenen (geschlossenes Aufgabenformat) Online-Informationen beziehen.
Die Antworttexte und Aufgabenlösungsprozesse der Studierenden (inkl. Suchverlauf, Mausklicks, Scrollen) werden in dem digitalen DOM-COR-Assessment in Echtzeit gespeichert. Diese multimodalen Performanz- und Antwortprozessdaten werden dann von mehreren geschulten Ratern anhand eines neu entwickelten Bewertungsschemas entsprechend der Definition des COR-Konstrukts bewertet. Die verschiedenen Daten der DOM-COR-Fähigkeiten werden dann unter Einbezug zusätzlicher erhobener Informationen wie soziodemografische Daten, Mediennutzungsgewohnheiten, Fachwissen, Intelligenz und Merkmale der verwendeten Online-Quellen analysiert, um ein umfassendes Verständnis der COR-Fähigkeiten der Studierenden und ihrer Einflussfaktoren zu gewinnen.
Die Auswirkungen von Curricula und Lehr-Lernangeboten auf die Entwicklung von DOM-COR-Fähigkeiten und andere wichtige theoretisch anzunehmende persönliche und kontextuelle Kovariaten werden in A02 auf der Grundlage von Daten aus zwei Panel-Kohorten mit Studierenden der Wirtschaftswissenschaften (und Studierenden der Soziologie als Vergleichsgruppe) über den Verlauf ihres Bachelorstudiums zu drei Messzeitpunkten erfasst und längsschnittlich analysiert.
Zum ersten Messzeitpunkt im Wintersemester 2023/24 nahmen insgesamt 250 Studierende der Wirtschaftswissenschaften und der Soziologie am DOM-COR-Assessment teil. Zusätzlich beantworteten die Teilnehmenden einen Wissenstest zu wirtschaftswissenschaftlichen Inhalten und einen Intelligenztest.
Bei der zweiten Erhebung im Wintersemester 2024/25 haben insgesamt 253 Studierende der Wirtschafts- und Sozialwissenschaften am DOM-COR-Assessment sowie dem Wirtschaftswissenstest und dem Intelligenztest teilgenommen. Davon nahmen 126 Studierende zum zweiten Mal und 127 Studierende zum ersten Mal an der Befragung teil.
Ergebnisse
A02 generiert einzigartige Daten und Erkenntnisse,
- zur Entwicklung des DOM-COR der Studierenden in den Wirtschaftswissenschaften und der Soziologie,
- zu wichtigen persönlichen und institutionellen Kovariaten (wie besuchte Lehrveranstaltungen) und
- über Zusammenhänge mit zentralen Studien-Lernergebnissen (wie Modulnoten).
Auf diese Weise liefert A02 eine Grundlage für die konzeptionelle Entwicklung von Trainings zur effektiven Förderung der DOM-COR Fähigkeiten (in der 2. Forschungsphase).
Beitrag innerhalb der Forschungsgruppe CORE
Die Daten und Erkenntnisse aus A02 werden in die nachfolgenden Analysen aller Projekte der Forschungsgruppe verwendet. So ermöglichen z.B. die Analysen der Online-Informations- und Lernmaterialien, in Zusammenarbeit mit den B-Projekten, eine kritische Bewertung der Eignung von Online-Quellen aus der „realen Welt“ in der Hochschulbildung, womit bessere Lernergebnisse und der Lernerfolg der Studierenden unterstützt werden sollen.
Konferenzen und Publikationen
Die bisherigen Forschungsergebnisse von A02 wurden auf den folgenden nationalen und internationalen Konferenzen vorgestellt:
International
Nagel, M.-T., Kohmer, A., Zlatkin-Troitschanskaia, O., Martin de los Santos Kleinz, L., Fischer, J. & Maur, A. (2023). Development and Validation of a Critical Online Reasoning Assessment in Higher Education - An International Study [Paper presentation]. Presentation at the 2023 WERA Focal Meeting, November, Singapore.
Nagel, M., Zlatkin-Troitschanskaia, O., Braunheim, D., Martin de los Santos, L., Drake, P., & Hartig, J. (2024). Assessment of Economic Critical Online Reasoning Skills in First-semester Bachelor Economic Students [Poster presentation]. Presentation at EARLI SIG 20 & 26 Conference, 18. September, Berlin, Germany.
Nagel, M., Zlatkin-Troitschanskaia, Trierweiler, L., Martin de los Santos Kleinz, L., Drake, P., & Hartig, J. (2024). Economics students’ Domain-Specific Critical Online Reasoning (DOM-COR) skills at the beginning of their studies [Symposium presentation]. Presentation at BERA Conference & WERA Focal Meeting, 11. September, Manchester, UK.
Zlatkin-Troitschanskaia, O., Schmidt, S., Hartig, H., Drake, P., Nagel, M., & Fischer, J. (2024). Performance Assessments to Validly Measure Cross-nationally University Economics Students’ Domain-specific Critical Online Reasoning [Paper presentation]. Presentation at AERA, 13. April, Denver, US.
National
Nagel, M., Zlatkin-Troitschanskaia, O., Schmidt, S., Hartig, H., & Drake, P. (2024). Entwicklung des domänenspezifischen kritischen Online-Reasoning (DOM-COR) im wirtschaftswissenschaftlichen Bachelorstudium und Einflussfaktoren auf DOM-COR [Poster presentation]. Presentation at 29. DGfE Congress, 12. March, Halle, Germany.
Zlatkin-Troitschanskaia, O. & Hartig, J. (2023). Generische und fachspezifische Kompetenzen von Hochschulstudierenden im Umgang mit Online-Informationen - Erfassung und Entwicklung im Studium – Projekte A01 und A02 [symposium presentation]. Presentation at AEPF, 15. September, Potsdam, Germany.
Zlatkin-Troitschanskaia, O., Nagel, M., Hodes, P., Schmidt, S., Beck, K., & Martin de los Santos Kleinz, L. (2024). Domänenspezifisches Critical Online Reasoning (DOM-COR) bei StudienanfängerInnen der Wirtschaftswissenschaften und WiPäd [Symposium presentation]. Presentation at the 2024 annual meeting of the DFG Section Vocational and Business Education, 12. September, Dresden, Germany.
Publikationen
Zlatkin-Troitschanskaia, O., Hartig, J., Schmidt, U., Schmidt, S., Drake, P., & Nagel, M. (2023). Development of Economics Students’ Domain-Specific Critical Online Reasoning (DOM-COR) Skills over the Course of Their Bachelor Studies and Key Factors Influencing DOM-COR. In Olga Zlatkin-Troitschanskaia, Jennifer Fischer & Dimitri Molerov (Eds.), Critical Online Reasoning in Higher Education (CORE) – Overview of the Research Unit: Objectives, framework, structure, and research projects [Working Paper No. 1].
Zlatkin-Troitschanskaia, O., Hartig, J., Schmidt, S., Drake, P., & Nagel, M. (2025). Development of Students’ Domain-Specific Critical Online Reasoning (DOM-COR) Skills in Economics. Olga Zlatkin-Troitschanskaia, Miriam Toepper & Dimitri Molerov (Eds.), Critical Online Reasoning in Higher Education (CORE) – Portfolio of Assessment Instruments [Working Paper No. 3].
