C08

Integration von Prozess- und Textdaten der Studierenden zur Messung der Wechselwirkung zwischen domänenspezifischem und generischem Critical Online Reasoning

Konzeptueller Hintergrund und Studienschwerpunkt

Nach dem aktuellen Wissensstand zur Erfassung von Lernergebnissen wird Assessment als ein Entscheidungsprozess angesehen, bei dem aus den notwendigerweise begrenzten Nachweisen über das, was Studierende tun, Aussagen darüber getroffen werden, was sie wissen und in der realen Welt umsetzen können. Im Gegensatz dazu wird die Analyse von Prozess- und Textdaten, die von Studierenden während des Lernens kontinuierlich generiert werden, als eine authentischere Alternative angesehen. Diese multimodalen Prozess- und Textdaten haben das Potenzial, ein vollständigeres Bild der Critical Online Reasoning (COR-)Prozesse zu vermitteln, welche mit datenwissenschaftlichen Methoden analysiert werden können. Es stellt sich daher die Frage, inwieweit diese Methoden einen Beitrag bei aktuellen Assessments in der Untersuchung von COR-Prozessen leisten können.

Konzept und Forschungsziel

C08 verfolgt drei Ziele, um die Bildungsforschung voranzubringen. (1) wird C08 eine authentische digitale Assessment- und Lernumgebung in der AZURE-Cloud bereitstellen, in der sich Studierende so verhalten können, wie sie es auf ihren Computern tun. (2) wird C08 die Aktivitäten der Studierenden durch die Integration von multimodalen Text- und Antwortprozessdaten in einer Forschungsinfrastruktur namens Multimodal Learning Data Science System (MLDS) erfassen. MLDS wird die Untersuchung von Prozessdaten der Studierenden (z. B. Scrollen auf Webseiten, verbrachte Zeit) und Textdaten (z. B. bearbeitete Webseiten, geschriebener Text) in generischen (GEN)- und domänenspezifischen (DOM)- COR-Aufgaben ermöglichen. (3) wird C08 den multimodalen Datensatz analysieren und erforschen, um latente Beziehungen zwischen den von den Studierenden verarbeiteten oder geschriebenen Textdaten und den Verhaltensdaten (z.B. Browserverläufe, Dauer) bei der Lösung von COR-Aufgaben zu erfassen.

Messung und Analysen

C08 stellt eine authentische digitale Assessment- und Lernplattform in der AZURE-Cloud bereit, um einen Windows-PC zu simulieren. Diese Plattform ist für Tests in realen Internet-Szenarien und die entsprechenden Simulationen verwendet. Es werden die Bedeutung und das Verhältnis von Text- und Prozessdaten bei der erfolgreichen Bearbeitung von COR-Aufgaben untersucht und wie sie mit dem Domänenwissen und den Charaktereigenschaften der Studierenden zusammenhängen.

C08 prüft die Bedeutung von datenwissenschaftlichen Methoden im Bildungsbereich. Das Projekt identifiziert den Mehrwert und die Grenzen datenwissenschaftlicher Methoden für die Verarbeitung multimodaler Texte und verarbeitet Daten, die im Rahmen von GEN- und DOM-COR-Assessments generiert werden, um neue Erkenntnisse und Methoden für die Erziehungswissenschaft zu gewinnen.

C08 verwendet Methoden und Techniken aus der Computerlinguistik (CL) zur Analyse und Verarbeitung von Text und multimodalen Daten. Um eine effiziente und automatische Analyse zu ermöglichen, wird DUUI als ein System entwickelt, das durch den Einsatz von Clustern skalierbar ist, kompatible und austauschbare CL-Tools bereitstellt, die Reproduzierbarkeit vereinfacht und leicht zu bedienen ist. Die Verwendung von standardisierten Datenformaten ermöglicht die Integration in MLDS und die Systemlandschaft von C08.

Neben der automatisierten Annotation stellt C08 für alle Projekte browserbasierte Tools zur Verfügung, die manuelle Annotations- und Bewertungsarbeiten vereinfachen. Dazu gehören unter anderem ein Tool zur Bewertung der Antworten von Teilnehmenden, ein Tool zur Klassifizierung von Webseiten und ein Tool zur Annotation von sprachlichen Strukturen. Diese Tools werden im TextAnnotator zur Verfügung gestellt und verwenden dieselben standardisierten Formate, was einen direkten Austausch und eine einfache Nutzung ermöglicht.

Ergebnisse

Die Kombination aus der Vorverarbeitung mit DUUI und den Annotations-Tools in TextAnnotator bildet einen Annotationszyklus: Manuelle Annotationen ermöglichen die iterative Verbesserung von NLP-Werkzeugen, wodurch die Abhängigkeit von manuellen Annotationsaufgaben im Laufe der Zeit durch die Verbesserung und Validierung automatisierter Prozesse verringert wird.

Die verarbeiteten Daten und generierten Analysen sind für alle Projekte über ein Webseiten-basiertes Tool und eine Schnittstelle des MLDS leicht zugänglich.

Beitrag zur Forschungsgruppe

C08 arbeitet mit allen FOR-Projekten zusammen, um einen einzigartige Big Data für die GEN- und DOM-COR-Forschung zu erstellen und auszuwerten, und entwickelt eine Infrastruktur zur Analyse und Erforschung dieser Daten. Es fließt einerseits datenwissenschaftliches Fachwissen in die FOR ein, andererseits wird auch das Fachwissen aus anderen beteiligten Disziplinen benötigt, um Methoden anzupassen und zu präzisieren.