Video-on-Demand zu Workshop “Hochschulklausuren besser machen” verfügbar

Ab jetzt wird der Workshop zum KAT-HS-Konzept über diese Seite als Video-on-Demand kostenlos zur Verfügung gestellt.

Der Workshop mit dem Titel „Hochschulklausuren besser machen: Einführung in die Erstellung, Administration und Auswertung kompetenzorientierter Klausuren am Computer“ fand am 08. Oktober 2019 statt und wurde per Video aufgezeichnet. Wir haben die Videos geschnitten, bearbeitet und ergänzt um einen kompakten und lehrreichen Online-Workshop zur Konstruktion fairer Klausuren zu konzipieren.

Im Video-Workshop wird ein umfassender Überblick zu direkt umsetzbaren Verfahren zur Erstellung, Nutzung und Auswertung hochwertiger kompetenzorientierter elektronischer Klausuren gegeben.

Behandelt werden:

  • die Konkretisierung von Lernzielen,
  • die Überführung der Lernziele in Kompetenzanforderungen,
  • die Entwicklung von Klausuraufgaben,
  • das Setzen von Notenstufen und Bestehensgrenzen,
  • die Auswertung von Klausuren,
  • die Identifikation problematischer Klausuraufgaben,
  • das Konstanthalten des Bewertungsmaßstabes über mehrere Klausuranwendung,
  • die Rückmeldung von Klausurergebnissen und
  • das computerbasierte Klausursystem KAT-HS und dessen Konfiguration.

Der Video-Workshop wurde von Patrick Naumann, Andreas Frey, Christian Spoden und Aron Fink erstellt. Registrierte Nutzer können die Videos im Download-Bereich dieser Seite kostenlos ansehen.

Workshop „Hochschulklausuren besser machen“ an der Goethe-Universität in Frankfurt

Am 8. Oktober 2019 fand der Workshop mit dem Titel „Hochschulklausuren besser machen: Einführung in die Erstellung, Administration und Auswertung kompetenzorientierter Klausuren am Computer“ am Interdisziplinären Kolleg Hochschuldidaktik (IKH) der Universität Frankfurt statt. Im Workshop wurde ein umfassender Überblick zu direkt umsetzbaren Verfahren zur Erstellung, Nutzung und Auswertung hochwertiger kompetenzorientierter elektronischer Klausuren gegeben.

Der Workshop vermittelte alle Schritte, die für eine wissenschaftlich abgesicherte Messung von Kompetenzständen mittels Klausuren nötig sind: u. a. die Konkretisierung von Lernzielen, die Überführung der Lernziele in Kompetenzanforderungen, die Entwicklung von Klausuraufgaben, das Setzen von Notenstufen und Bestehensgrenzen, die Auswertung von Klausuren, die Identifikation problematischer Klausuraufgaben, das Konstanthalten des Bewertungsmaßstabes über mehrere Klausuranwendung sowie die Rückmeldung von Klausurergebnissen. Zudem wurde ein Einblick in das computerbasierte Klausursystem KAT-HS und dessen Konfiguration gegeben. Die Teilnehmenden hatten die Möglichkeit, Schritte des KAT-HS-Konzepts beispielhaft für eine Klausur aus dem eigenen Tätigkeitsbereich praktisch durchzuführen.

Der Workshop wurde von Patrick Naumann und Andreas Frey mit Unterstützung von Christian Spoden, Aron Fink und Irina Kuzmina durchgeführt. Registrierte Nutzer dieser Website haben die Möglichkeit, Materialien, wie beispielsweise die Präsentationsfolien zum Workshop, herunterzuladen.

Beiträge auf der Tagung der FGME der Deutschen Gesellschaft für Psychologie (DGPs) in Kiel

Am 18. September 2019 fand das Symposium „Anwendungen der Item-Response-Theorie (IRT)“ im Rahmen der 14. Tagung der Fachgruppe Methoden & Evaluation (FGME 2019) der Deutschen Gesellschaft für Psychologie (DGPs) in Kiel statt. Bei dem Symposium wurde ein Einblick in die Anwendungen der IRT in verschiedenen diagnostischen Anwendungskontexten gegeben. Patrick Naumann präsentierte die Ergebnisse einer Simulationsstudie mit dem Titel „Itemparameter-Drift in kleinen Stichproben“, bei der die Leistungsfähigkeiten dreier Methoden zur Detektion von Itemparameter-Drift bei Nutzung der kontinuierlichen Kalibrierungsstrategie (KKS) gegenübergestellt wurden. Im Beitrag „Berücksichtigung von Itempositionseffekten beim computerisierten adaptiven Testen (CAT) mit der kontinuierlichen Kalibrierungsstrategie“ berichtete Prof. Dr. Andreas Frey umfassende Ergebnisse zur Leistungsfähigkeit der KKS unter Berücksichtigung von Itempositionseffekten. Dr. Christian Spoden hielt einen Vortrag mit dem Titel „Adaptive und partiell-adaptive Messung individueller Veränderung“, in welchem er über die Anwendung von CAT bei Veränderungsmessungen von Lernverläufen berichtete. Weitere Informationen zur FGME finden Sie hier.

Beiträge auf der EARLI Konferenz in Aachen

Vom 12. bis zum 16. August 2019 fand die Konferenz der European Association for Research on Learning and Instruction (EARLI) in Aachen statt. Im Mittelpunkt der Konferenz zum Thema „Thinking Tomorrow’s Education: Learning from the past, in the present and for the future“ standen Ergebnisse und Ideen zur neuesten Forschung in den Bereichen Lernen und Instruktionen. Im Rahmen des von Franziska Wenzel und Dr. Christian Spoden organisierten Symposiums „21st century technology-based formative and summative assessments in higher education“ hielt Aron Fink einen Vortrag mit dem Titel „Testing an explanatory model for the intention to use adaptive and non-adaptive e-exams by the university teaching staff“. In diesem Beitrag ging es um die Einflussfaktoren, welche die Intention zur Nutzung (adaptiver) E-Klausuren von Hochschullehrenden beeinflussen.

Weitere Informationen zur diesjährigen EARLI-Konferenz finden Sie unter https://earli.org/EARLI2019.

 

Präsentation zu Item Positionseffekten bei der kontinuierlichen Kalibrierungsstrategie auf der IACAT-Konferenz

Vom 10. bis 13. Juni 2019 fand die Konferenz der International Association for Computerized Adaptive Testing (IACAT) in Minneapolis statt. Unter dem Titel „Consideration of Item Position Effects in CAT with the Continuous Calibration Strategy” präsentierte Andreas Frey dort Ergebnisse zu Item Positionseffekten bei der kontinuierlichen Kalibrierungsstrategie, welche er gemeinsam mit Aron Fink und Christian Spoden untersuchte. Die kontinuierliche Kalibrierungsstrategie (Fink et al., 2018) ermöglicht die Verwendung von computerisierten adaptiven Tests auch in kleinen Stichproben. Auf der IACAT-Konferenz wurden Ergebnisse einer Monte-Carlo Simulationsstudie präsentiert, bei der die Tauglichkeit der kontinuierlichen Kalibrierungsstrategie bei Vorliegen von Item Positionseffekten untersucht wurde.

Weitere Informationen zur IACAT-Konferenz finden Sie unter http://iacat.org/.

Paper zu Equating-Methoden bei der kontinuierlichen Kalibrierung von Itempools in computerisierten adaptiven Tests veröffentlicht

Sebastian Born, Aron Fink, Christian Spoden und Andreas Frey haben einen Artikel zu Equating-Methoden bei der kontinuierlichen Kalibrierungsstrategie in der Fachzeitschrift „Frontiers in Psychology“ veröffentlicht. Darin untersuchten sie unterschiedliche Methoden zur Skalentransformation bei Nutzung der kontinuierlichen Kalibrierungsstrategie (Fink et al., 2018) in computerisierten adaptiven Tests in Bezug auf die Schätzgenauigkeit der Itemparameter (Mean/Mean, Mean/Sigma, Haebara und Stocking-Lord). Die Characteristic-Curve-Methoden, insb. Stocking-Lord, stellten sich dabei als geeignete Methoden zur Skalentransformation bei der kontinuierlichen Itempool-Kalibrierun in computerisierten adaptiven Tests heraus. Der Artikel kann über den Link in der doi angesehen werden.

Born, S., Fink, A., Spoden, C., & Frey, A. (2019). Evaluating Different Equating Setups in the Continuous Item Pool Calibration for Computerized Adaptive Testing. Frontiers in Psychology, 10, 1277. doi: 10.3389/fpsyg.2019.01277.

7. Jahrestagung der Gesellschaft für empirische Bildungsforschung

KAT-HS auf der 7. Tagung der Gesellschaft für emprische Bildungsforschung (GEBF) mit zahlreichen Beiträgen vertreten. Dr. Christian Spoden aus dem Projekt KAT-HS und Franziska Wenzel aus dem Projekt „Computerbasiertes adaptives Testen im Studium (CaTS)” geben im gemeinsam organiserten Symposium ” Methodische Entwicklungen, Akzeptanzbefunde und Implementationsstrategien zu computerbasierten, formativen und summativen Assessements in der Hochschul- und Erwachsenenbildung” einen differenzierten Einblick zu akutellen Entwicklungen im Bereich des computerisierten adaptiven Testens in der Hochschule und der Erwachsenenbildung. Dr. Christian Spoden leitete in diesem Symposium mit seinem Vortrag “Psychometrische Optimierungen bei kontinuierlich kalibrierten Hochschulklausuren” Empfehlungen für die Konfiguration der kontinuierlichen Kalibrierungsstrategie (Fink, Born, Spoden & Frey, 2018) ab. Auch Aron Fink hielt in diesem Symposium einen Vortrag mit dem Titel “Einflussfaktoren auf die Intention zur Nutzung (adaptiver) E-Klausuren seitens Hochschullehrender”. Prof. Dr. Andreas Frey präsentierte in seinem Vortrag “Nutzung computerisierten adaptiven Testens bei wiederkehrenden Erhebungen mit kleinen Stichproben” wie man von den Vorteilen computerisierten adaptiven Testens auch unter eher ungünstigen Rahmenbedingungen profitieren kann. Shirin Esmaeili-Bijarsari hielt einen Vortrag über den Einfluss verschiedener Klauusurformate auf das emotionale Erleben von Klausuren seitens Studierender.

Erste adaptive Hochschuklausur erfolgreich durchgeführt

Ein Meilenstein von KAT-HS ist erreicht: Wir haben die erste adaptive Hochschulklausur Deutschlands ohne Zwischenfälle erfolgreich durchgeführt. Ungefähr 100 Studierende der Friedrich-Schiller-Universität Jena nahmen an der adaptiven Klausur im Fach Statistik teil, welche über die im Projekt entwickelte Software ausgeliefert wurde. Damit ist ein zentrales Arbeitspaket unseres Projektes erfolgreich abgeschlossen.

Hochschulklausuren im digitalen 21. Jahrhundert

KAT-HS auf dem 51. Kongress der Deutschen Gesellschaft für Psychologie (DGPs) in Frankfurt am Main mit einem Positionsreferat, einem Vortrag und zwei Postern vertreten. Prof. Dr. Andreas Frey skizzierte in seinem Positionsreferat “Hochschulklausuren im digitalen 21 Jahrhundert” wie zukünftige Klausuren an Hochschulen aussehen und aus psychometrischer Perspektive verbessert werden können. Sebastian Born leitete in seinem Vortrag “Kriteriumsorientierte adaptive Hochschulklausuren: Auswirkung der Auswahl der Linkitems auf die Parameterschätzung” Empfehlungen für die Ausgestaltung des Linkings verschiedener Klausurzeitpunkte ab. Aron Fink stellte in seinem Poster “Hinderungsgründe der Implementation computerisierter adaptiver Hochschulklausuren” ein Modell zu möglichen Einflussfaktoren auf die Intention zur Nutzung eines adaptiven E-Klausuren-Systems aus Sicht von Hochschullehrenden vor. Hanna Köhler präsentierte in ihrem Poster “Kriteriumsorientiertes adaptives Testen in der Hochschule – Ergebnisse der ersten Kalibrierungsphase” eine Möglichkeit zur Itemkalibrierung über verschiedene Standorte.

Digitalisierung als Herausforderung für die Hochschul­didaktik

KAT-HS auf der Tagung “Digitalisierung als Herausforderung für die Hochschuldidaktik” am 21.-22.3. 2018 in Mainz. Das Projekt selbst und Ergebnisse eines Vergleichs verschiedener Kohorten mittels IRT-basierter Klausuren aus den Vorarbeiten zum Projekt wurden präsentiert.