Neuer Beitrag “Kompetenzorientierte elektronische Hochschulklausuren im Studium des Lehramts”

Für den Tagungsband „Bildung, Schule und Digitalisierung“ haben Christian Spoden, Andreas Frey, Aron Fink und Patrick Naumann den Beitrag „Kompetenzorientierte elektronische Hochschulklausuren im Studium des Lehramts“ verfasst. Im Artikel wird das KAT-HS Konzept einschließlich seiner vier Stufen vorgestellt. Zusätzlich werden die Vorteile anhand eines Best-Practice-Beispiels illustriert.

Spoden, C., Frey, A., Fink, A. & Naumann, P. (im Druck). Kompetenzorientierte elektronische Hochschulklausuren im Studium des Lehramts. In K. Kaspar, M. Becker-Mrotzeck, J. Hofhues, J. König & D. Schmeinck (Hrsg.), Bildung, Schule und Digitalisierung. Münster: Waxmann.

 

Beiträge im Rahmen des Kolloquiums „Methoden der empirischen Bildungsforschung“ in Hirschegg, Österreich

Vom 8. bis 13. März 2020 wurde erneut das jährliche Kolloquium „Methoden der empirischen Bildungsforschung“ in Hirschegg, Österreich veranstaltet. Im Rahmen des Kolloquiums wurden Beiträge zu aktuellen methodischen Entwicklungen in der Bildungsforschung von 13 Expertinnen und Experten diskutiert. Auch das Projekt KAT-HS war mit zwei Beiträgen vertreten. Prof. Dr. Andreas Frey hielt einen Vortrag mit dem Titel “Kontinuierliche Kalibrierung mit Berücksichtigung von Itempositionseffekten bei internationalen Large-Scale-Assessments”. Einen weiteren Vortrag mit Projektbezug präsentierte Aron Fink. Dieser hatte den Titel „Berücksichtigung der Unsicherheit in Itemparameterschätzungen beim computerisierten adaptiven Testen“. Wir schauen auf eine äußerst anregende Zeit im Kleinwalsertal zurück und bedanken uns bei allen Teilnehmenden!

Video-on-Demand zu Workshop “Hochschulklausuren besser machen” verfügbar

Ab jetzt wird der Workshop zum KAT-HS-Konzept über diese Seite als Video-on-Demand kostenlos zur Verfügung gestellt.

Der Workshop mit dem Titel „Hochschulklausuren besser machen: Einführung in die Erstellung, Administration und Auswertung kompetenzorientierter Klausuren am Computer“ fand am 08. Oktober 2019 statt und wurde per Video aufgezeichnet. Wir haben die Videos geschnitten, bearbeitet und ergänzt um einen kompakten und lehrreichen Online-Workshop zur Konstruktion fairer Klausuren zu konzipieren.

Im Video-Workshop wird ein umfassender Überblick zu direkt umsetzbaren Verfahren zur Erstellung, Nutzung und Auswertung hochwertiger kompetenzorientierter elektronischer Klausuren gegeben.

Behandelt werden:

  • die Konkretisierung von Lernzielen,
  • die Überführung der Lernziele in Kompetenzanforderungen,
  • die Entwicklung von Klausuraufgaben,
  • das Setzen von Notenstufen und Bestehensgrenzen,
  • die Auswertung von Klausuren,
  • die Identifikation problematischer Klausuraufgaben,
  • das Konstanthalten des Bewertungsmaßstabes über mehrere Klausuranwendung,
  • die Rückmeldung von Klausurergebnissen und
  • das computerbasierte Klausursystem KAT-HS und dessen Konfiguration.

Der Video-Workshop wurde von Patrick Naumann, Andreas Frey, Christian Spoden und Aron Fink erstellt. Registrierte Nutzer können die Videos im Download-Bereich dieser Seite kostenlos ansehen.

Workshop „Hochschulklausuren besser machen“ an der Goethe-Universität in Frankfurt

Am 8. Oktober 2019 fand der Workshop mit dem Titel „Hochschulklausuren besser machen: Einführung in die Erstellung, Administration und Auswertung kompetenzorientierter Klausuren am Computer“ am Interdisziplinären Kolleg Hochschuldidaktik (IKH) der Universität Frankfurt statt. Im Workshop wurde ein umfassender Überblick zu direkt umsetzbaren Verfahren zur Erstellung, Nutzung und Auswertung hochwertiger kompetenzorientierter elektronischer Klausuren gegeben.

Der Workshop vermittelte alle Schritte, die für eine wissenschaftlich abgesicherte Messung von Kompetenzständen mittels Klausuren nötig sind: u. a. die Konkretisierung von Lernzielen, die Überführung der Lernziele in Kompetenzanforderungen, die Entwicklung von Klausuraufgaben, das Setzen von Notenstufen und Bestehensgrenzen, die Auswertung von Klausuren, die Identifikation problematischer Klausuraufgaben, das Konstanthalten des Bewertungsmaßstabes über mehrere Klausuranwendung sowie die Rückmeldung von Klausurergebnissen. Zudem wurde ein Einblick in das computerbasierte Klausursystem KAT-HS und dessen Konfiguration gegeben. Die Teilnehmenden hatten die Möglichkeit, Schritte des KAT-HS-Konzepts beispielhaft für eine Klausur aus dem eigenen Tätigkeitsbereich praktisch durchzuführen.

Der Workshop wurde von Patrick Naumann und Andreas Frey mit Unterstützung von Christian Spoden, Aron Fink und Irina Kuzmina durchgeführt. Registrierte Nutzer dieser Website haben die Möglichkeit, Materialien, wie beispielsweise die Präsentationsfolien zum Workshop, herunterzuladen.

Beiträge auf der Tagung der FGME der Deutschen Gesellschaft für Psychologie (DGPs) in Kiel

Am 18. September 2019 fand das Symposium „Anwendungen der Item-Response-Theorie (IRT)“ im Rahmen der 14. Tagung der Fachgruppe Methoden & Evaluation (FGME 2019) der Deutschen Gesellschaft für Psychologie (DGPs) in Kiel statt. Bei dem Symposium wurde ein Einblick in die Anwendungen der IRT in verschiedenen diagnostischen Anwendungskontexten gegeben. Patrick Naumann präsentierte die Ergebnisse einer Simulationsstudie mit dem Titel „Itemparameter-Drift in kleinen Stichproben“, bei der die Leistungsfähigkeiten dreier Methoden zur Detektion von Itemparameter-Drift bei Nutzung der kontinuierlichen Kalibrierungsstrategie (KKS) gegenübergestellt wurden. Im Beitrag „Berücksichtigung von Itempositionseffekten beim computerisierten adaptiven Testen (CAT) mit der kontinuierlichen Kalibrierungsstrategie“ berichtete Prof. Dr. Andreas Frey umfassende Ergebnisse zur Leistungsfähigkeit der KKS unter Berücksichtigung von Itempositionseffekten. Dr. Christian Spoden hielt einen Vortrag mit dem Titel „Adaptive und partiell-adaptive Messung individueller Veränderung“, in welchem er über die Anwendung von CAT bei Veränderungsmessungen von Lernverläufen berichtete. Weitere Informationen zur FGME finden Sie hier.

Beiträge auf der EARLI Konferenz in Aachen

Vom 12. bis zum 16. August 2019 fand die Konferenz der European Association for Research on Learning and Instruction (EARLI) in Aachen statt. Im Mittelpunkt der Konferenz zum Thema „Thinking Tomorrow’s Education: Learning from the past, in the present and for the future“ standen Ergebnisse und Ideen zur neuesten Forschung in den Bereichen Lernen und Instruktionen. Im Rahmen des von Franziska Wenzel und Dr. Christian Spoden organisierten Symposiums „21st century technology-based formative and summative assessments in higher education“ hielt Aron Fink einen Vortrag mit dem Titel „Testing an explanatory model for the intention to use adaptive and non-adaptive e-exams by the university teaching staff“. In diesem Beitrag ging es um die Einflussfaktoren, welche die Intention zur Nutzung (adaptiver) E-Klausuren von Hochschullehrenden beeinflussen.

Weitere Informationen zur diesjährigen EARLI-Konferenz finden Sie unter https://earli.org/EARLI2019.

 

Präsentation zu Item Positionseffekten bei der kontinuierlichen Kalibrierungsstrategie auf der IACAT-Konferenz

Vom 10. bis 13. Juni 2019 fand die Konferenz der International Association for Computerized Adaptive Testing (IACAT) in Minneapolis statt. Unter dem Titel „Consideration of Item Position Effects in CAT with the Continuous Calibration Strategy” präsentierte Andreas Frey dort Ergebnisse zu Item Positionseffekten bei der kontinuierlichen Kalibrierungsstrategie, welche er gemeinsam mit Aron Fink und Christian Spoden untersuchte. Die kontinuierliche Kalibrierungsstrategie (Fink et al., 2018) ermöglicht die Verwendung von computerisierten adaptiven Tests auch in kleinen Stichproben. Auf der IACAT-Konferenz wurden Ergebnisse einer Monte-Carlo Simulationsstudie präsentiert, bei der die Tauglichkeit der kontinuierlichen Kalibrierungsstrategie bei Vorliegen von Item Positionseffekten untersucht wurde.

Weitere Informationen zur IACAT-Konferenz finden Sie unter http://iacat.org/.

Paper zu Equating-Methoden bei der kontinuierlichen Kalibrierung von Itempools in computerisierten adaptiven Tests veröffentlicht

Sebastian Born, Aron Fink, Christian Spoden und Andreas Frey haben einen Artikel zu Equating-Methoden bei der kontinuierlichen Kalibrierungsstrategie in der Fachzeitschrift „Frontiers in Psychology“ veröffentlicht. Darin untersuchten sie unterschiedliche Methoden zur Skalentransformation bei Nutzung der kontinuierlichen Kalibrierungsstrategie (Fink et al., 2018) in computerisierten adaptiven Tests in Bezug auf die Schätzgenauigkeit der Itemparameter (Mean/Mean, Mean/Sigma, Haebara und Stocking-Lord). Die Characteristic-Curve-Methoden, insb. Stocking-Lord, stellten sich dabei als geeignete Methoden zur Skalentransformation bei der kontinuierlichen Itempool-Kalibrierun in computerisierten adaptiven Tests heraus. Der Artikel kann über den Link in der doi angesehen werden.

Born, S., Fink, A., Spoden, C., & Frey, A. (2019). Evaluating Different Equating Setups in the Continuous Item Pool Calibration for Computerized Adaptive Testing. Frontiers in Psychology, 10, 1277. doi: 10.3389/fpsyg.2019.01277.

7. Jahrestagung der Gesellschaft für empirische Bildungsforschung

KAT-HS auf der 7. Tagung der Gesellschaft für emprische Bildungsforschung (GEBF) mit zahlreichen Beiträgen vertreten. Dr. Christian Spoden aus dem Projekt KAT-HS und Franziska Wenzel aus dem Projekt „Computerbasiertes adaptives Testen im Studium (CaTS)” geben im gemeinsam organiserten Symposium ” Methodische Entwicklungen, Akzeptanzbefunde und Implementationsstrategien zu computerbasierten, formativen und summativen Assessements in der Hochschul- und Erwachsenenbildung” einen differenzierten Einblick zu akutellen Entwicklungen im Bereich des computerisierten adaptiven Testens in der Hochschule und der Erwachsenenbildung. Dr. Christian Spoden leitete in diesem Symposium mit seinem Vortrag “Psychometrische Optimierungen bei kontinuierlich kalibrierten Hochschulklausuren” Empfehlungen für die Konfiguration der kontinuierlichen Kalibrierungsstrategie (Fink, Born, Spoden & Frey, 2018) ab. Auch Aron Fink hielt in diesem Symposium einen Vortrag mit dem Titel “Einflussfaktoren auf die Intention zur Nutzung (adaptiver) E-Klausuren seitens Hochschullehrender”. Prof. Dr. Andreas Frey präsentierte in seinem Vortrag “Nutzung computerisierten adaptiven Testens bei wiederkehrenden Erhebungen mit kleinen Stichproben” wie man von den Vorteilen computerisierten adaptiven Testens auch unter eher ungünstigen Rahmenbedingungen profitieren kann. Shirin Esmaeili-Bijarsari hielt einen Vortrag über den Einfluss verschiedener Klauusurformate auf das emotionale Erleben von Klausuren seitens Studierender.

Erste adaptive Hochschuklausur erfolgreich durchgeführt

Ein Meilenstein von KAT-HS ist erreicht: Wir haben die erste adaptive Hochschulklausur Deutschlands ohne Zwischenfälle erfolgreich durchgeführt. Ungefähr 100 Studierende der Friedrich-Schiller-Universität Jena nahmen an der adaptiven Klausur im Fach Statistik teil, welche über die im Projekt entwickelte Software ausgeliefert wurde. Damit ist ein zentrales Arbeitspaket unseres Projektes erfolgreich abgeschlossen.