Empirische Ergebnisse zur Konstruktion und Durchführung psychometrisch fundierter Hochschulklausuren

Andreas Frey, Christian Spoden und Sebastian Born haben einen Artikel über die Konstruktion und Durchführung von psychometrisch fundierten Hochschulprüfungen geschrieben, der nun veröffentlicht wurde. Das von ihnen vorgeschlagene Vorgehen umfasst (a) die Festlegung des interessierenden Inhaltsbereichs in Bezug auf die Lernziele des Kurses, (b) die Festlegung eines Messgegenstandes, (c) die Operationalisierung des Messgegenstands durch Testaufgaben, (d) die standardisierte Durchführung der Prüfung, (e) die Skalierung mit Modellen der Item-Response-Theorie (IRT) und (f) die Festlegung von Notenstufen mit Standardsetzungsverfahren.

Empirische Ergebnisse aus sechs Testzyklen einer Universitätsprüfung zeigen, dass dieses Vorgehen unter typischen Universitätsbedingungen erfolgreich angewendet werden kann.

Der Artikel ist hier verfügbar: https://www.psychologie-aktuell.com/fileadmin/Redaktion/Journale/ptam-2020-4/PTAM_4-2020_21900493_ebook_frey_4.pdf

Frey, A., Spoden, C., & Born, S. (2020). Construction of Psychometrically Sound Written University Exams. Psychological Test and Assessment Modeling, 65(4), 415-525.

Hurra, wir sind umgezogen!

Die Website von KAT-HS ist heute erfolgreich auf einen anderen Server der Goethe-Universität Frankfurt umgezogen.

Dies bedeutet für alle Nutzer kürzere Ladezeiten und generell eine reibungslosere Funktionalität der Seite. Sonst bleibt alles beim Alten: Nutzerkonten, Newsbeträge, Materialien etc. bleiben erhalten.

Wir wünschen viel Spaß beim Stöbern auf der KAT-HS Website.

Das KAT-HS Team

Kurzkonzept zu KAT-HS veröffentlicht

Andreas Frey, Christian Spoden, Aron Fink und Sebastian Born haben eine Kurzfassung des KAT-HS Konzepts verfasst, welches ab jetzt verfügbar ist. Die vier zentralen Herausforderungen bei der Weiterentwicklung von Hochschulklausuren werden beschrieben und es wird spezifiziert, wie diese auf Basis einer zielgerichteten neuartigen Kombination von Methoden, Qualitätsstandards und Ansätze der Psychometrie und der pädagogisch-psychologischen Diagnostik zu überwinden sind. Das vorgestellte Konzept zur Konstruktion, Administration und Auswertung von Hochschulklausuren ist hochschul- und fächerübergreifend nutzbar. Es wird prüfungsrechtlich umfassend eingeordnet und Rahmenbedingungen seiner erfolgreichen Implementation im hochschulischen Regelbetrieb diskutiert.

Der Beitrag ist ab jetzt frei abrufbar unter: https://eleed.campussource.de/archive/13/5119

Frey, A., Spoden, C., Fink, A., & Born, S. (2020). Kompetenzorientierte individualisierte Hochschulklausuren und deren prüfungsrechtliche Einordnung. eleed, 13. Verfügbar unter: urn:nbn:de:0009 5-51197.

KAT-HS Forschungsdaten veröffentlicht

Die Daten des Projektes “Kriteriumsorientiertes adaptives Testen in der Hochschule (KAT-HS)” stehen ab sofort anderen Forschenden auf Antrag zur Re- und Sekundäranalyse zur Verfügung. Die Forschungsdaten sind über die Website des Forschungsdatenzentrums am Institut zur Qualitätsentwicklung im Bildungswesen (FDZ am IQB) verfügbar (https://www.iqb.hu-berlin.de/fdz/studies/KAT-HS). Dort können interessierte Wissenschaftlerinnen und Wissenschaftler über ein Online-Formular den Zugang zu den Daten beantragen.

Die vollständigen Literaturangaben der veröffentlichten Datensätze lauten:

Frey, A., Spoden, C. & Fink, A. (2020). Kriteriumsorientiertes adaptives Testen in der Hochschule (KAT-HS) (Version 1) [Datensatz]. Berlin: IQB – Institut zur Qualitätsentwicklung im Bildungswesen. http://doi.org/10.5159/IQB_KAT-HS_v1

Frey, A., Spoden, C. & Fink, A. (2020). Kriteriumsorientiertes adaptives Testen in der Hochschule (KAT-HS). Kalibrierung – Campus File (Version 1) [Datensatz]. Berlin: IQB – Institut zur Qualitätsentwicklung im Bildungswesen. http://doi.org/10.5159/IQB_KAT-HS_CF_v1

Buchkapitel zu kompetenzorientierten E-Klausuren im Lehramtsstudium erschienen

Dr. Christian Spoden, Prof. Andreas Frey, Aron Fink und Patrick Naumann haben einen Beitrag über kompetenzorientierte elektronische Hochschulklausuren im Lehramtsstudium verfasst (siehe auch hier), welcher nun im Waxmann Sammelband „Bildung, Schule, Digitalisierung“ (Hrsg.: Kaspar, Becker-Mrotzek, Hofhues, König, & Schmeinck) veröffentlicht wurde.

In dem Beitrag wird ein Konzept für adaptive, kompetenzorientierte E-Klausuren vorgestellt (KAT-HS) und die Implementation solcher E-Klausuren in der Hochschullehre beschrieben. Mit dem KAT-HS Konzept können Probleme typischer Hochschulklausuren überwunden und Forderungen aus der Bologna-Reform umgesetzt werden.

Der Beitrag ist ab jetzt frei abrufbar unter:

Spoden, C., Frey, A., Fink, A. & Naumann, P. (2020). Kompetenzorientierte elektronische Hochschulklausuren im Studium des Lehramts. In K. Kaspar, M. Becker-Mrotzeck, J. Hofhues, J. König & D. Schmeinck (Hrsg.), Bildung, Schule und Digitalisierung. Waxmann.

Beiträge im Rahmen des Kolloquiums „Methoden der empirischen Bildungsforschung“ in Hirschegg, Österreich

Vom 8. bis 13. März 2020 wurde erneut das jährliche Kolloquium „Methoden der empirischen Bildungsforschung“ in Hirschegg, Österreich veranstaltet. Im Rahmen des Kolloquiums wurden Beiträge zu aktuellen methodischen Entwicklungen in der Bildungsforschung von 13 Expertinnen und Experten diskutiert. Auch das Projekt KAT-HS war mit zwei Beiträgen vertreten. Prof. Dr. Andreas Frey hielt einen Vortrag mit dem Titel “Kontinuierliche Kalibrierung mit Berücksichtigung von Itempositionseffekten bei internationalen Large-Scale-Assessments”. Einen weiteren Vortrag mit Projektbezug präsentierte Aron Fink. Dieser hatte den Titel „Berücksichtigung der Unsicherheit in Itemparameterschätzungen beim computerisierten adaptiven Testen“. Wir schauen auf eine äußerst anregende Zeit im Kleinwalsertal zurück und bedanken uns bei allen Teilnehmenden!

Video-on-Demand zu Workshop “Hochschulklausuren besser machen” verfügbar

Ab jetzt wird der Workshop zum KAT-HS-Konzept über diese Seite als Video-on-Demand kostenlos zur Verfügung gestellt.

Der Workshop mit dem Titel „Hochschulklausuren besser machen: Einführung in die Erstellung, Administration und Auswertung kompetenzorientierter Klausuren am Computer“ fand am 08. Oktober 2019 statt und wurde per Video aufgezeichnet. Wir haben die Videos geschnitten, bearbeitet und ergänzt um einen kompakten und lehrreichen Online-Workshop zur Konstruktion fairer Klausuren zu konzipieren.

Im Video-Workshop wird ein umfassender Überblick zu direkt umsetzbaren Verfahren zur Erstellung, Nutzung und Auswertung hochwertiger kompetenzorientierter elektronischer Klausuren gegeben.

Behandelt werden:

  • die Konkretisierung von Lernzielen,
  • die Überführung der Lernziele in Kompetenzanforderungen,
  • die Entwicklung von Klausuraufgaben,
  • das Setzen von Notenstufen und Bestehensgrenzen,
  • die Auswertung von Klausuren,
  • die Identifikation problematischer Klausuraufgaben,
  • das Konstanthalten des Bewertungsmaßstabes über mehrere Klausuranwendung,
  • die Rückmeldung von Klausurergebnissen und
  • das computerbasierte Klausursystem KAT-HS und dessen Konfiguration.

Der Video-Workshop wurde von Patrick Naumann, Andreas Frey, Christian Spoden und Aron Fink erstellt. Registrierte Nutzer können die Videos im Download-Bereich dieser Seite kostenlos ansehen.

Workshop „Hochschulklausuren besser machen“ an der Goethe-Universität in Frankfurt

Am 8. Oktober 2019 fand der Workshop mit dem Titel „Hochschulklausuren besser machen: Einführung in die Erstellung, Administration und Auswertung kompetenzorientierter Klausuren am Computer“ am Interdisziplinären Kolleg Hochschuldidaktik (IKH) der Universität Frankfurt statt. Im Workshop wurde ein umfassender Überblick zu direkt umsetzbaren Verfahren zur Erstellung, Nutzung und Auswertung hochwertiger kompetenzorientierter elektronischer Klausuren gegeben.

Der Workshop vermittelte alle Schritte, die für eine wissenschaftlich abgesicherte Messung von Kompetenzständen mittels Klausuren nötig sind: u. a. die Konkretisierung von Lernzielen, die Überführung der Lernziele in Kompetenzanforderungen, die Entwicklung von Klausuraufgaben, das Setzen von Notenstufen und Bestehensgrenzen, die Auswertung von Klausuren, die Identifikation problematischer Klausuraufgaben, das Konstanthalten des Bewertungsmaßstabes über mehrere Klausuranwendung sowie die Rückmeldung von Klausurergebnissen. Zudem wurde ein Einblick in das computerbasierte Klausursystem KAT-HS und dessen Konfiguration gegeben. Die Teilnehmenden hatten die Möglichkeit, Schritte des KAT-HS-Konzepts beispielhaft für eine Klausur aus dem eigenen Tätigkeitsbereich praktisch durchzuführen.

Der Workshop wurde von Patrick Naumann und Andreas Frey mit Unterstützung von Christian Spoden, Aron Fink und Irina Kuzmina durchgeführt. Registrierte Nutzer dieser Website haben die Möglichkeit, Materialien, wie beispielsweise die Präsentationsfolien zum Workshop, herunterzuladen.

Beiträge auf der Tagung der FGME der Deutschen Gesellschaft für Psychologie (DGPs) in Kiel

Am 18. September 2019 fand das Symposium „Anwendungen der Item-Response-Theorie (IRT)“ im Rahmen der 14. Tagung der Fachgruppe Methoden & Evaluation (FGME 2019) der Deutschen Gesellschaft für Psychologie (DGPs) in Kiel statt. Bei dem Symposium wurde ein Einblick in die Anwendungen der IRT in verschiedenen diagnostischen Anwendungskontexten gegeben. Patrick Naumann präsentierte die Ergebnisse einer Simulationsstudie mit dem Titel „Itemparameter-Drift in kleinen Stichproben“, bei der die Leistungsfähigkeiten dreier Methoden zur Detektion von Itemparameter-Drift bei Nutzung der kontinuierlichen Kalibrierungsstrategie (KKS) gegenübergestellt wurden. Im Beitrag „Berücksichtigung von Itempositionseffekten beim computerisierten adaptiven Testen (CAT) mit der kontinuierlichen Kalibrierungsstrategie“ berichtete Prof. Dr. Andreas Frey umfassende Ergebnisse zur Leistungsfähigkeit der KKS unter Berücksichtigung von Itempositionseffekten. Dr. Christian Spoden hielt einen Vortrag mit dem Titel „Adaptive und partiell-adaptive Messung individueller Veränderung“, in welchem er über die Anwendung von CAT bei Veränderungsmessungen von Lernverläufen berichtete. Weitere Informationen zur FGME finden Sie hier.

Beiträge auf der EARLI Konferenz in Aachen

Vom 12. bis zum 16. August 2019 fand die Konferenz der European Association for Research on Learning and Instruction (EARLI) in Aachen statt. Im Mittelpunkt der Konferenz zum Thema „Thinking Tomorrow’s Education: Learning from the past, in the present and for the future“ standen Ergebnisse und Ideen zur neuesten Forschung in den Bereichen Lernen und Instruktionen. Im Rahmen des von Franziska Wenzel und Dr. Christian Spoden organisierten Symposiums „21st century technology-based formative and summative assessments in higher education“ hielt Aron Fink einen Vortrag mit dem Titel „Testing an explanatory model for the intention to use adaptive and non-adaptive e-exams by the university teaching staff“. In diesem Beitrag ging es um die Einflussfaktoren, welche die Intention zur Nutzung (adaptiver) E-Klausuren von Hochschullehrenden beeinflussen.

Weitere Informationen zur diesjährigen EARLI-Konferenz finden Sie unter https://earli.org/EARLI2019.