Kommentar zu computerisierten adaptiven Klausuren im Psychologiestudium erschienen

Aron Fink und Patrick Naumann verfassten zusammen mit Christoph König einen Kommentar, der Bezug nimmt auf ein Positionspapier zur Verbesserung von schriftlichen Prüfungen im Psychologiestudium. Im Kommentar werden die Vorteile von computerisierten adaptiven Testen für Klausuren im Psychologiestudium aufgezeigt. Der Beitrag wurde in der Psychologischen Rundschau veröffentlicht.

Fink, A., Naumann, P. & König, C. (2021). Computerisierte adaptive Klausuren im Psychologiestudium. Psychologische Rundschau, 72(2), 125–127. https://doi.org/10.1026/0033-3042/a000532

Neues Projekt: Hochinformatives und Kompetenzorientiertes Feedback für das Digitale Lernen (HIKOF-DL)

Im Rahmen des Distr@l-Förderprogramms fördert die hessischen Landesregierung das Projekt „Hoch informatives und Kompetenzorientiertes Feedback für das Digitale Lernen (HIKOF-DL)“ welches in Kooperation mit dem DIPF sowie „studiumdigitale“.  durchgeführt wird.  Ziel des Vorhabens ist es, zwei Feedback-Systeme zum formativen und summativen Feedback zu implementieren und zu einem einheitlichen Konzept zu hochinformativem und handlungsaktivem Feedback zum Kompetenzerwerb für Lernende zu vereinen. Das Projekt baut unter anderem auf den Ergebnissen von KAT-HS auf und führt dieses fort.

Mehr dazu finden Sie HIER.

Softwareinformation zur KAT-HS-App in der Diagnostica erschienen

Aron Fink, Christian Spoden, Andreas Frey und Patrick Naumann haben eine Softwareinformation zur KAT-HS App in der Diagnostica veröffentlicht. In dieser werden die Möglichkeiten zur Konstruktion, Administration und Auswertung kriteriumsorientierter, computerisierter adaptiver und nicht-adaptiver Tests mit der in der Arbeitseinheit entwickelten, R-basierten open-source KAT-HS-App erläutert. Die App ist nach Registrierung über https://kat-hs.uni-frankfurt.de/materialien/software/ für Forschung und Lehre kostenfrei erhältlich.

Fink, A., Spoden, C., Frey, A., & Naumann, P. (2021). Kriteriumsorientiertes adaptives Testen mit der KAT-HS-App. Diagnostica, 67(2), 110 – 114. https://doi.org/10.1026/0012-1924/a000268 

Empirische Ergebnisse zur Konstruktion und Durchführung psychometrisch fundierter Hochschulklausuren

Andreas Frey, Christian Spoden und Sebastian Born haben einen Artikel über die Konstruktion und Durchführung von psychometrisch fundierten Hochschulprüfungen geschrieben, der nun veröffentlicht wurde. Das von ihnen vorgeschlagene Vorgehen umfasst (a) die Festlegung des interessierenden Inhaltsbereichs in Bezug auf die Lernziele des Kurses, (b) die Festlegung eines Messgegenstandes, (c) die Operationalisierung des Messgegenstands durch Testaufgaben, (d) die standardisierte Durchführung der Prüfung, (e) die Skalierung mit Modellen der Item-Response-Theorie (IRT) und (f) die Festlegung von Notenstufen mit Standardsetzungsverfahren.

Empirische Ergebnisse aus sechs Testzyklen einer Universitätsprüfung zeigen, dass dieses Vorgehen unter typischen Universitätsbedingungen erfolgreich angewendet werden kann.

Der Artikel ist hier verfügbar: https://www.psychologie-aktuell.com/fileadmin/Redaktion/Journale/ptam-2020-4/PTAM_4-2020_21900493_ebook_frey_4.pdf

Frey, A., Spoden, C., & Born, S. (2020). Construction of Psychometrically Sound Written University Exams. Psychological Test and Assessment Modeling, 65(4), 415-525.

Hurra, wir sind umgezogen!

Die Website von KAT-HS ist heute erfolgreich auf einen anderen Server der Goethe-Universität Frankfurt umgezogen.

Dies bedeutet für alle Nutzer kürzere Ladezeiten und generell eine reibungslosere Funktionalität der Seite. Sonst bleibt alles beim Alten: Nutzerkonten, Newsbeträge, Materialien etc. bleiben erhalten.

Wir wünschen viel Spaß beim Stöbern auf der KAT-HS Website.

Das KAT-HS Team

Kurzkonzept zu KAT-HS veröffentlicht

Andreas Frey, Christian Spoden, Aron Fink und Sebastian Born haben eine Kurzfassung des KAT-HS Konzepts verfasst, welches ab jetzt verfügbar ist. Die vier zentralen Herausforderungen bei der Weiterentwicklung von Hochschulklausuren werden beschrieben und es wird spezifiziert, wie diese auf Basis einer zielgerichteten neuartigen Kombination von Methoden, Qualitätsstandards und Ansätze der Psychometrie und der pädagogisch-psychologischen Diagnostik zu überwinden sind. Das vorgestellte Konzept zur Konstruktion, Administration und Auswertung von Hochschulklausuren ist hochschul- und fächerübergreifend nutzbar. Es wird prüfungsrechtlich umfassend eingeordnet und Rahmenbedingungen seiner erfolgreichen Implementation im hochschulischen Regelbetrieb diskutiert.

Der Beitrag ist ab jetzt frei abrufbar unter: https://eleed.campussource.de/archive/13/5119

Frey, A., Spoden, C., Fink, A., & Born, S. (2020). Kompetenzorientierte individualisierte Hochschulklausuren und deren prüfungsrechtliche Einordnung. eleed, 13. Verfügbar unter: urn:nbn:de:0009 5-51197.

KAT-HS Forschungsdaten veröffentlicht

Die Daten des Projektes “Kriteriumsorientiertes adaptives Testen in der Hochschule (KAT-HS)” stehen ab sofort anderen Forschenden auf Antrag zur Re- und Sekundäranalyse zur Verfügung. Die Forschungsdaten sind über die Website des Forschungsdatenzentrums am Institut zur Qualitätsentwicklung im Bildungswesen (FDZ am IQB) verfügbar (https://www.iqb.hu-berlin.de/fdz/studies/KAT-HS). Dort können interessierte Wissenschaftlerinnen und Wissenschaftler über ein Online-Formular den Zugang zu den Daten beantragen.

Die vollständigen Literaturangaben der veröffentlichten Datensätze lauten:

Frey, A., Spoden, C. & Fink, A. (2020). Kriteriumsorientiertes adaptives Testen in der Hochschule (KAT-HS) (Version 1) [Datensatz]. Berlin: IQB – Institut zur Qualitätsentwicklung im Bildungswesen. http://doi.org/10.5159/IQB_KAT-HS_v1

Frey, A., Spoden, C. & Fink, A. (2020). Kriteriumsorientiertes adaptives Testen in der Hochschule (KAT-HS). Kalibrierung – Campus File (Version 1) [Datensatz]. Berlin: IQB – Institut zur Qualitätsentwicklung im Bildungswesen. http://doi.org/10.5159/IQB_KAT-HS_CF_v1

Buchkapitel zu kompetenzorientierten E-Klausuren im Lehramtsstudium erschienen

Dr. Christian Spoden, Prof. Andreas Frey, Aron Fink und Patrick Naumann haben einen Beitrag über kompetenzorientierte elektronische Hochschulklausuren im Lehramtsstudium verfasst (siehe auch hier), welcher nun im Waxmann Sammelband „Bildung, Schule, Digitalisierung“ (Hrsg.: Kaspar, Becker-Mrotzek, Hofhues, König, & Schmeinck) veröffentlicht wurde.

In dem Beitrag wird ein Konzept für adaptive, kompetenzorientierte E-Klausuren vorgestellt (KAT-HS) und die Implementation solcher E-Klausuren in der Hochschullehre beschrieben. Mit dem KAT-HS Konzept können Probleme typischer Hochschulklausuren überwunden und Forderungen aus der Bologna-Reform umgesetzt werden.

Der Beitrag ist ab jetzt frei abrufbar unter:

Spoden, C., Frey, A., Fink, A. & Naumann, P. (2020). Kompetenzorientierte elektronische Hochschulklausuren im Studium des Lehramts. In K. Kaspar, M. Becker-Mrotzeck, J. Hofhues, J. König & D. Schmeinck (Hrsg.), Bildung, Schule und Digitalisierung. Waxmann.

Beiträge im Rahmen des Kolloquiums „Methoden der empirischen Bildungsforschung“ in Hirschegg, Österreich

Vom 8. bis 13. März 2020 wurde erneut das jährliche Kolloquium „Methoden der empirischen Bildungsforschung“ in Hirschegg, Österreich veranstaltet. Im Rahmen des Kolloquiums wurden Beiträge zu aktuellen methodischen Entwicklungen in der Bildungsforschung von 13 Expertinnen und Experten diskutiert. Auch das Projekt KAT-HS war mit zwei Beiträgen vertreten. Prof. Dr. Andreas Frey hielt einen Vortrag mit dem Titel “Kontinuierliche Kalibrierung mit Berücksichtigung von Itempositionseffekten bei internationalen Large-Scale-Assessments”. Einen weiteren Vortrag mit Projektbezug präsentierte Aron Fink. Dieser hatte den Titel „Berücksichtigung der Unsicherheit in Itemparameterschätzungen beim computerisierten adaptiven Testen“. Wir schauen auf eine äußerst anregende Zeit im Kleinwalsertal zurück und bedanken uns bei allen Teilnehmenden!

Video-on-Demand zu Workshop “Hochschulklausuren besser machen” verfügbar

Ab jetzt wird der Workshop zum KAT-HS-Konzept über diese Seite als Video-on-Demand kostenlos zur Verfügung gestellt.

Der Workshop mit dem Titel „Hochschulklausuren besser machen: Einführung in die Erstellung, Administration und Auswertung kompetenzorientierter Klausuren am Computer“ fand am 08. Oktober 2019 statt und wurde per Video aufgezeichnet. Wir haben die Videos geschnitten, bearbeitet und ergänzt um einen kompakten und lehrreichen Online-Workshop zur Konstruktion fairer Klausuren zu konzipieren.

Im Video-Workshop wird ein umfassender Überblick zu direkt umsetzbaren Verfahren zur Erstellung, Nutzung und Auswertung hochwertiger kompetenzorientierter elektronischer Klausuren gegeben.

Behandelt werden:

  • die Konkretisierung von Lernzielen,
  • die Überführung der Lernziele in Kompetenzanforderungen,
  • die Entwicklung von Klausuraufgaben,
  • das Setzen von Notenstufen und Bestehensgrenzen,
  • die Auswertung von Klausuren,
  • die Identifikation problematischer Klausuraufgaben,
  • das Konstanthalten des Bewertungsmaßstabes über mehrere Klausuranwendung,
  • die Rückmeldung von Klausurergebnissen und
  • das computerbasierte Klausursystem KAT-HS und dessen Konfiguration.

Der Video-Workshop wurde von Patrick Naumann, Andreas Frey, Christian Spoden und Aron Fink erstellt. Registrierte Nutzer können die Videos im Download-Bereich dieser Seite kostenlos ansehen.